Od RAG k výrobě: Lekce získané ve velkém měřítku

Strategie chunkingu je důležitější než výběr modelu

Jediným rozhodnutím s nejvyšším pákovým efektem v potrubí RAG je způsob, jakým rozdělíte zdrojové dokumenty. Překrývající se sémantické bloky se zachováním metadat trvale překonávají tokenová okna s pevnou velikostí, zejména na heterogenních korpusech.

Hybridní vyhledávání překonává čisté vektorové vyhledávání

Kombinace vyhledávání klíčových slov BM25 s hustým vektorovým vyhledáváním a přehodnocením křížového kodéru vytváří výrazně lepší vyvolání než kterákoli jednotlivá metoda vyhledávání. U tohoto hybridního přístupu vidíme deset až dvacet procent zlepšení přesnosti odpovědí v každém nasazení.

Monitorování kvality vyhledávání

Ve výrobě se kvalita vyhledávání mění s aktualizací zdrojových dokumentů. Každou noc spouštíme automatizované vyhodnocovací sady, které porovnávají výsledky vyhledávání s vybranými testovacími sadami a varují, když stažení klesne pod přijatelné prahové hodnoty.