Van RAG tot productie: lessen die op schaal zijn geleerd

Het opsplitsen van strategie is belangrijker dan modelkeuze

De belangrijkste beslissing in een RAG-pijplijn is de manier waarop u uw brondocumenten opdeelt. Overlappende semantische brokken met behoud van metagegevens presteren consistent beter dan tokenvensters met een vaste grootte, vooral op heterogene corpora.

Hybride ophalen is beter dan puur zoeken naar vectoren

Door het zoeken naar trefwoorden in BM25 te combineren met het ophalen van vectoren en een cross-encoder reranker, ontstaat er een aanzienlijk betere herinnering dan welke enkele ophaalmethode dan ook. We zien tien tot twintig procent verbeteringen in de nauwkeurigheid van antwoorden met deze hybride aanpak bij elke implementatie.

Bewaken van de kwaliteit van het ophalen

In de productie neemt de kwaliteit van het ophalen af ​​naarmate brondocumenten worden bijgewerkt. We voeren elke nacht geautomatiseerde evaluatiesuites uit die de ophaalresultaten vergelijken met samengestelde testsets en waarschuwen wanneer de terugroepactie onder aanvaardbare drempels daalt.