Do RAG à produção: lições aprendidas em escala

A estratégia de chunking é mais importante do que a escolha do modelo

A decisão mais importante em um pipeline RAG é como você agrupa seus documentos de origem. A sobreposição de blocos semânticos com preservação de metadados supera consistentemente as janelas de token de tamanho fixo, especialmente em corpora heterogêneos.

A recuperação híbrida supera a pesquisa de vetores puros

A combinação da pesquisa por palavra-chave BM25 com recuperação de vetor denso e um reclassificador de codificador cruzado produz uma recuperação significativamente melhor do que qualquer método de recuperação único. Vemos melhorias de dez a vinte por cento na precisão das respostas com essa abordagem híbrida em todas as implantações.

Monitorando a qualidade da recuperação

Na produção, a qualidade da recuperação varia à medida que os documentos de origem são atualizados. Executamos conjuntos de avaliação automatizados todas as noites que comparam os resultados da recuperação com conjuntos de testes selecionados e alertam quando o recall cai abaixo dos limites aceitáveis.