从 RAG 到生产：大规模经验教训

分块策略比模型选择更重要

RAG 管道中影响最大的一个决策是如何对源文档进行分块。具有元数据保留的重叠语义块始终优于固定大小的标记窗口，尤其是在异构语料库上。

混合检索击败纯矢量搜索

将 BM25 关键字搜索与密集向量检索和交叉编码器重排序相结合，可以比任何单一检索方法产生更好的召回率。我们发现，在每次部署中，这种混合方法的答案准确性都提高了 10% 到 20%。

监控检索质量

在生产中，检索质量会随着源文档的更新而变化。我们每晚运行自动评估套件，将检索结果与策划的测试集进行比较，并在召回率低于可接受的阈值时发出警报。