RAG 落地实践：向量检索的选型与优化

RAG（检索增强生成）是让大模型「有据可查」的关键手段。落地时，检索质量直接决定了生成效果的上限。

选型三件套

1. Embedding 模型：中文场景优先选对中文友好的模型，注意向量维度与语种覆盖。
2. 向量库：小规模用 pgvector 即可，规模上来再考虑 Milvus、Qdrant 等专用方案。
3. 召回策略：稠密召回为主，稀疏（BM25）做补充，混合检索通常效果更稳。

两个常被忽略的优化

• Chunk 切分：按语义边界切分，保留标题层级，比固定长度效果好很多。
• 重排序：用 Cross-Encoder 对召回结果二次排序，能明显提升 Top-K 的命中率。