一、基础知识
大模型有两个硬伤:知识有截止时间,也不知道你的私有资料。直接把整本手册塞进提示词又不现实,一是太长会超上下文,二是噪声太多反而干扰回答。RAG 就是为解决这个问题而生的。
RAG 的全称是检索增强生成(Retrieval-Augmented Generation),思路很像开卷考试:
- 先把你的资料预处理好,切成小片段,每个片段转成一组数字(向量),存进向量数据库。这叫"建库"。
- 用户提问时,把问题也转成向量,去库里找语义最相近的几个片段。这叫"检索"。
- 把找到的片段连同问题一起拼成提示词,交给大模型,让它"参考这些资料回答"。这叫"生成"。
这样模型看到的是和相关问题紧密相关的少数片段,而不是整本资料,既控制了长度,又有了依据。"向量"可以理解成一段文字在多维空间里的坐标,意思相近的文字坐标也相近,于是"找相似"就变成了"算距离"。
整条链路的核心环节有四个:切分决定每段知识的粒度,向量化决定语义表达质量,检索决定能否找对片段,拼装提示词决定模型能否用好找到的片段。任何一环掉链子,最终回答都会出问题。
二、实操步骤
第一步,安装依赖。这里用一个轻量组合:向量数据库用 Chroma,向量化用 sentence-transformers。相关库的接口和版本会更新,安装时以官方文档为准:
pip install chromadb sentence-transformers
第二步,把文档切成片段。切分不是随便按字数砍,最好尊重自然边界(段落、标题)。下面是一个简单的按字符切分示例,生产环境建议用更智能的切分器:
def split_text(text, chunk_size=300, overlap=50):
chunks = []
start = 0
while start < len(text):
end = start + chunk_size
chunks.append(text[start:end])
start = end - overlap # 保留重叠,避免切断语义
return chunks
text = "这里放入你的文档全文……" * 20
chunks = split_text(text)
print("切出片段数:", len(chunks))
print("第一个片段:", chunks[0][:80])
overlap(重叠)很关键:让相邻片段有一小段内容重复,避免一句完整的话刚好被切断在边界上。
第三步,初始化向量化模型和向量库,把片段写入。模型名请换成你选用的 embedding 模型,具体名称以模型发布方或官方文档为准:
import chromadb
from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("你的嵌入模型名")
client = chromadb.PersistentClient(path="./chroma_db")
collection = client.get_or_create_collection(name="kb")
embeddings = encoder.encode(chunks).tolist()
ids = [f"chunk_{i}" for i in range(len(chunks))]
collection.add(
ids=ids,
documents=chunks,
embeddings=embeddings,
)
print("已入库片段数:", collection.count())
PersistentClient 会把数据存在本地目录,下次程序启动还能接着用,不必重新建库。
第四步,实现检索函数:把问题转成向量,查出最相关的几个片段:
def retrieve(question, top_k=3):
q_vec = encoder.encode([question]).tolist()
result = collection.query(
query_embeddings=q_vec,
n_results=top_k,
)
return result["documents"][0]
hits = retrieve("文档里提到的核心概念是什么?")
for i, h in enumerate(hits, 1):
print(f"--- 片段 {i} ---")
print(h[:120])
第五步,把检索结果拼成提示词,交给大模型生成答案。这里只展示拼装逻辑,具体调用哪个模型接口请按你所用平台的官方文档来写:
def build_augmented_prompt(question, contexts):
context_text = "nn".join(
f"【资料{i+1}】{c}" for i, c in enumerate(contexts)
)
return f"""请只根据下面提供的资料回答问题。
如果资料里没有答案,就明确说"资料中未找到",不要自己编造。
{context_text}
问题:{question}
回答:"""
prompt = build_augmented_prompt("文档里提到的核心概念是什么?", hits)
print(prompt)
# 把 prompt 作为用户输入发给你的大模型即可
注意提示词里那句"如果资料里没有答案就说未找到",这是抑制幻觉的重要约束。
三、关键细节
- 切分粒度要适中。片段太大,噪声多、占 token;太小,语义不完整、检索容易漏。常见做法是按段落切,再对过长段落二次切分。
- 切片之间保留重叠,防止关键句子被切断。重叠比例需要按你的文档结构调整。
- 入库和检索必须用同一个向量化模型。换了模型,向量空间就不一致了,必须重新建库。
- 检索返回的片段数量(
top_k)要平衡:太少可能漏掉关键信息,太多会引入噪声并挤占上下文,通常从少量开始试。 - 一定要给片段带上来源标识(文件名、页码等),方便回答时引用和人工核对。上面示例用了简单的序号,生产环境建议存进
metadatas。 - 提示词要明确"只根据资料回答",否则模型可能无视检索结果,直接用记忆里的知识作答。
四、常见错误
| 现象 | 原因 | 修正 |
|---|---|---|
| 检索结果和问题无关 | 切片过大、语义混杂,或切分方式破坏了语义 | 调小片段、保留重叠,按标题和段落切分 |
| 明明库里有答案却检索不到 | 入库和检索用了不同向量化模型,向量空间不一致 | 统一模型,换模型后重建整个库 |
| 回答引入了资料里没有的内容 | 提示词没约束模型只能用资料,或检索片段相关度太低 | 加入"只根据资料回答、没有就说未找到"的约束 |
| 回答被截断或超长 | 检索片段太多,拼装后超过模型上下文 | 减少 top_k,或对片段先做摘要 |
| 程序重启后数据丢失 | 用了内存模式而不是持久化 | 使用 PersistentClient 并指定本地目录 |
| 中文检索效果差 | embedding 模型对中文支持弱 | 换用支持中文的嵌入模型,具体选型见本系列第 15 篇 |
五、排查方法
RAG 效果不好时,按这个顺序定位问题在哪一环:
- 先检查入库:打印片段数量和几个片段内容,确认文档被正确读取和切分,没有整篇挤成一段。
- 检查切分:看片段是否被切断在关键位置,必要时调整大小和重叠参数后重建库。
- 直接测检索:用一个你确定答案在库里的问题调用
retrieve,看正确片段有没有出现在结果里。 - 如果检索就错了,问题在切分或向量化,和提示词、大模型无关,重点调这两处。
- 如果检索对了但回答错了,问题在提示词拼装或模型,检查约束是否写清、片段是否超出上下文。
- 做一次"人工替代测试":把正确片段手动塞进提示词,看模型能否答对。能答对说明生成环节没问题,问题在检索。
- 最后检查一致性:确认入库和检索用的是同一个 embedding 模型,这是最容易被忽略又最致命的一点。
六、注意事项
本文用的是最小示例,目的是讲通原理,接口的字段、默认参数和模型名称都可能随库版本更新而变化,请以各库与所选模型的官方文档为准。真实知识库还要考虑很多工程问题:文档增量更新时如何同步向量库、如何处理扫描件和表格、如何给片段加元数据做过滤、如何评估检索质量等,本文未展开。检索结果的质量高度依赖 embedding 模型,模型选型与相似度阈值的调优是本系列第 15 篇的主题。此外,上传到外部服务的文档要注意数据合规,涉及隐私的资料建议整条链路都在本地完成。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。