一、基础知识

Embedding(嵌入)模型把文本转成一组数字,也就是向量。在 RAG 里,文档片段和用户问题都靠它转成向量,再通过比较向量之间的距离来判断"意思像不像"。所以 embedding 模型是检索质量的地基,地基歪了,后面的检索和生成怎么调都事倍功半。

选模型时,重点看这几个维度:

  • 语言支持:中文场景必须选对中文语义编码良好的模型,否则"意思相近"根本体现不出来。 multilingual(多语言)模型通常更稳,但也要实测。
  • 领域匹配:通用模型在医疗、法律等专业领域可能不如领域内训练的模型,文本里大量专业术语时尤其明显。
  • 向量维度:维度越高通常表达越丰富,但存储和计算成本也更高。维度大小是模型的固有属性,具体数值以模型发布方的说明为准。
  • 输入长度限制:模型对单次输入的文本长度有上限,超过会被截断,切片时要保证片段不超这个上限。
  • 部署方式:有的模型可以本地运行、保护隐私,有的只能通过 API 调用,要按数据合规要求选择。

第二个主题是相似度阈值。检索时我们会算问题和每个片段的相似度,比如余弦相似度。余弦相似度看的是两个向量方向是否接近,取值通常在负一到一之间,越接近一越相似。很多系统会设一个阈值:只有相似度超过阈值的结果才算"真正命中",低于阈值的当作没找到。这样能避免把毫不相干的片段硬塞给模型,从而减少幻觉。

但阈值绝对不能凭感觉拍一个固定数字。不同模型、不同业务数据、不同问题类型,相似度分布完全不同,别人的阈值搬到你的场景可能完全失效。正确做法是用带标注的小评测集,把阈值当成一个可调参数,用指标找出来。

二、实操步骤

第一步,先建一个小型评测集。准备一批真实问题,并为每个问题标注"哪些片段算相关"。不用很大,几十到上百条就能看出趋势。用字典结构即可:

# 每个问题对应一组"应命中"的片段编号
eval_set = {
    "如何申请退款?": {"chunk_3", "chunk_7"},
    "订单多久能发货?": {"chunk_12"},
    "支持哪些支付方式?": {"chunk_5", "chunk_9"},
    "这个问题资料里根本没有": set(),  # 故意放无答案问题
}

一组里包含"有答案"和"没答案"两类问题,后者是检验阈值能否正确拒绝噪声的关键。

第二步,把问题转成向量并计算余弦相似度。用 numpy 手算,便于理解原理:

import numpy as np

def cosine_similarity(a, b):
    a = np.asarray(a, dtype=float)
    b = np.asarray(b, dtype=float)
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))

# encoder 是你选用的 embedding 模型,具体加载方式以官方文档为准
q_vec = encoder.encode(["如何申请退款?"])[0]
doc_vecs = encoder.encode(["片段一文本", "片段二文本"])
scores = [cosine_similarity(q_vec, d) for d in doc_vecs]
print("相似度:", scores)

实际使用时,向量库一般已经内置了相似度计算,这里手写是为了让你看懂阈值作用的那个数字是什么。

第三步,遍历不同阈值,计算精确率、召回率,画出趋势:

def evaluate(threshold, all_results, eval_set):
    tp = fp = fn = 0
    for question, expected in eval_set.items():
        retrieved = {
            item["id"] for item in all_results[question]
            if item["score"] >= threshold
        }
        tp += len(retrieved & expected)
        fp += len(retrieved - expected)
        fn += len(expected - retrieved)
    precision = tp / (tp + fp) if tp + fp else 0.0
    recall = tp / (tp + fn) if tp + fn else 0.0
    return precision, recall

for t in [0.3, 0.4, 0.5, 0.6, 0.7, 0.8]:
    p, r = evaluate(t, all_results, eval_set)
    print(f"阈值 {t:.1f}  精确率 {p:.2f}  召回率 {r:.2f}")

其中 all_results 是你对每个问题检索出的"片段编号 + 相似度分数"列表,需要先离线跑一遍存下来,调阈值时就不用反复调模型了。

第四步,按业务目标选阈值。精确率表示"检索回来的里面有多少是对的",召回率表示"该找到的里面找到了多少"。两者通常此消彼长:阈值调高,精确率上升、召回率下降;调低则相反。如果错答代价高(比如法律、医疗),优先精确率;如果漏答代价高(宁可多给资料让模型判断),优先召回率。选一个在你场景下综合表现合适的拐点,并记录下来。

第五步,做交叉验证。把评测集分成两份,一份用来调阈值,另一份用来验证,确认选出的阈值在没见过的数据上也成立,避免"过拟合"到调参那批问题上。

三、关键细节

  • 语言能力要实测,不要只看宣传。用你业务里的真实中文句子做个小对比,效果比任何参数表都可靠。
  • 换 embedding 模型等于换了一套度量衡,相似度分布会整体变化,阈值必须重新标定,不能直接沿用旧值。
  • 若向量库用点积(IP)作为相似度,必须先将向量归一化,使点积等于余弦相似度;余弦相似度本身对归一化不敏感。不同库对相似度的定义可能不同,有的返回余弦相似度,有的返回距离,方向相反,接入前一定看文档。
  • 评测集要包含"无答案"问题,否则你无法判断阈值能不能正确拒答,容易把噪声片段喂给模型。
  • 阈值不是全局唯一的硬规则。不同业务问题可以不同处理,关键场景也可以用重排序模型做二次精排。
  • 不要追求某个"标准阈值"。相似度是相对量,脱离具体模型和具体数据谈数值没有意义。

四、常见错误

现象 原因 修正
直接套用网上的阈值数字 模型和数据不同,相似度分布完全不一样 用自己的评测集重新标定阈值,别照搬
换了 embedding 模型后效果突变 阈值没跟着重调,新旧向量分布不同 换模型后重跑评测、重新选阈值
检索总返回不相干片段 阈值太低,或不加阈值直接取前几条 提高阈值,并主动丢弃低于阈值的命中
该找的片段经常被过滤掉 阈值定得太高,召回率不足 适当降低阈值,或引入重排序做二次筛选
中文查询相似度普遍偏低 embedding 模型中文能力弱 换成中文支持更好的模型,重新建库和标定
把距离当成相似度用反了 没看清向量库返回的是相似度还是距离 查官方文档确认指标定义,必要时做转换

五、排查方法

检索不准时,按这个顺序定位阈值相关问题:

  1. 先确认向量库返回的是相似度还是距离,方向搞反会让后续判断全错。
  2. 随机抽几条问题和命中片段,打印相似度分数,看看分布区间大致在哪。
  3. 检查评测集是否覆盖了"有答案"和"无答案"两类问题,缺一类就补上。
  4. 用固定分数跑一遍 evaluate,观察精确率和召回率随阈值变化的曲线,找拐点。
  5. 拿选出的阈值到验证集上复核,确认不是只对调参数据有效。
  6. 如果无论怎么调阈值都不满意,说明问题不在阈值,而在 embedding 模型或切分质量,回到模型和数据处理环节。
  7. 换过模型或改过切片后,一定要把第 2 步到第 5 步整套重做一遍。

六、注意事项

本文讲的是通用方法,具体的模型名称、向量维度、相似度取值范围、向量库的返回字段都会随版本和发布方变化,请以所用模型与向量库的官方文档为准,文中出现的阈值和维度仅用于演示方法,不构成任何推荐数值。评测集的标注质量直接决定调参结果,标注要尽量客观、多人核对。阈值只是检索质量的一环,embedding 模型、切分策略、重排序同样重要,不要把所有问题都寄托在调阈值上。涉及敏感文本时,优先选择可本地部署的 embedding 模型,避免数据外传;使用第三方嵌入服务前要评估合规与成本,价格信息请查官方定价页。


免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。