一、基础知识
先说清一件事:主流大模型本质上是在做「续写」。它每一步都在预测「下一个最可能出现的词」,训练目标是让文本看起来连贯、合理,而不是让每句话都符合现实世界的事实。当它没见过某个知识、或者记错了,它依然会挑一个概率高的说法继续往下写——这就是幻觉的根源。它不是在故意撒谎,而是根本没有「我不知道」这个内部开关。
幻觉通常分两类,处理方式完全不同:
- 事实性幻觉:编造不存在的人名、论文、日期、数字、接口参数。这类问题的本质是知识缺失或记错。
- 忠实性幻觉:你给了材料,它的回答却违背材料,或者添加了材料里没有的结论。这类问题的本质是没读懂约束。
还有几个容易被忽略的成因。第一,训练数据有截止时间,之后发生的事它天然不知道。第二,对齐训练让模型倾向于「给出答案」,因为训练信号通常奖励有内容、有帮助的回复,而不是空泛的拒答。第三,模型的置信度和事实正确性不是一回事:一个错答案的每个字都可以是高概率的,所以它会说得非常自信。理解了这一点,你就不会指望「调一下参数」就彻底解决幻觉——参数改变的是随机性,不是知识。
二、实操步骤
下面是一套能照着做完的流程。核心思路是:不追求模型变诚实,而是让它的每句话都能被程序验证。
第 1 步:先建一个小评测集,别凭感觉优化。
哪怕只有 30 条真实问题,也要先把「现在错多少」量出来,否则你无法判断改动是否有效。
# eval_hallucination.py —— 最简单的 baseline 评测骨架
import json
def judge(answer: str, gold: str) -> int:
"""判定函数:初期可人工标注,后期换成规则或检索比对。"""
return int(gold.strip().lower() in answer.strip().lower())
def evaluate(cases, ask):
ok = 0
for item in cases:
ans = ask(item["q"]) # 先用下面的示例桩函数,替换为真实调用后再跑评测
ok += judge(ans, item["gold"])
return ok / len(cases)
def ask(question: str) -> str:
"""可运行的桩函数:返回固定示例回答;替换为真实调用。"""
return "材料中未提及"
if __name__ == "__main__":
cases = [json.loads(l) for l in open("cases.jsonl", encoding="utf-8")]
print(f"准确率:{evaluate(cases, ask):.2%}")
第 2 步:把知识从「模型记忆」搬到「外部材料」。
用检索增强(RAG)把可信材料放进上下文,并要求模型逐条引用。关键是给材料编号,方便后面程序核对。
# 构造可追溯的上下文:每段材料带唯一编号
def build_context(chunks):
return "n".join(f"[{i+1}] {c}" for i, c in enumerate(chunks))
prompt = f"""只根据下面的材料回答问题,不要使用材料之外的知识。
如果材料不足以回答,直接回答“材料中未提及”。
材料:
{build_context(chunks)}
问题:{question}
要求:每个结论后面用 [编号] 标明依据,可以引用多个编号。"""
第 3 步:用程序校验引用,而不是相信模型的引用。
这是最容易被跳过、却最关键的一步。模型完全可能编出一个不存在的编号。
# verify.py —— 检查答案里的引用是否真的来自给定材料
import re
def has_citation_support(answer: str, context: str) -> bool:
cited = set(re.findall(r"[(d+)]", answer))
if not cited:
return False # 没有引用的回答一律视为不可信
available = set(re.findall(r"[(d+)]", context))
return cited.issubset(available) # 出现材料里没有的编号就判失败
第 4 步:对高风险问题做多次采样,观察是否自洽。
from collections import Counter
def self_consistent(ask, question, n=5):
answers = [ask(question) for _ in range(n)]
normalized = [a.strip().lower() for a in answers]
return Counter(normalized).most_common(1)[0]
第 5 步:明确允许「不知道」,并在提示里给例子。
在提示词中加一两个「材料中未提及」的示例,让模型知道这也是可接受的输出。
三、关键细节
- 降低 temperature 只压缩随机性,不补知识。 模型压根不知道的事,温度设成 0 也照样编。知识缺失型幻觉要靠检索或拒答,不靠调参。
- 「检索到了」不等于「模型读到了」。 上下文很长时,中间位置的材料容易被忽略,把最关键的证据放在开头或结尾,并在检索后做重排。
- 引用必须配合程序校验。 让模型输出 [编号] 只是第一步,不跑
has_citation_support等于没做校验。 - 自洽投票检测的是「一致性」,不是「正确性」。 如果模型稳定地记错,多次回答会高度一致,反而给你错误的安心感。
- 区分两类幻觉再选方案。 忠实性幻觉用「只根据以下材料回答」约束就能大幅下降;事实性幻觉必须引入外部证据。
- 先量后改。 每次只改一个变量(提示词、检索条数、参数),在小评测集上跑一遍,避免「感觉变好了」。
四、常见错误
| 错误做法 | 现象 | 原因 | 修正 |
|---|---|---|---|
| 把 temperature 设为 0 就以为不会幻觉 | 输出稳定但仍编造出处 | 随机性不等于知识,确定地错还是错 | 补检索材料,或允许「材料中未提及」 |
| 提示词里只写「请确保准确」 | 几乎没变化 | 形容词不提供可执行信息 | 改成可验证约束:引用编号、只根据材料 |
| RAG 后答案依然错 | 召回片段明明有证据 | 上下文过长,中间信息被漏读 | 重排、截断,把关键证据放到首尾 |
| 要求输出 JSON 引用但程序不校验 | 编造不存在的编号 | 模型可以凭空生成合法格式 | 跑引用校验函数,失败就重试或拒答 |
| 让模型自己判断答案对不对 | 错答案也被自评通过 | 自评受同一知识盲区影响 | 用外部规则、检索比对或人工抽检 |
| 评测集只有能回答的问题 | 上线后遇到无答案问题就翻车 | 没覆盖边界情况 | 加入「无法回答」样本,考核拒答率 |
五、排查方法
按顺序做,不要跳步:
# 1. 收集线上 badcase,一条一行;type 取 faithfulness(违背材料)或 factual(知识性错误)
printf '%sn' '{"type":"faithfulness","q":"示例问题","a":"模型回答","context":"给的材料"}' >> badcases.jsonl
# 2. 看实际发出去的请求体(密钥用环境变量,不要写进文件)
curl -sS -X POST "$API_URL"
-H "Authorization: Bearer $API_KEY"
-H 'Content-Type: application/json'
-d @payload.json | jq .
# 3. 统计引用支持率,定位是「没引用」还是「乱引用」
python - <<'PY'
import json
from verify import has_citation_support
rows = [json.loads(l) for l in open("badcases.jsonl", encoding="utf-8")]
ok = sum(has_citation_support(r["a"], r["context"]) for r in rows)
print(f"引用支持率:{ok}/{len(rows)}")
PY
# 4. 把 badcase 按类型分开看,先看忠实性(违背材料)的
grep '"type":"faithfulness"' badcases.jsonl | head -n 5
排查顺序建议:先确认提示词实际内容 → 再看召回材料里有没有证据 → 然后检查输出校验是否生效 → 最后才调参数。绝大多数问题出在前三步,而不是参数。
六、注意事项
- 没有任何手段能把幻觉降到零。现实目标是「可验证、可追溯、可拒答」,而不是「绝对正确」。
- 不同模型、不同版本的拒答行为和指令遵循差异明显,升级版本后务必重跑评测集,相关参数取值以官方文档为准。
- 医疗、法律、金融等专业场景,模型输出只能作为草稿,必须经过人工复核,不能作为最终依据。
- 注意数据合规:不要未经评估就把内部敏感材料写进第三方服务的提示词。
- 检索库本身如果有错,会放大幻觉。治理数据源往往比调提示词更划算。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。