一、基础知识
把模型想象成一个每步都要选词的自动补全机器。它会给所有候选词算一个概率,然后按规则挑一个。三个参数分别管三件不同的事:
- temperature(温度):改变概率分布的形状。温度低,高概率的词更突出,输出更集中、更稳定;温度高,分布被抹平,冷门词也有机会被选中,输出更多样。它不改变模型知道什么,只改变「选词的胆子」。
- top_p(核采样):先按概率从高到低排序候选词,只保留累积概率达到 p 的那一批,再从里面选。它的作用是砍掉长尾的离谱选项。可以把它理解成「候选名单的裁剪阈值」。
- max_tokens:输出长度的上限。它管的是生成多少个 token,不管你输入了多少;输入超过模型的上下文窗口会触发另一类错误。输出达到上限会被截断,可能是一句没说完的话,也可能是一个没闭合的 JSON。
三者关系可以这样记:temperature 调「分布的形状」,top_p 调「候选池的大小」,max_tokens 只管「写多长」。它们互不替代。
一个重要原则:temperature 和 top_p 通常只调一个。两个一起大幅改动,出问题时会分不清是谁造成的。多数服务允许你只传其中一个,另一个保持默认;具体哪些参数可用、默认值和取值范围是多少,以你所调用服务的官方文档为准。
二、实操步骤
第 1 步:搭一个单变量对比实验脚本。
把密钥放进环境变量,模型名也由外部传入——不同服务对这些参数的命名和支持情况不一样,不要在脚本里写死。
# tune_params.py —— 单变量对比实验骨架
import os
import requests
API_URL = os.environ["API_URL"]
API_KEY = os.environ["API_KEY"]
MODEL = os.environ["MODEL"] # 具体模型名以官方文档为准
def get_content(resp):
# 常见返回结构如下,但不同服务可能有差异,以官方文档为准
return resp["choices"][0]["message"]["content"]
def ask(prompt, *, temperature=None, top_p=None, max_tokens=256):
payload = {
"model": MODEL,
"messages": [{"role": "user", "content": prompt}],
}
if temperature is not None:
payload["temperature"] = temperature
if top_p is not None:
payload["top_p"] = top_p
if max_tokens is not None:
payload["max_tokens"] = max_tokens
r = requests.post(
API_URL,
headers={"Authorization": f"Bearer {API_KEY}"},
json=payload,
timeout=60,
)
r.raise_for_status()
return get_content(r.json())
if __name__ == "__main__":
# 固定提示词,一次只改 temperature
prompt = "用一句话解释什么是上下文窗口,不要举例。"
for t in [0.0, 0.3, 0.7, 1.0]:
print(f"--- temperature={t} ---")
print(ask(prompt, temperature=t, max_tokens=128))
第 2 步:运行并记录结果。
export API_URL="你的服务端点"
export API_KEY="你的密钥"
export MODEL="你实际使用的模型名" # 以官方文档为准
python tune_params.py | tee param_log.txt
用 tee 保存日志,否则几次实验之后你根本记不清哪次用了什么参数。
第 3 步:按任务类型选起点,再做微调。
不要一上来就追求「最优值」。先按任务性质选一个粗略起点,再小步调整:
- 抽取、分类、代码补全这类要求稳定的任务:从较低温度起步。
- 通用问答、总结:用服务给出的默认值通常就够。
- 头脑风暴、创意写作:可以适度提高温度,但要接受偶尔的不稳。
第 4 步:单独验证 max_tokens 是否够用。
# 观察是否被长度截断:多数兼容接口会返回 finish_reason 字段
import os, requests
payload = {
"model": os.environ["MODEL"],
"messages": [{"role": "user", "content": "写一段 300 字左右的技术说明"}],
"max_tokens": 80, # 故意给小一点,观察截断
}
r = requests.post(os.environ["API_URL"],
headers={"Authorization": f"Bearer {os.environ['API_KEY']}"},
json=payload, timeout=60)
data = r.json()
print(data.get("choices", [{}])[0].get("finish_reason")) # 常见为 length 表示触顶
print(data.get("usage")) # 若服务返回,可看 token 用量
如果你的服务没有 finish_reason 字段,就直接看文本末尾是否被硬切断,或者用服务提供的 tokenizer 统计实际长度;具体字段名以官方文档为准。
三、关键细节
- 一次只改一个变量。 同时改 temperature 和 top_p,结果好坏都无法归因。写好实验日志比「多试几次」有用得多。
- temperature 设成 0 也不等于每次逐字一致。 不同服务、不同版本的实现有差异,是否支持随机种子也要看官方文档。严肃场景仍要做结果校验。
- top_p 太小会让模型反复说车轱辘话。 候选池被裁得太窄,容易陷入重复。先从默认值附近试,不要一上来设极端值。
- max_tokens 是输出上限,不是输入上限。 输入超长报的是上下文长度相关错误,处理方式完全不同。
- 固定提示词和样本集。 两次实验如果提示词也变了,参数对比就没有意义。把提示词存成文件,实验时读它。
- 长输出更贵更慢。 max_tokens 给很大并不会让回答更好,只会给模型更多「发挥」空间,费用和延迟都会上升。
四、常见错误
| 错误做法 | 现象 | 原因 | 修正 |
|---|---|---|---|
| 输出是一句没说完的话或半截 JSON | 以为是模型能力不行 | max_tokens 太小被截断 | 估算长度后调大,或改用分段生成 |
| 同时把 temperature 和 top_p 改成极端值 | 输出要么乱飞要么死板重复 | 两个参数叠加,无法归因 | 每次只动一个,另一个保持默认 |
| 用 max_tokens 去限制输入长度 | 输入超长依然报错 | 它只管输出 token 数 | 输入侧按上下文窗口规则处理,以官方文档为准 |
| 以为 temperature=0 就够了 | 严肃场景仍出现用词漂移 | 确定性不等于正确,也未必完全可复现 | 保留结果校验,必要时开启随机种子(若支持) |
| 每次实验提示词也顺手改了 | 对比结果完全不可信 | 变量没控制住 | 提示词固化成文件,实验只读不改 |
| top_p 设得极小 | 回答不断重复同一句话 | 候选池过窄 | 回到默认或中等水平,再小步调整 |
五、排查方法
按这个顺序做,能解决绝大多数「参数不生效」的问题:
# 1. 确认环境变量真的传进去了(注意不要打印密钥本身)
python -c 'import os; print("URL:", bool(os.getenv("API_URL")), "MODEL:", os.getenv("MODEL"))'
# 2. 把实际请求体打出来看参数有没有被传对
python - <<'PY'
import os, json
# 在 ask() 里临时加一行:print(json.dumps(payload, ensure_ascii=False))
print("请取消 tune_params.py 中 payload 的打印注释后再运行")
PY
# 3. 看响应里的结束原因和用量,判断是否被长度截断
# 若你的服务返回 finish_reason,length 通常表示触顶;字段名以官方文档为准
python - <<'PY'
import json
for line in open("param_log.txt", encoding="utf-8"):
if "length" in line or "finish_reason" in line:
print(line.rstrip())
PY
# 4. 倍增法:从 64 起逐步翻倍,找到输出完整的最小可用值
排查时先问三个问题:参数真的传过去了吗?报错是参数名错误还是长度超限?输出是「生成完了但内容不对」还是「根本没生成完」?这三个问题分开,问题就定位清楚了一半。
六、注意事项
- 参数名、取值范围、默认值、是否支持随机种子,都会随服务和版本变化,一律以官方文档为准。换供应商后务必重新验证。
- 有些兼容接口虽然长得像,但对某些参数直接忽略或改名。先用一个极端的参数值测试它是否真的生效。
- 调高温度会增加输出的不确定性,生产环境建议小范围灰度后再全量。
- 密钥只放环境变量,不要写进脚本、日志或提交到仓库。上面脚本里所有敏感信息都来自
os.environ。 - max_tokens 不是越大越好;按需给值,既能省钱也能让输出更聚焦。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。