一、基础知识

把模型想象成一个每步都要选词的自动补全机器。它会给所有候选词算一个概率,然后按规则挑一个。三个参数分别管三件不同的事:

  • temperature(温度):改变概率分布的形状。温度低,高概率的词更突出,输出更集中、更稳定;温度高,分布被抹平,冷门词也有机会被选中,输出更多样。它不改变模型知道什么,只改变「选词的胆子」。
  • top_p(核采样):先按概率从高到低排序候选词,只保留累积概率达到 p 的那一批,再从里面选。它的作用是砍掉长尾的离谱选项。可以把它理解成「候选名单的裁剪阈值」。
  • max_tokens:输出长度的上限。它管的是生成多少个 token,不管你输入了多少;输入超过模型的上下文窗口会触发另一类错误。输出达到上限会被截断,可能是一句没说完的话,也可能是一个没闭合的 JSON。

三者关系可以这样记:temperature 调「分布的形状」,top_p 调「候选池的大小」,max_tokens 只管「写多长」。它们互不替代。

一个重要原则:temperature 和 top_p 通常只调一个。两个一起大幅改动,出问题时会分不清是谁造成的。多数服务允许你只传其中一个,另一个保持默认;具体哪些参数可用、默认值和取值范围是多少,以你所调用服务的官方文档为准。

二、实操步骤

第 1 步:搭一个单变量对比实验脚本。

把密钥放进环境变量,模型名也由外部传入——不同服务对这些参数的命名和支持情况不一样,不要在脚本里写死。

# tune_params.py —— 单变量对比实验骨架
import os
import requests

API_URL = os.environ["API_URL"]
API_KEY = os.environ["API_KEY"]
MODEL = os.environ["MODEL"]        # 具体模型名以官方文档为准

def get_content(resp):
    # 常见返回结构如下,但不同服务可能有差异,以官方文档为准
    return resp["choices"][0]["message"]["content"]

def ask(prompt, *, temperature=None, top_p=None, max_tokens=256):
    payload = {
        "model": MODEL,
        "messages": [{"role": "user", "content": prompt}],
    }
    if temperature is not None:
        payload["temperature"] = temperature
    if top_p is not None:
        payload["top_p"] = top_p
    if max_tokens is not None:
        payload["max_tokens"] = max_tokens

    r = requests.post(
        API_URL,
        headers={"Authorization": f"Bearer {API_KEY}"},
        json=payload,
        timeout=60,
    )
    r.raise_for_status()
    return get_content(r.json())

if __name__ == "__main__":
    # 固定提示词,一次只改 temperature
    prompt = "用一句话解释什么是上下文窗口,不要举例。"
    for t in [0.0, 0.3, 0.7, 1.0]:
        print(f"--- temperature={t} ---")
        print(ask(prompt, temperature=t, max_tokens=128))

第 2 步:运行并记录结果。

export API_URL="你的服务端点"
export API_KEY="你的密钥"
export MODEL="你实际使用的模型名"   # 以官方文档为准
python tune_params.py | tee param_log.txt

用 tee 保存日志,否则几次实验之后你根本记不清哪次用了什么参数。

第 3 步:按任务类型选起点,再做微调。

不要一上来就追求「最优值」。先按任务性质选一个粗略起点,再小步调整:

  • 抽取、分类、代码补全这类要求稳定的任务:从较低温度起步。
  • 通用问答、总结:用服务给出的默认值通常就够。
  • 头脑风暴、创意写作:可以适度提高温度,但要接受偶尔的不稳。

第 4 步:单独验证 max_tokens 是否够用。

# 观察是否被长度截断:多数兼容接口会返回 finish_reason 字段
import os, requests
payload = {
    "model": os.environ["MODEL"],
    "messages": [{"role": "user", "content": "写一段 300 字左右的技术说明"}],
    "max_tokens": 80,               # 故意给小一点,观察截断
}
r = requests.post(os.environ["API_URL"],
                  headers={"Authorization": f"Bearer {os.environ['API_KEY']}"},
                  json=payload, timeout=60)
data = r.json()
print(data.get("choices", [{}])[0].get("finish_reason"))  # 常见为 length 表示触顶
print(data.get("usage"))                                  # 若服务返回,可看 token 用量

如果你的服务没有 finish_reason 字段,就直接看文本末尾是否被硬切断,或者用服务提供的 tokenizer 统计实际长度;具体字段名以官方文档为准。

三、关键细节

  1. 一次只改一个变量。 同时改 temperature 和 top_p,结果好坏都无法归因。写好实验日志比「多试几次」有用得多。
  2. temperature 设成 0 也不等于每次逐字一致。 不同服务、不同版本的实现有差异,是否支持随机种子也要看官方文档。严肃场景仍要做结果校验。
  3. top_p 太小会让模型反复说车轱辘话。 候选池被裁得太窄,容易陷入重复。先从默认值附近试,不要一上来设极端值。
  4. max_tokens 是输出上限,不是输入上限。 输入超长报的是上下文长度相关错误,处理方式完全不同。
  5. 固定提示词和样本集。 两次实验如果提示词也变了,参数对比就没有意义。把提示词存成文件,实验时读它。
  6. 长输出更贵更慢。 max_tokens 给很大并不会让回答更好,只会给模型更多「发挥」空间,费用和延迟都会上升。

四、常见错误

错误做法 现象 原因 修正
输出是一句没说完的话或半截 JSON 以为是模型能力不行 max_tokens 太小被截断 估算长度后调大,或改用分段生成
同时把 temperature 和 top_p 改成极端值 输出要么乱飞要么死板重复 两个参数叠加,无法归因 每次只动一个,另一个保持默认
用 max_tokens 去限制输入长度 输入超长依然报错 它只管输出 token 数 输入侧按上下文窗口规则处理,以官方文档为准
以为 temperature=0 就够了 严肃场景仍出现用词漂移 确定性不等于正确,也未必完全可复现 保留结果校验,必要时开启随机种子(若支持)
每次实验提示词也顺手改了 对比结果完全不可信 变量没控制住 提示词固化成文件,实验只读不改
top_p 设得极小 回答不断重复同一句话 候选池过窄 回到默认或中等水平,再小步调整

五、排查方法

按这个顺序做,能解决绝大多数「参数不生效」的问题:

# 1. 确认环境变量真的传进去了(注意不要打印密钥本身)
python -c 'import os; print("URL:", bool(os.getenv("API_URL")), "MODEL:", os.getenv("MODEL"))'

# 2. 把实际请求体打出来看参数有没有被传对
python - <<'PY'
import os, json
# 在 ask() 里临时加一行:print(json.dumps(payload, ensure_ascii=False))
print("请取消 tune_params.py 中 payload 的打印注释后再运行")
PY

# 3. 看响应里的结束原因和用量,判断是否被长度截断
# 若你的服务返回 finish_reason,length 通常表示触顶;字段名以官方文档为准
python - <<'PY'
import json
for line in open("param_log.txt", encoding="utf-8"):
    if "length" in line or "finish_reason" in line:
        print(line.rstrip())
PY

# 4. 倍增法:从 64 起逐步翻倍,找到输出完整的最小可用值

排查时先问三个问题:参数真的传过去了吗?报错是参数名错误还是长度超限?输出是「生成完了但内容不对」还是「根本没生成完」?这三个问题分开,问题就定位清楚了一半。

六、注意事项

  • 参数名、取值范围、默认值、是否支持随机种子,都会随服务和版本变化,一律以官方文档为准。换供应商后务必重新验证。
  • 有些兼容接口虽然长得像,但对某些参数直接忽略或改名。先用一个极端的参数值测试它是否真的生效。
  • 调高温度会增加输出的不确定性,生产环境建议小范围灰度后再全量。
  • 密钥只放环境变量,不要写进脚本、日志或提交到仓库。上面脚本里所有敏感信息都来自 os.environ。
  • max_tokens 不是越大越好;按需给值,既能省钱也能让输出更聚焦。

免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。