一、基础知识
模型并不像人一样一个字一个字地读你的提示词,它读的是 token。token 可以是一个汉字、一个英文单词、单词的一部分,甚至一个标点符号。把文本切成 token 的工具叫分词器(tokenizer),不同模型用的分词器不同,切法也不同。
这里有个反直觉的点:中文通常比英文更"费" token。英文里常见单词往往整体是一个 token,而中文由于字符集大、组合多,很多分词器会把一个汉字切成一到两个 token。也就是说,看起来同样长的一段话,中文消耗的 token 通常高于英文,具体倍数随分词器和文本类型而变。这是很多人第一次算 token 就"超预算"的根本原因。
上下文窗口(context window)是模型一次调用能处理的 token 总量上限。最关键的一句话是:输入和输出共享同一个窗口。你写给模型的提示词占一部分,模型要给出的回答占另一部分,两者加起来不能超过窗口上限。很多人只盯着提示词长度,忘了给输出留位置,结果提示词本身没超,模型却无法完整作答,或者一开口就被截断。
还要分清两个容易混的概念:上下文窗口是模型的能力上限,而 API 里的 max_tokens 通常是你给这次输出设定的上限。前者是天花板,后者是你自己划的线,线不能划到天花板外面去。
二、实操步骤
第一步,安装估算工具。以 OpenAI 生态常用的 tiktoken 为例:
pip install tiktoken
第二步,写一个小函数估算文本的 token 数。注意编码名(encoding)要和你的模型匹配,具体用哪个编码请以所用模型的官方文档为准:
import tiktoken
def count_tokens(text, encoding_name="cl100k_base"):
enc = tiktoken.get_encoding(encoding_name)
return len(enc.encode(text))
prompt = "你好,请帮我总结一下下面这段话的要点。"
print("这段提示词的 token 数:", count_tokens(prompt))
第三步,把对话消息整体的开销也算进去。真实请求里除了正文,还有角色标签、分隔符等格式开销,这些也会计入 token:
def count_messages(messages, encoding_name="cl100k_base"):
enc = tiktoken.get_encoding(encoding_name)
total = 0
for m in messages:
total += len(enc.encode(m.get("content", "")))
total += 4 # 每条消息的角色、分隔符等固定开销的粗略估计
return total
messages = [
{"role": "system", "content": "你是一个严谨的助手。"},
{"role": "user", "content": "请解释什么是上下文窗口。"},
]
print("消息总 token 估算:", count_messages(messages))
这里的 +4 只是一个粗略经验值,不是精确公式,不同 API 的格式开销并不一样,精确数字请以官方文档或实际返回为准。
第四步,用 API 返回的用量字段做校准。绝大多数大模型 API 在响应里会返回本次消耗的 token 统计,通常包含输入 token 和输出 token 两个数字。把本地估算值和返回值对比几次,你就能知道自己的估算偏差有多大,从而给提示词设定一个安全余量。
第五步,给输出预留空间。假设你知道某模型窗口是某个数值(具体数值以官方文档为准),就把它减去你希望的最大输出长度,剩下的才是提示词可用的额度。写成代码就是:
window = 128000 # 示例值,实际请以你所用模型的官方文档为准
max_output = 2000
safety_margin = 500
budget = window - max_output - safety_margin
print("提示词可用额度约:", budget)
三、关键细节
- 输入和输出共享窗口。提示词占得越多,留给回答的空间越小,两者之和才是真正的约束。
max_tokens限制的是输出,不是输入。把它调大不会让更长的提示词被接受,反而会挤占可输入的额度。- 中文 token 消耗普遍高于英文,做多语言应用时不能按字符数直接换算。
- 消息格式有额外开销,system、user、assistant 各条消息的结构都会计入总量。
- 不同模型用不同分词器,同一个字符串在不同模型下 token 数可能不同,估算工具要和目标模型匹配。
- 表格、代码、长 JSON 这类结构化文本 token 密度很高,是超限的高发区。
四、常见错误
| 现象 | 原因 | 修正 |
|---|---|---|
| 提示词没多长却报超限 | 只算了输入,没给输出留额度,或忽略了消息格式开销 | 按"输入 + 期望输出 + 安全余量"重新核算,用返回值校准 |
| 中文提示词比预想的大很多 | 按字符数估算,忽略了中文 token 密度高 | 改用 tiktoken 按目标编码实测,别用字符数当 token 数 |
| 本地估算和 API 返回差一截 | 编码名和模型不匹配,或没算格式开销 | 查官方文档确认编码名,对比返回值修正偏移量 |
调大 max_tokens 后更容易超限 |
误以为它限制输入,结果占用了更多窗口额度 | 明确它只管输出,按窗口总量反推提示词预算 |
| 长文档一次性塞进提示词 | 没有截断或分块策略,直接拼接全文 | 先摘要或分块检索,只把相关片段放进提示词 |
| 上下文明明够却回答被截断 | 输出上限设得太小,或触发了长度相关的停止条件 | 检查 max_tokens 与停止条件,给输出留足空间 |
五、排查方法
遇到提示词超限,建议按这个顺序排查:
- 先看 API 返回的错误信息,确认是输入超限还是输出被截断,两者处理方向不同。
- 用
count_tokens单独统计正文,记录一个基准值。 - 用
count_messages统计整条消息,观察格式开销占比是否异常。 - 检查编码名是否和目标模型匹配,方法:查阅所用模型的官方文档,确认其推荐的 tokenizer 或 encoding。
- 核对
max_tokens设置,用"窗口 − 输出 − 余量"反推输入预算,看是否超额。 - 发一次真实请求,读取响应里的 token 用量字段,与本地估算对比,记录偏差比例。
- 如果确实超了,按优先级压缩:删掉冗余说明 → 用摘要替代原文 → 把长文档改为检索后只送相关片段。
六、注意事项
本文讲的是通用原理和估算方法,具体模型的窗口大小、分词器类型、token 计费方式都会随版本更新而变化,文中出现的数值均为示例,请以你所用模型的官方文档为准,不要直接照搬。估算工具只能给出近似值,最终应以 API 实际返回的用量为准。做成本核算时尤其要谨慎,不同模型、不同方向的 token 单价可能不同,价格信息请查官方定价页。此外,把敏感文本提交给第三方 API 前要评估数据合规风险,必要时选择支持数据隔离的部署方式。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。