Token(词元)
Token(词元) 是大语言模型(LLM)处理和生成文本的最小离散计算单元。模型并不直接看到原始字符或单词,而是先由分词器(Tokenizer)把输入拆分为子词、常见词根或字节切片并映射成整数 ID;对于常见英文文本,1 个 Token 大致对应约 0.75 个英文单词(约 4 个英文字符),而在中文语境下,一个汉字通常对应 0.5 到 2 个 Token,具体取决于词表设计。
为什么 Token 是理解大模型成本与性能的通用刻度
- API 计费与预算控制:几乎所有大模型服务商都按输入 Token(Input / Cached Input)与输出 Token(Output)分别计价。对于推理模型,隐藏的思考过程(Reasoning Tokens)通常也计入输出 Token 账单与
max_tokens配额。 - 上下文窗口边界:模型的上下文窗口(如 128K、200K、1M)以“系统提示词 + 检索文档 + 对话历史 + 模型生成”之和的总 Token 数封顶,而不是按汉字或页数计算。
- 推理延迟与显存占用:生成阶段每个输出 Token 都需要完整读取一次权重与历史 KV Cache,因此“输出 Token/s(TPS)”与“单次输入首字延迟(TTFT)”直接决定用户体感速度。
语种、代码与词表差异的直观估算
由于不同模型家族采用不同规模与训练语料的 BPE / SentencePiece 词表,同一段中文在不同模型下的 Token 消耗差异明显:
| 文本样本类型 | 大致 Token 量级 | 工程注意要点 |
|---|---|---|
| 1,000 个英文单词 | ~1,300 tokens | 常见英文词多为单 Token,标点与空格通常合并进前缀 |
| 1,000 个中文汉字 | ~550–1,800 tokens | 针对中文扩充词表的模型(如 Qwen / DeepSeek)常把双字词编成单 Token;早期英文中心词表可能把生僻汉字拆成 2–3 个 UTF-8 字节 Token |
| JSON / YAML / 源代码 | ~1.2–2× 同等英文散文 | 缩进空格、引号、括号与非标准标识符会增加分词碎片率 |
特殊控制词元(Special Tokens)
除了普通文本切片,词表中还预留了一批用于划定对话边界和工具状态的特殊控制 Token,例如:
- 对话角色边界:
<|im_start|>、<|im_end|>、[INST]; - 思考与工具调用标记:
<think>、</think>、tool_call; - 序列起止标记:BOS(Beginning of Sequence)与 EOS(End of Sequence,模型输出 EOS 即停止生成)。
应用开发时切勿直接把不可信用户输入拼接进原始对话模板,以免触发特殊 Token 注入导致角色边界被绕过(见 提示注入)。
进一步阅读
- OpenAI tiktoken — 快速开源 BPE 分词库与编码查看工具
- Hugging Face Tokenizers Documentation —
AutoTokenizer与 Chat Template 处理规范 - Neural Machine Translation of Rare Words with Subword Units (Sennrich et al., 2015) — BPE 子词切分方法论文