跳到主内容
智客 ZICQ

智客百科 技术术语

Token(词元)

技术术语
别名: 词元 tokens ·2026-11-18

Token(词元)

Token(词元) 是大语言模型(LLM)处理和生成文本的最小离散计算单元。模型并不直接看到原始字符或单词,而是先由分词器(Tokenizer)把输入拆分为子词、常见词根或字节切片并映射成整数 ID;对于常见英文文本,1 个 Token 大致对应约 0.75 个英文单词(约 4 个英文字符),而在中文语境下,一个汉字通常对应 0.5 到 2 个 Token,具体取决于词表设计。

为什么 Token 是理解大模型成本与性能的通用刻度

  • API 计费与预算控制:几乎所有大模型服务商都按输入 Token(Input / Cached Input)与输出 Token(Output)分别计价。对于推理模型,隐藏的思考过程(Reasoning Tokens)通常也计入输出 Token 账单与 max_tokens 配额。
  • 上下文窗口边界:模型的上下文窗口(如 128K、200K、1M)以“系统提示词 + 检索文档 + 对话历史 + 模型生成”之和的总 Token 数封顶,而不是按汉字或页数计算。
  • 推理延迟与显存占用:生成阶段每个输出 Token 都需要完整读取一次权重与历史 KV Cache,因此“输出 Token/s(TPS)”与“单次输入首字延迟(TTFT)”直接决定用户体感速度。

语种、代码与词表差异的直观估算

由于不同模型家族采用不同规模与训练语料的 BPE / SentencePiece 词表,同一段中文在不同模型下的 Token 消耗差异明显:

文本样本类型 大致 Token 量级 工程注意要点
1,000 个英文单词 ~1,300 tokens 常见英文词多为单 Token,标点与空格通常合并进前缀
1,000 个中文汉字 ~550–1,800 tokens 针对中文扩充词表的模型(如 Qwen / DeepSeek)常把双字词编成单 Token;早期英文中心词表可能把生僻汉字拆成 2–3 个 UTF-8 字节 Token
JSON / YAML / 源代码 ~1.2–2× 同等英文散文 缩进空格、引号、括号与非标准标识符会增加分词碎片率

特殊控制词元(Special Tokens)

除了普通文本切片,词表中还预留了一批用于划定对话边界和工具状态的特殊控制 Token,例如:

  • 对话角色边界:<|im_start|>、<|im_end|>、[INST];
  • 思考与工具调用标记:<think>、</think>、tool_call;
  • 序列起止标记:BOS(Beginning of Sequence)与 EOS(End of Sequence,模型输出 EOS 即停止生成)。

应用开发时切勿直接把不可信用户输入拼接进原始对话模板,以免触发特殊 Token 注入导致角色边界被绕过(见 提示注入)。

进一步阅读