印度语言Token税实测：同一内容成本最高相差13.7倍
摘要：HavonAI 团队量化了九种公开分词器在印度25种语言及印英混合语上的Token膨胀。相同内容使用GPT-4o分词器时，印地语需英语1.57倍Token、奥里亚语5.01倍，桑塔利语使用Ol Chiki文字时更达13.7倍。Sarvam分词器将所有语言的倍率控制在2.6倍以内，中位数为1.53。研究同时指出，现有分词器很少准确落在印地语和马拉地语的词素边界上，揭示了印度语言在API计费、吞吐与上下文容量上的系统性劣势。
印度语言不是“翻译后直接调用”，而是带着分词税进入模型
HavonAI 的研究测量了九种公开分词器在印度25种语言上的Token膨胀。实验使用FLORES-200中2,009条与英语对齐的专业译文，并加入PHINC的13,732对人工翻译印英混合社交媒体内容。
结果揭示了明显的语言成本差：GPT-4o分词器处理相同内容时，印地语需要英语1.57倍的Token，奥里亚语需要5.01倍；桑塔利语使用Ol Chiki文字时，倍率高达13.7倍。GPT-4分词器的最坏情况也达到12.8倍。相比之下，Sarvam-30B/105B是受测第三方分词器中唯一让全部印度语言保持在2.6倍以内的方案，中位倍率为1.53。
这项差异不只影响账单。按Token计费的API会直接提高单次请求成本；序列变长还会增加预填充计算量、降低吞吐，并在固定上下文窗口中压缩可用文本量。对高棉语语种客服、政务问答和长文档摘要而言，这属于部署架构层面的持续成本，而非一次性的翻译开销。
Token税从何而来
分词器把文本映射为模型词表中的离散Token。若英语常用词可以直接对应词表条目，而印度语言中的词形变化、复合结构、附标字符或非主流文字需要被拆成更多片段，那么同一语义内容就会对应更长的输入序列。
更关键的是，粒度并不必然等于语言学质量。论文使用开放授权的印地语和马拉地语形态切分数据，检查分词器是否在词内切点与形态词素边界重合。结果显示，没有一个分词器能让超过35%的词内边界落在正确词素边界上，边界F1最高仅为0.48。
这意味着常见的多语言BPE词表虽然增加了非英语片段，却没有系统性利用印度语言高度屈折的形态结构。它既可能产生过多碎片，也会让同一词根在屈折形式变化后遭遇不稳定切分。
成本测算只是场景估算
论文给出一个示例：在每月10万次客服对话、采用2026年11月5日官方标价及特定交互假设下，GPT-4o处理英语约需56,640卢比，处理马拉地语约需102,829卢比。
这个结果不能直接视为生产账单。实际成本还取决于输入与输出比例、系统提示词长度、缓存命中率、对话历史长度、供应商折扣和重试率。但它清楚展示了一个容易被平均Token价格掩盖的问题：若模型能力相当，分词效率本身就会决定多语言服务的单位经济性。
从吞吐角度看，可把上下文长度粗略视为L = T / r，其中T为固定上下文Token上限，r为该语言相对英语的Token倍率。5.01倍意味着原本可容纳的文本只相当于英语基准的约20%；13.7倍则只剩约7.3%。若推理成本近似随输入长度增长，多语言场景的有效上下文容量与首Token延迟都会显著恶化。
现有分词器为何难以兼顾所有印度语言
英语主导的Byte-Pair Encoding在形成词表时天然偏向高频英语片段。印度语言的问题并非单一类型：
- 屈折形态：同一词根会因格、数、性和辅音变化产生大量形式；
- 官方文字差异：奥里亚语、孟加拉语、泰米尔语、泰卢固语等各有独立书写系统；
- 低资源分布：并非每种语言的字节级片段都拥有足够训练频率；
- 混合语现象：Hinglish文本会在拉丁转写、天城文和代码混用之间切换。
单纯扩大词表并不自动解决问题。词表越大，嵌入参数和输出投影成本也会增加；提高词表覆盖率还可能让低频片段泛化能力不足。理想的解决方案需要在分词粒度、词表规模、跨语言迁移和下游模型兼容性之间权衡。
Sarvam分词器表现较好，说明针对印度语言数据专门训练的词表能够显著降低Token税。但低于2.6倍并不代表成本消失，更不能仅凭Token数量推断最终任务质量。
评测边界与待验证问题
研究把Token数量作为相对英语效率指标，这一选择直接对应API计费和上下文占用，却不能单独代表语言理解质量。更完整的技术评估还应加入：
- 在相同语义任务上的准确率、指令遵循和事实一致性；
- 跨语言提示与输出长度不同时生成速度的差异；
- 真实社交媒体中的拼写错误、代码混用和表情符号；
- 分词器与目标模型训练语料、词表及embedding维度是否兼容；
- 缓存、连续批处理和长上下文场景下的端到端收益。
此外，成本示例依赖特定日期的官方价格与明确假设，且属于估算而非生产测量。边界F1也只衡量词素边界重合，不能完整反映语义切分质量。
开发者与模型厂商的落地建议
对多语言API产品，评测应从“英语Tokens-per-dollar”扩展为按语言统计的有效Token效率、成本和有效上下文容量。采购或替换模型时，可将同一语料在候选分词器上重放，建立统一的tokens / English token指标。
模型厂商则可针对高成本语言增加形态感知或子词切分策略，但必须联合评估词表膨胀、嵌入参数增量以及新分词与既有checkpoint之间的兼容性。对于必须维持英语统一词表的服务，可在服务端实施语言路由、本地预分词或针对印度语言的专门推理栈；不过这会增加系统复杂度，并引入跨词表迁移与路由一致性风险。
研究已公开代码、固定版本实验产物和原始Token计数，为独立复现提供了基础。真正影响生产的决策依据，应是端到端成本、吞吐、任务质量和上下文有效容量，而不是单独追求最低Token数。
—— 完 ——消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-11)
主题标签： #Tokenizer #多语言模型 #印度语言 #Token成本 #形态分词
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区