智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多语言评测 #输出预算 #MGSM #Qwen3 #Llama-3.1

输出预算影响多语言推理评测:研究揭示token上限是隐藏变量,建议跨预算报告准确率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:一项来自arXiv的新研究指出,多语言评测中单一输出token上限是一个隐藏实验变量,因为不同语言表达相同内容所需的token数不同。研究团队在MGSM基准(德语、泰语、斯瓦希里语)上,针对Qwen3-8B和Llama-3.1-8B-Instruct,在四种提示策略下测试了母语与翻译之间的差距。结果显示,该差距在不同预算下波动高达57个百分点,长度归一化在预算受限时可移动38.9个百分点,甚至在严格预算下可能逆转策略优劣。研究建议将输出预算视为独立变量,并跨预算范围报告准确率,而非单一预算点。


研究背景

多语言评测是评估大语言模型(LLM)跨语言能力的重要手段。然而,现有评测通常设定一个固定的输出token上限(cap),但不同语言表达相同语义所需的token数量差异显著。例如,泰语和斯瓦希里语可能比英语需要更多token。因此,单一token上限可能对不同语言产生不公平的截断,从而影响评测结果。

核心发现

该研究在MGSM基准(德语、泰语、斯瓦希里语)上,针对Qwen3-8B和Llama-3.1-8B-Instruct,在四种提示策略下进行了系统实验。主要发现包括:

  • 差距波动剧烈:母语与翻译之间的准确率差距在不同预算下波动高达57个百分点。
  • 长度归一化影响显著:在预算受限时,长度归一化可使差距移动最多38.9个百分点,甚至在严格预算下可能逆转策略的优劣排序。
  • 冻结测试验证:研究者前瞻性地冻结了扫描中的三个Qwen峰值和1024处的近零值,在540,000个独立硬上限解码上评估,六个Holm校正测试均拒绝零假设。但在B*=1024处,由于母语准确率已饱和,测试未能拒绝零假设,表明饱和后残余差异是策略性能差距,而非推理缺陷。
  • 截断通道与适应阶梯:通过截断通道,研究者评估了成本排序的适应阶梯。交叉拟合的泰语词汇扩展在冻结预算下缩小差距0.0点,在19%轨迹仍截断时缩小4.9点。
  • 公告预算效应:在固定执行上限下,仅改变公告预算(128 vs 2048 token)可使泰语母语准确率移动5.1点,说明准确率不仅取决于执行上限。
  • 时序恒等式:从一次长上限运行计算出的正确发射时序恒等式,与三个预指定MGSM峰值匹配至0.65点,在探索性Qwen分析中,对三个额外基准的保留项跟踪至0.92点,并在七个单元中精确定位峰值。

技术意义

该研究揭示了多语言评测中的一个重要陷阱:输出token上限是一个隐藏变量,可能显著影响评测结论。研究者建议将输出预算视为独立变量,并跨预算范围报告准确率,而非单一预算点。这对于设计更公平、更可靠的多语言评测基准具有重要意义。

行业影响与开发者建议

  • 评测设计:开发者在设计多语言评测时,应避免单一token上限,建议报告多个预算下的准确率曲线,或采用长度归一化等策略。
  • 模型部署:在实际部署中,应根据目标语言调整输出预算,以避免因截断导致性能下降。
  • 研究启示:该研究为理解LLM的多语言能力提供了新视角,提示研究者关注评测设置对结论的影响。

出处

本文基于arXiv预印本论文《Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap》(arXiv:2608.04160),发布于2026年8月6日。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-06)

—— 完 ——

主题标签: #多语言评测 #输出预算 #MGSM #Qwen3 #Llama-3.1

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…