Naver AI提出推理轨迹优化新方法：减少冗余信息提升大模型推理效率

摘要：Naver AI的研究团队提出了一种针对大语言模型（LLM）推理能力训练的新方法，通过分析推理轨迹中的冗余信息，发现完整轨迹对模型推理能力的提升有限，而部分轨迹在大幅截断后仍能保持高效性。研究表明，避免冗余信息可以让LLM通过内部知识推断缺失步骤，从而提升推理效率。这一发现不仅适用于监督微调（SFT），还扩展到基于强化学习和策略蒸馏的后训练方法，为AI推理能力的优化提供了新的思路。

---

研究背景与动机

大语言模型（LLM）在处理复杂推理任务时，通常依赖于预收集的推理轨迹进行后训练。然而，这些轨迹往往冗长且包含大量无关信息，可能影响训练效率与模型性能。

主要发现与创新

1. 冗余信息分析：通过基于注意力的分析和受控的标记去除研究，研究团队发现推理轨迹中的中间标记对最终推理质量的贡献极小。
2. 部分轨迹的有效性：完整轨迹对模型推理能力的提升有限，而部分轨迹在大幅截断后仍能保持高效性。这表明LLM可以通过内部知识推断缺失步骤，从而减少对冗余信息的依赖。
3. 训练方法改进：使用端点训练LLM不仅能带来推理行为的持续变化，还能提升基于强化学习和策略蒸馏的后训练方法的效果。

技术亮点

• 注意力机制分析：通过分析注意力权重，识别出对推理贡献较小的中间标记。
• 受控标记去除研究：系统性地去除标记并评估其对推理质量的影响，验证了冗余信息的存在。
• 端点训练方法：利用推理轨迹的端点进行训练，简化了训练过程并提升了效率。

行业影响与开发者建议

• 对AI研究的影响：该研究挑战了传统推理轨迹训练方法，为LLM推理能力的优化提供了新的思路。
• 对开发者的建议：开发者可以尝试使用部分轨迹或端点训练方法，以提升模型推理效率并减少训练成本。
• 未来研究方向：进一步探索如何更好地利用内部知识推断缺失步骤，以及如何在不同类型的推理任务中应用该方法。

代码与资源

研究团队已将相关代码开源，地址为 https://github.com/naver-ai/revisiting-trace。开发者可以参考该代码库进行实验和进一步研究。

---

消息来源：Hugging Face Daily Papers (2026-09-07)

—— 完 ——

主题标签： #推理轨迹 关注 #大语言模型 关注 #Naver AI 关注 #后训练 关注 #推理效率 关注