arXiv研究揭示：提示广度与策略刷新对在线策略蒸馏的影响

摘要：一项由arXiv发布的研究探讨了在线策略蒸馏（OPD）中提示广度与策略刷新的交互作用。研究通过固定轨迹和优化器更新次数，实验分析了不同提示库和响应生成策略快照数量对模型准确性的影响。结果表明，在策略刷新条件下，增加提示广度可提升模型准确性，而在固定初始策略时，提示广度增加反而降低准确性。这揭示了OPD中提示效率对刷新机制和推理预算的依赖性，为大语言模型的训练优化提供了新的见解。

---

研究背景与动机

在线策略蒸馏（OPD）是一种通过交互学习提升大语言模型性能的方法。然而，OPD中提示的数量以及学生策略生成训练响应的方式对模型性能的影响尚未得到充分研究。本研究旨在探讨提示广度与策略刷新之间的交互作用，以优化OPD的训练效率。

主要实验与发现

研究设计了一个3x3的数学推理实验，固定了14080条轨迹和110次优化器更新，同时变化提示库和响应生成策略快照的数量。实验结果表明：

• 提示广度与策略刷新的交互作用：在策略刷新条件下，使用8个提示和10个快照的模型达到了24.09%的平均准确性，接近于使用14080个不同提示的24.51%。而在固定初始策略时，增加提示广度反而使准确性从21.16%降低到19.05%。

• 刷新机制的影响：在每次更新时进行策略刷新，准确性从23.61%提升到25.57%，而提示广度的增加进一步放大了这种提升效果。

• 教师模型的影响：在不同教师模型下，周期性模型在短预算条件下表现出更高的准确性和答案完成度，但固定响应模型在32K输出限制下凭借1.7-1.8倍的响应token数量反超。

技术亮点

1. 提示广度与刷新机制的协同优化：研究表明，OPD中提示效率不仅依赖于提示数量，还与策略刷新机制密切相关。
2. 多教师模型对比：通过对比不同教师模型，揭示了模型在不同条件下的行为差异，为模型选择提供了参考。
3. 定量分析：通过实验数据定量分析了提示广度、刷新机制和推理预算对模型准确性的影响，为OPD的训练优化提供了量化依据。

行业影响与开发者建议

1. 优化OPD训练流程：开发者应根据具体应用场景和资源限制，合理选择提示广度和策略刷新机制，以实现最佳的训练效果。
2. 资源分配策略：在资源受限的情况下，可以优先考虑增加策略刷新频率，而非单纯增加提示数量。
3. 模型选择与评估：在选择教师模型时，应综合考虑其在不同条件下的表现，以选择最适合的模型。

结论

这项研究揭示了OPD中提示广度与策略刷新的复杂交互作用，为大语言模型的训练优化提供了新的思路和方法。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-23)

—— 完 ——

主题标签： #arXiv 关注 #大语言模型 关注 #策略蒸馏 关注 #提示工程 关注 #机器学习 关注