arXiv提出逆向推理模型：高效利用答案数据实现后训练与验证

摘要：arXiv发布了一项关于后训练大语言模型（LLMs）推理能力的新研究，提出了一种基于逆向推理模型（Inverse Reasoning LLM）的自蒸馏技术。该技术利用仅有答案的数据，通过训练一个逆向模型生成原始模型的推理轨迹，从而在无需复杂监督数据的情况下提升模型性能。实验表明，该方法在Countdown和GSM8K任务中显著提高了模型在复杂问题上的推理能力，并可作为答案正确性的高效验证工具。

---

技术机制剖析

本研究的重点在于提出了一种基于逆向推理模型的自蒸馏技术，旨在解决传统后训练推理LLMs在数据效率和计算效率上的双重挑战。传统方法通常需要在监督微调中依赖推理轨迹（CoT），但这在许多实际应用中并不可行，因为用户往往只提供提示-答案对，而缺乏详细的推理路径。另一方面，基于强化学习的方法虽然可以避免对CoT数据的依赖，但因其需要多次自回归生成步骤，计算成本极高。

逆向推理模型通过以下方式解决了这些问题：

1. 训练逆向模型：逆向推理LLM被训练为基于答案生成原始模型的推理轨迹。这使得模型能够将答案数据转化为更丰富的推理信息。
2. 离线生成推理轨迹：逆向模型生成推理轨迹的过程是离线完成的，这避免了在每次优化步骤中进行多次自回归生成，从而大幅降低了计算成本。
3. 自蒸馏过程：生成的推理轨迹被用于对原始模型进行自蒸馏，从而提升其推理能力。

工程权衡与实测表现

该方法在Qwen3-0.6B模型上进行了验证，并在Countdown和GSM8K任务中进行了测试。结果表明：

• 推理能力提升：在GRPO训练饱和后，单轮离线自蒸馏使模型在复杂提示上的pass@1指标翻倍。
• 性能对比：在Countdown任务中，该方法在所有混合比例下的硬尾指标上均优于基于拒绝采样的自蒸馏方法；而在GSM8K任务中，提升幅度较小。
• 验证应用：逆向模型还可作为答案正确性的高效验证工具，将Countdown任务的最佳选择准确率从0.753（多数投票）提升至0.969。

开发者落地与部署建议

1. 适用场景：该方法特别适用于仅有答案数据的场景，如持续后训练和知识更新。
2. 计算资源优化：由于逆向模型生成推理轨迹的过程是离线完成的，开发者可以灵活安排计算资源，避免在线生成带来的延迟和成本。
3. 模型验证：逆向模型可作为独立的验证工具，用于评估模型输出的一致性和正确性。

结论

这项研究展示了一种创新的自蒸馏技术，通过逆向推理模型有效提升了后训练LLMs的推理能力，同时保持了较低的计算成本。该方法为LLMs的持续学习和知识更新提供了新的思路，尤其在数据效率要求高的应用场景中具有重要价值。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-15)

—— 完 ——

主题标签： #逆向推理 关注 #自蒸馏 关注 #后训练 关注 #大语言模型 关注 #推理能力 关注