Hugging Face提出MInTRL：稀疏局部干预增强在线强化学习性能

摘要：Hugging Face的研究团队提出了一种名为MInTRL（Minimal Intervention Reinforcement Learning）的新方法，通过稀疏、局部的干预策略来扩展在线强化学习（RL）的探索边界，同时保持整体轨迹的在线性质。该方法在生成过程中引入一个裁判-干预策略，定期审查当前策略的输出并用简短修正替换错误后缀；在训练过程中，采用序列级优势回归目标函数，避免了重要性采样的需求。实验结果表明，MInTRL在数学和代码基准测试中显著优于传统在线和离线RL方法，证明了最小干预作为增强在线RL的有效性。

---

技术背景与挑战

强化学习（RL）在处理可验证奖励时通常采用在线策略（on-policy），这意味着训练数据与当前策略保持一致，但探索范围受限于策略自身能够发现的状态轨迹。相比之下，离线策略（off-policy）方法，如监督微调，可以利用超出基础模型能力范围的外部知识，但可能面临较大的分布偏移问题。因此，关键挑战在于如何在不牺牲学习能力的前提下扩展探索范围。

MInTRL方法概述

Hugging Face的研究团队提出了MInTRL（Minimal Intervention Reinforcement Learning），通过在在线策略的轨迹中引入稀疏、局部的干预来扩展探索边界。在生成过程中，一个裁判-干预策略会定期审查当前策略的输出，用简短修正替换错误后缀，并立即将控制权交还给策略。在训练过程中，MInTRL采用序列级优势回归目标函数，避免了重要性采样的需求。

主要技术亮点

• 稀疏局部干预：通过在在线策略中引入最小干预，扩展探索边界，同时保持整体轨迹的在线性质。
• 裁判-干预策略：在生成过程中，裁判策略会审查当前策略的输出并提供修正。
• 序列级优势回归目标函数：在训练过程中消除对重要性采样的需求。

实验结果与验证

MInTRL在数学和代码基准测试中表现优异，显著优于传统在线和离线RL方法。消融实验表明，MInTRL在自我干预和不同裁判策略下均有效，且在中等干预强度下性能达到峰值，强调了最小干预的重要性。

行业影响与开发者建议

MInTRL为强化学习领域提供了一种新的有效范式，特别是在需要扩展探索范围但同时保持学习效率的场景中。开发者可以尝试将MInTRL应用于复杂的决策任务，如自动驾驶、机器人控制和游戏AI等，以提升策略的鲁棒性和泛化能力。

---

消息来源：Hugging Face Daily Papers (2026-09-11)

—— 完 ——

主题标签： #强化学习 #Hugging Face #MInTRL #AI智能体 #机器学习