arXiv提出BSR方法：革新软件工程智能体奖励机制

摘要：arXiv发布了一项关于软件工程智能体奖励机制的研究，提出了一种名为行为自奖励（BSR）的新方法。该方法通过重用智能体策略来比较相同任务轨迹中的调试行为，并生成辅助奖励，从而在不依赖额外奖励模型的情况下提升任务性能。实验表明，BSR在Qwen3-14B和Qwen3-32B配置中均表现出色，为软件工程智能体的训练提供了更高效的学习信号。

---

技术机制剖析

行为自奖励（BSR）是一种创新的奖励机制，旨在解决传统强化学习中二值化奖励无法区分调试质量差异的问题。其核心机制包括：

1. 轨迹比较与偏好聚合：BSR通过重用智能体策略来比较相同任务中不同轨迹的调试行为，并生成成对偏好。
2. 任务局部评分：将成对偏好聚合为任务局部评分，这些评分反映了轨迹的相对优劣。
3. 辅助奖励生成：将任务局部评分转换为有界的辅助奖励，这些奖励在保留验证器定义的通过/失败排序的同时，引入了奖励对比度。

工程权衡与实测表现

• 优势：BSR无需训练额外的奖励模型，降低了计算成本和复杂性。同时，它利用智能体自身的比较判断作为补充学习信号，提升了训练效率。
• 局限性：BSR依赖于智能体策略的质量，如果策略本身存在偏差，可能会影响奖励生成的准确性。此外，BSR在处理复杂任务时可能需要更精细的调试。

实验在SWE-bench Verified和SWE-bench-Live基准测试中进行了评估，结果表明，BSR在Qwen3-14B和Qwen3-32B配置中均表现出色，显著提升了任务性能。

开发者落地与部署建议

1. 适用场景：BSR特别适用于需要精细化调试和高质量轨迹的软件工程任务，如代码生成、错误修复和性能优化。
2. 部署建议：建议在现有强化学习框架中集成BSR，并结合验证器提供的反馈进行奖励生成。此外，应定期评估智能体策略的质量，以确保BSR的有效性。
3. 未来方向：未来可以探索BSR与其他奖励机制（如逆强化学习）的结合，以进一步提升智能体在复杂任务中的表现。

总结

BSR为软件工程智能体的训练提供了一种高效且无需额外奖励模型的解决方案。其在实验中的优异表现展示了其在提升智能体性能方面的巨大潜力。

---

消息来源：ArXiv AI (cs.AI) (2026-10-12)

—— 完 ——

主题标签： #arXiv 关注 #强化学习 关注 #智能体 关注 #软件工程 关注 #奖励机制 关注