Mid-Harness：提升终端智能体任务执行可靠性的新方法

摘要：Mid-Harness是一种新提出的方法，旨在通过在模型与执行器之间分配测试时计算资源，提升终端智能体的任务执行可靠性。该方法通过在执行前对候选动作进行采样与验证，从而减少因错误命令导致的环境破坏风险。研究表明，使用TMAX-9B生成器和验证器时，Mid-Harness在TerminalBench-Lite基准测试中将Pass@1从50.00%提升至68.03%。此外，结合动作与轨迹扩展，Mid-Harness在较低token成本下实现了更高的任务成功率，展示了其在多种模型、基准测试和执行器上的广泛适用性。

---

背景与挑战

在终端智能体中，模型生成的动作虽然可能有用，但不一定可靠。一个错误的命令（例如错误的软件包安装）可能会改变环境，从而阻碍后续任务的进展。尽管模型可以生成更好的替代方案，但如何确保动作的可靠性仍然是一个关键挑战。

Mid-Harness方法

为了解决这一问题，研究人员提出了Mid-Harness方法。该方法在模型与执行器之间引入了一个中间层，通过在执行前对候选动作进行采样和验证，从而提升动作的可靠性。具体来说，Mid-Harness保持生成器和执行器不变，仅在测试时分配额外的计算资源进行动作验证。

实验与结果

在实验中，研究人员使用TMAX-9B生成器进行了测试。结果表明，在弱验证条件下，更多的动作采样带来的收益有限。然而，一个强大的验证器可以有效地利用生成器提供的有用替代方案。在TerminalBench-Lite基准测试中，使用GPT-5.6 Sol验证器时，Pass@1从基线代理的50.00%提升至68.03%（8个采样动作）。当TMAX-9B模型作为验证器时，成对验证在所有评估的验证机制中表现最佳。将来自更强验证器的响应蒸馏到TMAX-9B中，进一步提升了Pass@1，同时保持动作生成器不变。

结论与影响

Mid-Harness不仅在单一模型和基准测试中表现出色，还在其他模型、基准测试和执行器上展示了其广泛的适用性。研究表明，动作扩展是终端智能体测试时计算扩展的一个有前途的目标。该方法为提升智能体任务执行的可靠性提供了新的思路，特别是在需要高可靠性的应用场景中，如自动化运维、机器人控制等领域。

开发者建议

1. 优化验证机制：开发者可以尝试不同的验证机制，以找到最适合其特定应用场景的方案。
2. 结合其他技术：Mid-Harness可以与其他技术（如强化学习、模仿学习）结合使用，以进一步提升智能体的性能。
3. 关注计算成本：尽管Mid-Harness在提升可靠性方面表现出色，但开发者也需要关注其带来的额外计算成本，特别是在资源受限的环境中。

---

消息来源：Hugging Face Daily Papers (2026-09-30)

—— 完 ——

主题标签： #智能体 关注 #终端智能体 关注 #动作可靠性 关注 #测试时计算 关注 #Mid-Harness 关注