Hugging Face发布Co-Design Bench：多模态协作编程智能体评估基准

摘要：Hugging Face推出Co-Design Bench，这是一款针对多模态协作编程智能体的全新基准测试平台。该基准包含273项任务，涵盖图像、音频、视频和文档输入的本地化编辑以及代码库协调修订任务，测试智能体在理解、用户界面转换和功能实现三个维度的能力。Co-Design Bench采用独特的‘判断-反驳’协议，通过源数据和浏览器证据进行评分，并引入独立的LLM验证器以确保评估的准确性。实验表明，当前最强的模型在任务完成率上仅达到26.4%，凸显了多模态协作编程领域的挑战和未来改进空间。

---

1. 概述

Hugging Face近日发布了Co-Design Bench，这是一款针对多模态协作编程智能体的全新基准测试平台，旨在评估智能体在处理真实用户多模态请求并将其转化为可运行应用修订方面的能力。该基准测试从26,314个真实用户编程会话中提取了37,463个去重查询，最终构建了273项任务，涵盖图像、音频、视频和文档输入的本地化编辑以及代码库协调修订任务。

2. 技术机制剖析

Co-Design Bench的核心机制包括以下关键部分：

• 任务设计：任务分为多模态编辑（ME）和代码库编辑（RE）两类，涵盖三个能力维度：

  • 基础理解（Grounded Understanding）：智能体对用户请求的准确理解能力。
  • 用户界面转换（UI Transformation）：智能体对用户界面的调整和优化能力。
  • 功能实现（Functional Implementation）：智能体实现用户功能需求的能力。

• 评估协议：采用‘判断-反驳’协议，通过源数据和浏览器证据进行评分，并引入独立的LLM验证器以确保评估的准确性。

• 隐藏标准：每项任务都包含由专家编写的2,331个隐藏接受标准，用于细粒度评估智能体的表现。

3. 工程权衡与实测表现

Co-Design Bench的实验结果表明，当前最强的模型在任务完成率上仅达到26.4%，平均每项任务仅通过69.9%的标准。这表明多模态协作编程智能体在处理复杂任务时仍存在显著不足，尤其是在涉及多个变更类型的代码库修订任务中表现更差。

4. 开发者落地与部署建议

对于开发者而言，Co-Design Bench提供了一种可靠的评估工具，可以帮助他们识别智能体在多模态协作编程中的具体弱点，并指导模型改进方向。此外，开发者可以利用该基准测试平台进行以下操作：

• 模型评估与比较：通过Co-Design Bench对不同模型进行评估和比较，以选择最适合特定应用场景的智能体。

• 训练数据优化：利用基准测试中的任务和标准来优化训练数据，提高智能体在多模态协作编程任务中的表现。

• 持续改进：定期使用Co-Design Bench进行评估，以跟踪智能体性能的改进情况，并及时调整训练策略。

5. 未来展望

Co-Design Bench的发布为多模态协作编程智能体的研究和发展提供了一个重要的平台。随着AI技术的不断进步，未来的智能体有望在处理复杂多模态任务时表现出更高的能力和效率。

---

消息来源：Hugging Face Daily Papers (2026-10-26)

—— 完 ——

主题标签： #Hugging Face 关注 #智能体 关注 #多模态 关注 #基准测试 关注 #AI协作 关注