ArXiv提出多专家保形风险控制算法：革新开放对话中LLM对判评估

摘要：ArXiv团队提出了一种名为多专家保形风险控制（CRC）的新算法，用于开放对话中LLM对判评估。该方法通过多专家聚合来补充CRC的核心机制，在评分和决策层面分别设计了Score Averaging和Decision Voting两种策略，并在同质专家小组中表现出色。此外，团队进一步提出了边际校准保形共识（MC3）方法，通过初始阈值比例和统一决策函数解决了异质LLM法官的评分尺度差异问题，在多个数据集上均实现了性能提升。

---

研究背景与动机

在开放对话的LLM对判评估中，如何有效控制风险并提升评估准确性是一个关键挑战。传统方法依赖于单一专家的判断，难以应对复杂场景下的不确定性。

方法与创新

ArXiv团队提出了一种多专家保形风险控制（CRC）算法，通过以下方式实现创新：

1. 多专家聚合机制：

   • Score Averaging：在评分层面进行聚合，通过平均化多个专家的评分来提升准确性。
   • Decision Voting：在决策层面进行聚合，通过投票机制选择最优决策。

2. 边际校准保形共识（MC3）：

   • 引入初始阈值比例以捕捉不同专家的评分尺度。
   • 联合调整统一决策函数$C_t(x)$，在校准和测试中保持一致性，从而解决异质专家的评分差异问题。

实验与结果

团队构建了一个名为Panel的1,800对人工偏好基准数据集，涵盖三个领域的对话上下文（ESConv、MSC、DREAM），并对四种开放权重LLM的响应进行了评估。实验结果表明：

• Score Averaging 和 Decision Voting 在同质专家小组中显著提升了准确性和接受率。
• MC3 在异质专家小组中进一步扩展了性能提升，证明了其在处理不同评分尺度方面的有效性。

行业影响与未来展望

该研究为开放对话中的LLM对判评估提供了新的技术路径，特别是在处理复杂场景和异质专家时表现出色。未来，该方法有望应用于更多领域，如智能客服、虚拟助手和自动化决策系统，进一步提升AI系统的可靠性和用户体验。

开发者建议

• 多专家集成：建议在LLM对判评估中引入多专家机制，以提升评估的鲁棒性和准确性。
• 模型优化：开发者可以尝试将MC3方法集成到现有模型中，以解决异质专家的评分差异问题。
• 数据多样性：在构建评估数据集时，应考虑不同领域的对话上下文，以增强模型的泛化能力。

---

消息来源：ArXiv cs.CL (2026-08-27)

—— 完 ——

主题标签： #ArXiv 关注 #多专家聚合 关注 #保形风险控制 关注 #LLM对判评估 关注 #开放对话 关注