系统1决策模型评估：Laya与Jev在LLM智能体任务中的性能对比

摘要：本研究对两种系统1决策模型——开源的Laya和托管的Jev——在LLM智能体任务中的表现进行了深入评估。研究基于来自18个公共数据源的11个决策点，共包含7,283个基础案例和6,640个鲁棒性变体。评估结果显示，Jev在9个决策点上的表现显著优于Laya，精度提升范围为10.8%至46.0%。然而，两者在零样本模型路由上均未超越随机概率，且在RAG相关性门控上表现相当。Laya在选项顺序反转时答案变化率达30%，且在候选数量较多或相似时性能急剧下降。研究还发现，原始分析中存在多个错误和设计混淆，导致了不准确的初步结论，例如预筛选成本遗漏、门控准确率误报为端到端质量等。

---

研究背景与动机

在LLM智能体应用中，系统1决策模型因其高效的单次前向传播特性，被广泛用于快速决策，例如选择调用哪个模型、使用哪种工具、评估检索文本的相关性以及检测输入中的注入攻击等。然而，现有研究对不同系统1决策模型的性能缺乏系统性的评估和比较。本研究旨在填补这一空白，通过对两种代表性模型——开源的Laya和托管的Jev——进行深入对比，揭示其在实际应用中的优缺点。

研究方法

研究基于来自18个公共数据源的11个决策点，共包含7,283个基础案例和6,640个鲁棒性变体。评估采用以下方法：

• 字节级输入一致性：确保输入数据在不同模型间完全一致。
• 配对测试：对每个案例进行配对测试，以消除随机误差。
• 跨硬件和跨日重现性检查：验证模型在不同硬件和不同时间的表现一致性。

主要发现

1. Jev的显著优势：Jev在9个决策点上的表现显著优于Laya，精度提升范围为10.8%至46.0%。
2. 零样本模型路由的局限性：两者在零样本模型路由上均未超越随机概率。
3. RAG相关性门控的持平表现：两者在RAG相关性门控上表现相当。
4. Laya的稳定性问题：Laya在选项顺序反转时答案变化率达30%，且在候选数量较多或相似时性能急剧下降（31%在50个最近邻工具中，而Jev在唯一正确工具的项目中为98%）。

原始分析中的错误与混淆

研究还发现，原始分析中存在多个错误和设计混淆：

• 预筛选成本遗漏：报告的节省率为23.9%，实际仅为4.3%。
• 门控准确率误报为端到端质量：报告的准确率为58%，实际为98%。
• 样本内阈值问题：目标为5%，但实际有高达17%的样本外遗漏。
• 注入错误阳性的“通道效应”：在通道原生内容中消失。

结论与建议

本研究为系统1决策模型在LLM智能体中的应用提供了新的见解，强调了模型选择和评估的重要性。开发者应根据具体应用场景选择合适的模型，并注意评估过程中的潜在偏差和混淆因素。未来的研究可以进一步探索模型在不同领域的应用，以及如何通过改进模型架构和训练方法提升其稳定性和鲁棒性。

---

消息来源：ArXiv AI (cs.AI) (2026-10-06)

—— 完 ——

主题标签： #System-1决策模型 关注 #LLM智能体 关注 #模型评估 关注 #性能对比 关注 #鲁棒性 关注