ArXiv发布通用决策模型基准测试：JEVal与InnerJev模型解析

摘要：ArXiv近日发布了一项关于通用决策模型的研究，提出了名为JEVal的双语基准测试，包含36个数据集的11,257个实例，评估了25种模型配置。研究表明，通用决策模型在基于证据的决策中表现优异，但在需要专业知识和不确定性估计的任务中表现较弱。此外，在涉及长程、多步骤交互的动态系统中，局部快速决策的优势被系统级可靠性问题所抵消。在大规模社会模拟中，决策模型在个体响应预测上接近强大的生成式LLM，但在用户画像和聚合估计误差方面表现较差。研究还提出了InnerJev-4B和InnerJev-27B模型，通过推理到输出的自蒸馏技术，将开放权重LLM的推理内化为单次首token决策，InnerJev-27B在JEVal上的表现与Jev相当，同时将典型查询的响应时间缩短至约0.1秒。

---

研究背景与动机

近年来，通用决策模型（General Decision Models）作为一种高效替代LLM（大型语言模型）的方案，在结构化判断和选择任务中展现出潜力。然而，这些模型在复杂任务中的表现如何，以及它们在多步骤交互中的可靠性仍需深入研究。为此，研究团队提出了JEVal基准测试，并评估了多种模型配置。

主要研究内容

1. JEVal基准测试：

   • 包含36个数据集的11,257个实例，涵盖10个应用领域。
   • 评估了25种模型配置，包括通用决策模型和生成式LLM。

2. 研究结果：

   • 基于证据的决策：通用决策模型在基于证据的决策中表现优异，但难以处理需要专业知识和不确定性估计的任务。
   • 动态系统中的表现：在涉及长程、多步骤交互的动态系统中，局部快速决策的优势被系统级可靠性问题所抵消。
   • 大规模社会模拟：决策模型在个体响应预测上接近强大的生成式LLM，但在用户画像和聚合估计误差方面表现较差。

3. InnerJev模型：

   • 提出了InnerJev-4B和InnerJev-27B模型，通过推理到输出的自蒸馏技术，将开放权重LLM的推理内化为单次首token决策。
   • InnerJev-27B在JEVal上的表现与Jev相当，同时将典型查询的响应时间缩短至约0.1秒。

技术亮点

• JEVal基准测试：提供了一个全面的评估框架，涵盖了多种应用场景和模型配置。
• InnerJev模型：通过自蒸馏技术实现了高效的推理过程，显著提升了决策速度。
• 多维度评估：从基于证据的决策、动态系统和社会模拟等多个角度对模型进行了评估，提供了全面的性能分析。

行业影响与开发者建议

• 行业影响：

  • 通用决策模型在特定领域具有应用潜力，但需结合专业知识和不确定性估计进行优化。
  • 动态系统中的可靠性问题需要进一步研究，以提升模型在实际应用中的表现。

• 开发者建议：

  • 在使用通用决策模型时，应根据具体任务需求选择合适的模型配置。
  • 开发者可以参考InnerJev模型的设计思路，探索将LLM推理内化为高效决策过程的方法。

结论

这项研究为通用决策模型的应用提供了新的见解，并提出了InnerJev模型，为AI决策系统的优化提供了新的思路。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-06)

—— 完 ——

主题标签： #决策模型 关注 #LLM 关注 #基准测试 关注 #推理优化 关注 #ArXiv 关注