Hugging Face发布JockeyBench：基于日本赛马历史数据评估LLM智能体决策能力

摘要：Hugging Face推出JockeyBench，这是一套针对重复事件预测的基准测试与评估协议，通过分析日本赛马历史数据，研究如何从噪声中提取预测信号并评估其决策价值。该协议结合了时间门控证据、定价工具、冻结程序控制，并设计了两种工作流：执行LLM编写的预测器或获取新赛事的LLM预测证据。评估指标包括预测质量、基准特定净效用以及固定决策规则下的回顾性投注回报与风险。实验结果表明，尽管所有配置在Kelly投注规则下均呈现负平均利润，但可重用程序工作流在平均投注利润和研究费用方面表现更优。该研究为评估智能体在重复事件预测中的预测能力、适应性和资源使用提供了新的方法。

---

1. 背景与动机

在人工智能领域，重复事件预测是一个复杂且具有挑战性的问题。智能体需要从噪声数据中提取有价值的预测信号，并在连续决策中评估其有效性。JockeyBench的推出旨在通过分析日本赛马历史数据，为这一问题提供新的解决方案。

2. 技术机制剖析

JockeyBench结合了以下关键技术：

• 时间门控证据：通过时间窗口控制证据的获取，确保预测的时效性。
• 定价工具：对不同类型的证据进行定价，以评估其对预测的贡献。
• 冻结程序控制：使用冻结的程序作为控制组，确保评估的公平性。
• 两种工作流：(a) 执行LLM编写的预测器；(b) 获取新赛事的LLM预测证据。

3. 工程权衡与实测表现

实验在324场赛马比赛中对28种模型-支架配置进行了评估。评估指标包括预测质量、基准特定净效用以及回顾性投注回报与风险。

• 主要发现：
  • 在Kelly投注规则下，所有配置的平均利润均为负。
  • 可重用程序工作流在平均投注利润和研究费用方面表现更优。
  • 概率偏差在选定的投注中发生逆转，盈利的个别运行可能依赖于集中的回报。

4. 开发者落地与部署建议

• 预测能力评估：建议在评估智能体时，将预测能力、适应性和资源使用分开考虑。
• 资源管理：在资源有限的情况下，可优先考虑可重用程序工作流以降低研究费用。
• 风险管理：在部署智能体时，需考虑预测偏差和回报集中的风险，并制定相应的风险管理策略。

5. 未来展望

JockeyBench为评估智能体在重复事件预测中的表现提供了新的思路。未来研究可以进一步优化评估指标，并探索更多领域的数据集以验证其通用性。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #JockeyBench 关注 #LLM智能体 关注 #重复事件预测 关注 #基准测试 关注