arXiv发布BILAL-BENCH：评估大模型在孟加拉语中生成伊斯兰教源内容的基准测试

摘要：arXiv近日发布了一项名为BILAL-BENCH的新基准测试，旨在评估大语言模型在孟加拉语中生成伊斯兰教源内容（如古兰经经文或圣训）时的表现。该基准测试包含240个专家验证的问题，涵盖古兰经归属、圣训、教法、当代问题及对抗性虚假前提提示，并采用双轴评分标准区分源错误与断言性错误。研究表明，7个参数量从1B到120B的开放权重模型中，有6个在79.3%至95.3%的源生成问题上表现出过度自信的虚构行为，且未见随规模增长而改善的趋势。圣训来源是最薄弱的一环，仅有2/315的答案正确且来源准确。研究还发现，模型在是否保留无法支持的断言方面差异较大，而非源准确性。

---

核心突破

arXiv发布的BILAL-BENCH基准测试旨在解决现有伊斯兰教源内容生成评估中的关键问题，特别是在孟加拉语环境下。现有基准测试主要集中在阿拉伯语，且多为封闭式问题，而BILAL-BENCH则通过240个专家验证的开放性问题填补了这一空白。

技术机制剖析

BILAL-BENCH采用双轴评分标准：

1. 源错误（Source Errors）：评估模型生成内容与原始伊斯兰教源之间的偏差。
2. 断言性错误（Assertiveness Errors）：评估模型在无法支持其断言时的表现，例如是否过度自信或错误地引用来源。

研究团队评估了7个开放权重模型（参数规模从1B到120B），发现这些模型在79.3%至95.3%的源生成问题上表现出过度自信的虚构行为，且未见随规模增长而改善的趋势。圣训来源是最薄弱的一环，仅有2/315的答案正确且来源准确。

工程权衡与实测表现

• 模型规模与性能：尽管模型规模增大，但未见性能提升，表明当前模型在处理复杂宗教文本时存在根本性局限。
• 错误类型分析：圣训来源的错误率最高，表明模型在处理特定领域知识时存在显著缺陷。
• 断言性表现：模型在是否保留无法支持的断言方面差异较大，表明不同模型在处理不确定性时的策略不同。

开发者落地与部署建议

• 领域适应性训练：建议在特定领域（如宗教文本）进行适应性训练，以提高模型在处理复杂文化背景下的表现。
• 多语言支持：BILAL-BENCH的发布为多语言模型在宗教文本生成中的评估提供了新的工具，开发者可利用该基准测试优化模型的多语言能力。
• 伦理与安全：在部署此类模型时，需特别注意伦理问题，避免生成误导性或冒犯性内容。

结论

BILAL-BENCH的发布为评估大语言模型在孟加拉语中生成伊斯兰教源内容的能力提供了重要工具，揭示了当前模型在处理复杂宗教文本时的局限性，并为未来研究指明了方向。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-02)

—— 完 ——

主题标签： #arXiv 关注 #大语言模型 关注 #伊斯兰教源内容 关注 #孟加拉语 关注 #基准测试 关注