多模态大语言模型作为评审者的能力评估：Qwen2.5-VL-72B与Pixtral-Large-124B的深度分析

摘要：本研究针对多模态大语言模型（LLMs）在学术评审中的应用能力进行了系统评估，重点分析了Qwen2.5-VL-72B和Pixtral-Large-124B两款模型在2026年国际学习表征会议（ICLR）165篇投稿中的表现。研究发现，尽管模型生成的评审分数普遍较高（7.0-8.1），但其对错误检测的能力有限：在自然提示下仅检测到12.1%的错误，即使在验证性提示下也只有22.2%的错误被识别。此外，模型对视觉错误的验证能力不足，且评审分数受图表影响而虚高。作者身份对评审结果无显著影响，模型决策与简单评分平均结果一致。这项研究揭示了当前多模态LLMs在学术评审中的局限性，并为未来模型改进提供了重要参考。

---

研究背景与目的

近年来，大语言模型（LLMs）在各个领域的应用日益广泛，其中学术评审是一个新兴的应用场景。本研究旨在评估多模态LLMs在学术评审中的表现，特别是其对错误检测和评审质量的影响。

研究方法

研究选取了两款多模态LLMs——Qwen2.5-VL-72B和Pixtral-Large-124B——作为评审者，对2026年ICLR会议的165篇投稿进行了评审。实验设计包括以下变量：“不显示作者身份”、“替换为高声望机构”和“替换为低声望机构”，以及“仅文本”和“文本+图表”两种格式。此外，研究还在55篇稿件中插入了145个可验证的错误，以测试模型在不同提示下的错误检测能力。

主要发现

1. 评审分数偏高：模型生成的评审分数范围为7.0到8.1，而人类评审的平均分数仅为3.4到6.8。
2. 错误检测能力有限：在自然提示下，模型仅检测到12.1%的错误；在验证性提示下，检测率提高到22.2%，但仍有78%的错误未被识别。
3. 图表的影响：提供图表会降低错误检测率，同时提高评审分数。
4. 视觉错误验证不足：没有视觉错误被可靠地验证，且一半的仅文本评审描述了未提供的图表。
5. 作者身份无影响：作者身份对评审分数和错误检测均无显著影响。
6. 模型决策与评分平均一致：模型的编辑决策与简单评分平均结果完全一致。

结论与建议

本研究揭示了当前多模态LLMs在学术评审中的局限性，特别是在错误检测和视觉验证方面的不足。未来的研究应关注如何提升模型在复杂任务中的表现，并探索更有效的评审机制。此外，评审过程中应结合人类专家的判断，以弥补模型的不足。

行业影响

这项研究为多模态LLMs在学术评审中的应用提供了重要的参考依据，并为AI在知识密集型任务中的发展指明了方向。开发者应关注模型的透明性和可解释性，以确保评审结果的公正性和可靠性。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-01)

—— 完 ——

主题标签： #多模态LLM 关注 #学术评审 关注 #错误检测 关注 #Qwen2.5-VL-72B 关注 #Pixtral-Large-124B 关注