arXiv发布多语言摘要生成模型全面评估：揭示跨语言性能差异

摘要：arXiv发布了一项关于多语言摘要生成模型的研究，对八个闭源和开源权重的大型语言模型（LLMs）在英语和孟加拉语上的表现进行了全面评估。研究结合了词汇和语义指标、无参考事实性验证以及多维度的LLM作为裁判评估方法，揭示了跨语言性能的巨大差异。GPT-5.6 Luna在英语词汇指标上表现优异，但在孟加拉语上优势不再，而LLaMA 3.3 70B在孟加拉语上取得了最高的ROUGE和BLEU分数。Gemini 2.5 Flash则获得了最高的孟加拉语事实性分数。研究表明，强大的英语摘要生成能力并不一定能迁移到低资源语言，强调了构建全面评估框架的重要性。

---

研究背景与动机

多语言摘要生成是自然语言处理领域的一大挑战，尤其在低资源语言环境下，语言的语言质量和事实一致性往往难以兼顾。现有的大型语言模型（LLMs）在高资源语言（如英语）上表现出色，但在低资源语言上的表现仍存在较大差距。为了全面评估这些模型在多语言环境下的表现，arXiv的研究团队设计了一个标准化的零样本基准测试。

研究方法

研究团队选择了八个闭源和开源权重的LLMs，包括GPT-5.6 Luna、LLaMA 3.3 70B和Gemini 2.5 Flash等，并在英语和孟加拉语的XL-Sum测试集上进行了评估。评估方法结合了词汇和语义指标、无参考事实性验证以及多维度的LLM作为裁判评估方法。

主要发现

1. 跨语言性能差异显著：GPT-5.6 Luna在英语词汇指标上表现优异，但在孟加拉语上优势不再。LLaMA 3.3 70B在孟加拉语上取得了最高的ROUGE和BLEU分数。
2. 事实性评估的差异：Gemini 2.5 Flash获得了最高的孟加拉语事实性分数，表明不同模型在不同评估维度上的表现存在显著差异。
3. 评估方法的局限性：不同评估方法产生的模型排名不同，揭示了依赖单一指标评估多语言摘要生成的局限性。

工程权衡与实际应用

研究结果表明，强大的英语摘要生成能力并不一定能迁移到低资源语言。这对开发者提出了更高的要求，即在多语言应用中需要综合考虑模型的跨语言适应性和事实一致性。此外，研究强调了构建全面评估框架的重要性，以更准确地反映模型在不同语言环境下的真实表现。

开发者建议

1. 多语言模型选择：在低资源语言应用中，建议选择对目标语言有良好支持的模型，如LLaMA 3.3 70B。
2. 评估方法的多样性：采用多种评估方法，包括词汇、语义和事实性指标，以全面评估模型性能。
3. 持续优化与微调：针对特定语言进行持续优化和微调，以提升模型在低资源语言上的表现。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-15)

—— 完 ——

主题标签： #多语言模型 关注 #摘要生成 关注 #LLM评估 关注 #低资源语言 关注 #arXiv 关注