arXiv发布文化特定亲属关系生成基准:挑战大语言模型跨语言推理能力
摘要:arXiv发布了一项关于大语言模型(LLM)在文化特定亲属关系术语生成任务中的研究。该研究通过在三种非西方语言(印地语、泰米尔语和韩语)中测试五个开源权重LLM,揭示了当前LLM在处理跨语言亲属关系生成任务时面临的挑战。研究发现,尽管LLM在识别正确术语方面表现良好,但在生成符合文化背景的术语时准确率显著下降,突显了现有模型在跨文化推理和生成能力上的不足。研究呼吁在多选测试之外,增加生成式评估方法,以更全面地衡量LLM的语言理解能力。
研究背景与动机
当前大语言模型(LLM)在多语言亲属关系理解方面的评估主要依赖于多选测试,将问题视为识别任务。然而,这种方法无法全面反映LLM在生成符合文化背景的术语方面的能力。为此,研究人员设计了一种新的评估基准,通过在三种非西方语言(印地语、泰米尔语和韩语)中生成亲属关系术语,测试LLM的跨文化生成能力。
主要实验与发现
研究人员对五个开源权重LLM进行了测试,包括GPT OSS120B和Llama 3.370B等。在识别任务中,GPT OSS120B在75个有效单元中正确选择了90.67%的术语,但仅在36.00%的生成尝试中产生了被接受的术语;Llama 3.370B的表现类似(77.92%对24.24%)。这表明,尽管LLM在识别任务中表现良好,但在生成任务中准确率显著下降。
在显式指定的L3提示下,不同模型的准确率差异显著,从GLM-5.1的72.29%到Llama-3.370B的24.24%。此外,研究发现父系亲属的优势是语言特定的:在印地语中表现明显,但在韩语中较弱或逆转,而泰米尔语共享词对为测量变化提供了控制。
结论与启示
研究结果表明,即使在明确声明关系的情况下,文化特定的亲属关系生成仍然具有挑战性。这表明,现有的LLM在跨文化推理和生成能力方面存在不足,亟需在评估方法上进行创新。研究建议在多选测试的基础上,增加生成式评估,以更全面地衡量LLM的语言理解能力。
对开发者的建议
- 多语言支持:在开发涉及跨文化应用的LLM时,应特别注意多语言生成能力的训练和评估。
- 文化适应性:增强模型对不同文化背景的理解,通过引入更多文化特定的数据和任务来提升模型的生成能力。
- 评估方法创新:结合生成式评估方法,全面评估LLM在跨文化任务中的表现。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-24)
主题标签: #大语言模型 #跨文化推理 #生成式评估 #亲属关系 #arXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区