ArXiv发布PolyHuman数据集:评估大语言模型跨语言代码功能等价性
摘要:ArXiv团队推出PolyHuman数据集,旨在评估大语言模型(LLMs)在跨语言代码功能等价性判断中的表现。该研究通过分析CPP、Java和Python三种编程语言的人类编写的代码,揭示了现有LLMs在处理复杂语义推理任务时的局限性。研究结果表明,LLMs难以可靠地判断跨语言代码的功能等价性,尤其在面对复杂问题时,模型更容易将非等价代码误判为等价。此外,模型对不同编程语言的敏感性和推理稳定性也存在显著差异。
研究背景与目标
大语言模型(LLMs)在各种代码理解任务中表现出色,导致许多人认为它们能够推理程序语义。然而,现有的评估主要集中于单一语言环境或依赖合成生成的代码,这引发了人们对当前结果是否反映真实语义理解的质疑。本研究旨在评估LLMs在跨语言代码功能等价性判断中的表现,特别是针对人类编写的代码,这要求模型具备超越表面相似性的深度推理能力。
研究方法
研究团队引入了PolyHuman数据集,该数据集包含CPP、Java和Python三种编程语言的人类编写的程序。使用该数据集,研究人员评估了开放权重和专有大语言模型在跨语言和跨语言内等价检测中的表现,并选择GPT-o4-mini作为代表性模型来评估其稳定性。随后,研究人员手动分析了81个模型错误判断功能等价的案例,考察了代码逻辑和生成的链式推理(Chain-of-Thought)。最后,研究人员对失败案例进行了分类,并比较了GPT-o4-mini、Claude-Opus-4.7和Gemini-3-Flash的表现,以确定这些失败是模型特有的问题还是当前最先进LLMs的更广泛局限性。
主要发现
- 难度依赖性失败:模型在处理更复杂的问题时,更容易将非等价代码误判为等价。
- 编程语言敏感性:表现最好的模型对编程语言表现出特定的敏感性,例如在Python上表现出更保守的行为。
- 相似性依赖:模型在判断时部分依赖于基于相似性的线索。
- 推理稳定性问题:GPT-o4-mini在相同设置下表现出显著的运行间不稳定性,表明其能力不一致而非完全缺失。
结论
当前的大语言模型无法可靠地捕捉代码在语言内或跨语言的功能等价性。这一发现对依赖LLMs进行代码理解和生成的应用场景具有重要意义,强调了未来需要开发更强大的语义推理机制。
开发者建议
- 谨慎依赖LLMs进行跨语言代码推理:在关键任务中,应结合其他验证方法以确保代码功能的正确性。
- 关注模型对不同编程语言的敏感性:在训练和微调LLMs时,应考虑对不同语言的平衡处理。
- 改进推理稳定性:开发机制以减少模型在推理过程中的不稳定性,例如通过一致性增强技术。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-25)
主题标签: #大语言模型 #代码理解 #跨语言推理 #PolyHuman #语义推理
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区