智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Neo-Classic #大语言模型 #语言美学推理 #基准测试 #arXiv

arXiv发布Neo-Classic:评估古典诗词语言美学推理的新基准

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 11 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv近日发布了一款名为Neo-Classic的新基准测试集,旨在评估大语言模型(LLMs)在古典诗词语言美学推理中的表现。Neo-Classic通过构建一个严格遵循韵律规则的当代专家创作诗歌数据集,并结合逆向理解探针,弥补了传统基准测试中依赖历史语料库而导致的直接检索问题。实验结果表明,当前最先进的模型在处理历史文本和当代文本时存在20%至50%的性能差距,且在话语级排序任务中的表现尤为薄弱,标准准确率仅为0%至13%。尽管专家级指导可以将推理增强模型的性能提升至36%,但与人类专家相比仍有显著差距。这表明,尽管现有LLMs能够捕捉局部形式模式,但在全局层次化规划方面仍存在较大不足。


背景与动机

大语言模型(LLMs)在古典诗词处理任务中已经取得了较高的准确率,但现有基准测试大多依赖历史语料库,可能导致模型依赖预训练模式而非真正的语言美学推理能力。为解决这一问题,Neo-Classic基准测试集应运而生。

Neo-Classic的设计与特点

  1. 当代专家创作诗歌数据集:Neo-Classic数据集由当代专家创作,严格遵循古典诗词的韵律规则,减少了模型通过直接检索历史语料库来“作弊”的可能性。
  2. 逆向理解探针:结合逆向理解探针,评估模型在处理复杂语言美学推理任务时的表现。
  3. 层次化约束满足测试:通过五个行为探针,测试模型在层次化约束满足任务中的表现。

主要发现

  1. 历史与当代文本的性能差距:模型在处理历史文本和当代文本时存在20%至50%的性能差距。
  2. 话语级排序任务的困难:模型在话语级排序任务中的表现尤为薄弱,标准准确率仅为0%至13%。
  3. 专家指导的局限性:尽管专家级指导可以将推理增强模型的性能提升至36%,但与人类专家相比仍有显著差距。

结论与启示

Neo-Classic基准测试集的发布揭示了当前LLMs在语言美学推理中的局限性,特别是在全局层次化规划方面。尽管现有模型能够捕捉局部形式模式,但在处理复杂推理任务时仍存在较大不足。这一发现为未来LLMs的改进方向提供了重要参考,强调了需要更强的层次化推理能力和对语言美学的深入理解。

对开发者的建议

  1. 关注层次化推理能力的提升:开发者应关注模型在层次化推理任务中的表现,尝试引入更复杂的推理机制。
  2. 利用Neo-Classic进行评估:建议使用Neo-Classic基准测试集对模型进行评估,以更全面地了解其语言美学推理能力。
  3. 探索多模态融合:考虑将多模态信息融合到模型中,以增强其在复杂任务中的表现。

消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-18)

—— 完 ——

主题标签: #Neo-Classic #大语言模型 #语言美学推理 #基准测试 #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…