arXiv发布中文社交评论语用推理基准：评估大语言模型对间接与幽默表达的解读能力

摘要：arXiv发布了一项针对中文在线评论中社交语用推理能力的新基准测试。该基准通过分析超过200,000条公共社交媒体互动记录，构建了4,735个经过人工验证的诊断项，用于评估大语言模型（LLM）能否准确解读间接、幽默或隐含意义的评论内容。实验结果表明，最强的模型在跨作者准确率上达到81.42%，而人类表现则为90.8%。研究揭示了当前LLM在识别互动机制和语用策略方面的局限性，为未来模型优化提供了重要参考。

---

新型基准测试：评估大语言模型对中文社交评论的语用推理能力

近日，arXiv发布了一项针对中文在线评论中社交语用推理能力的新基准测试。该基准测试旨在评估大语言模型（LLM）能否准确解读间接、幽默或隐含意义的评论内容。以下是研究的核心要点：

研究背景与动机

• 间接与幽默表达：中文在线评论中常使用间接、幽默或隐含的语言表达方式，这使得准确解读变得极具挑战性。
• 现有评估方法的局限性：现有评估方法多围绕预定义的现象或受控的语用类别展开，难以全面反映模型在自然互动中的表现。

基准测试构建

• 数据来源：从超过200,000条公共社交媒体互动记录中提取数据。
• 诊断项构建：构建了4,735个经过人工验证的诊断项，每个诊断项包含一个目标评论、重建的上下文以及可能的误解。

实验与结果

• 模型评估：在跨作者设置下评估了八个大语言模型的表现。
• 性能表现：表现最好的模型在跨作者准确率上达到81.42%，而所有模型的平均准确率为68.70%，相比之下，人类的准确率为90.8%。
• 案例分析：模型通常能够识别广泛的讽刺或幽默，但常常误判具体的互动机制或语用策略。

结论与展望

• 模型局限性：当前LLM在识别互动机制和语用策略方面仍存在显著局限。
• 未来方向：该基准测试为未来模型优化提供了重要参考，特别是在提升对复杂语用推理的理解能力方面。

技术亮点

• 大规模数据驱动：利用超过200,000条互动记录构建基准测试，确保了数据的广泛性和代表性。
• 人工验证：所有诊断项均经过人工验证，保证了评估的准确性和可靠性。
• 跨作者设置：在跨作者设置下评估模型，模拟了真实世界中的多样化互动场景。

行业影响与开发者建议

• 对AI研究的影响：该基准测试为评估和改进LLM的语用推理能力提供了新的标准，有助于推动AI在自然语言理解领域的发展。
• 对开发者的建议：开发者可以利用该基准测试来评估和优化其模型在处理复杂社交互动时的表现，特别是在处理间接表达和幽默方面。
• 对应用场景的启示：该研究强调了AI在处理多样化社交互动中的潜力，为开发更智能、更人性化的AI应用提供了新的思路。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-07)

—— 完 ——

主题标签： #大语言模型 #语用推理 #基准测试 #社交媒体 #自然语言处理