ArXiv发布Schema Coherence Inventory：评估语言模型信念组织能力的新工具

摘要：ArXiv发布了一项名为Schema Coherence Inventory (SCI) 的研究，旨在评估语言模型是否真正将分配给它们的信念组织到其认知结构中，而非仅表现为情绪化的反应。SCI通过96个强制选择项和8个认知层级，测量模型对负面和正面自我图式的反应，并通过长度归一化的对数似然得分进行评估。该研究通过六项验证实验和五个不同规模的模型（1.7B-14B参数）验证了SCI的有效性，并发现其能够显著区分信念组织和情绪反应。SCI为语言模型在情感测量和认知评估领域提供了新的标准化工具。

---

背景与动机

在人工智能领域，语言模型常被用于模拟患者或情感智能体。然而，如何评估这些模型是否真正将分配给它们的信念组织到其认知结构中，而非仅表现为情绪化的反应，一直是一个未解的难题。现有的评估方法缺乏对信念组织的针对性测量，容易混淆情绪反应与认知结构的影响。

Schema Coherence Inventory (SCI) 的核心机制

SCI通过以下方式解决了上述问题：

1. 多层级评估：SCI基于Beck的认知模型，设计了8个认知层级，从表层情绪到深层信念进行系统性评估。
2. 强制选择项设计：包含96个强制选择项，每个选项对应三个负面自我图式及其正面对应物，确保评估的全面性和准确性。
3. 评分机制：采用长度归一化的对数似然得分，避免生成和解析带来的偏差。
4. 目标特异性判别：通过对比不同信念条件下的反应，SCI能够有效区分信念组织和情绪反应。

实验与验证

研究团队进行了六项验证实验，涵盖五个不同规模的模型（1.7B-14B参数），并得出以下结论：

• 高准确性：临床训练评分员在识别模型信念组织方面的准确率达到79.5%，远高于随机概率（16.7%）。
• 跨模型有效性：SCI在所有模型骨架上均表现出目标特异性，平均提升17.7个百分点。
• 短表单有效性：48项短表单与完整表单的相关系数达到0.73，展示了其高效性。

临床应用与扩展

SCI不仅适用于模拟患者和情感智能体，还为语言模型在情感测量和认知评估领域提供了新的标准化工具。研究团队计划将SCI扩展到更多任务类型、评分员群体、语言和文化背景中，以进一步验证其通用性。

结论

SCI的发布为语言模型的情感和认知评估提供了新的技术路径。通过分离情绪与认知的影响，SCI能够更准确地评估模型的行为模式，为AI研究人员和开发者提供了更可靠的评估工具。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-26)

—— 完 ——

主题标签： #语言模型 关注 #认知评估 关注 #情感测量 关注 #ArXiv 关注 #AI研究 关注