七款LLM情感表征呈现“过度压缩”，细粒度信息仍可解码

摘要：研究基于GoEmotions的28类情感标注，比较七款大语言模型的输出预测、情感提示后的末Token隐藏表示及多层表征。结果显示，在不使用标签的KMeans聚类中，模型最稳定地分出正负情感两极，较粗粒度情感家族也能以更少聚类恢复；然而线性探针仍能从表示中预测大量细粒度类别。这意味着LLM并未真正丢失细粒度情绪信息，而是将其压缩在由正负情感主导的表征几何中。研究为情绪识别、模型可解释性和表征干预提供了新切入点。

---

核心发现

七款大语言模型在GoEmotions上的表现揭示了一个容易忽略的区别：模型能够判断细粒度情绪，不等于内部表示空间会按照同一套细粒度类别组织。

研究比较了三种信息载体：模型直接输出的情绪预测、加入情感提示后的末Token隐藏表示，以及对应的情绪标签层级。数据集包含27种细粒度情绪和1个中性类别，同时构造情感家族与正负情绪等更粗粒度分组。

在不使用情绪标签的KMeans实验中，最清晰、最稳定的分界通常只有两簇，且大体对应正面与负面情绪。情感家族等中间层级也能用更少的聚类恢复，但完整的28类结构无法以同样方式稳定显现。研究将这种现象称为相对于GoEmotions分类体系的过度压缩（overcompression）。

表征几何为何不忠实于标签体系

LLM隐藏状态并不需要把监督标签当成坐标系来编码。多层Transformer在训练中会形成许多相互纠缠的语义轴：主题、说话者意图、句法结构、事件评价以及情感极性都可能共享部分向量方向。

此外，最终Token表征经过归一化层、残差网络和多层注意力聚合。对于情感提示，模型常需先生成一个“情感答案空间”的表示；多个细分情绪可能共享同一答案前缀或高层语义方向，因此其向量在无监督距离度量下表现得比标注体系更接近。

KMeans进一步强化了这种效应。其欧氏距离假设球形簇，并通过质心压缩离散分布；真实情绪标签通常具有层次性和重叠性，例如“兴奋”与“快乐”、“担忧”与“悲伤”可能形成连续梯度，而非半径均衡的独立簇。改变距离度量、聚类数或初始化方式，所得结构可能随之变化。

信息没有消失，只是换了编码方式

关键反证来自线性探针：若无监督聚类只能恢复正负两极，而线性分类器仍能从同一批表示中预测大量细粒度情绪，那么细粒度信息必然仍以可线性读取的形式存在。

从工程角度看，这意味着两种不同访问路径：

• 无监督路径提取表征中几何上最显著、低维且稳定的主轴，适合粗粒度情绪检索、路由与缓存；
• 监督探针路径读取细粒度但可能对标注体系、提示模板和线性边界高度敏感的轴，更适合情绪识别评测。

因此，“聚类只得到两簇”不能直接证明LLM无法区分愤怒、厌恶、恐惧等情绪；它只能说明在所测试的KMeans几何下，最突出的组织轴是更宽泛的情感极性。

工程权衡与评测边界

这项研究更像表征诊断，而不是新的模型能力基准。最明显的限制包括：

1. 数据来源单一：GoEmotions来自英文Reddit，注释中的语境依赖、讽刺、混合情绪与跨文化差异会影响结论。
2. 聚类协议敏感：摘要只明确KMeans，缺少对距离函数、层选择、随机种子、簇数和稳定性指标的完整说明。
3. 末Token并非全部状态：情感提示后的末Token便于统一提取，但中间层、注意力头和上下文位置可能呈现更丰富的情感结构。
4. 标签体系存在语义重叠：GoEmotions的类别并非完全互斥，真实文本也可能包含多重情绪，强制单标签探针可能低估或扭曲细粒度结构。
5. 模型规模与架构覆盖有限：七个模型并不足以证明该现象对所有LLM、MoE模型或指令微调范式都成立。

如果将该结论用于模型安全、情绪化交互或内容审核，还需要检查训练语料中的情感标签如何塑造表示，并避免把英语社交平台上的统计规律直接迁移到客服、医疗对话或跨语言场景。

开发者如何利用这一发现

对于模型应用开发者，最实用的启示不是强行让隐藏空间匹配28类标签，而是按任务选择表征层级：粗粒度正负情绪可采用无监督聚类，用于高吞吐路由；细粒度识别则应训练独立探针，并使用模型集成、时间序列或上下文窗口降低单Token表征的噪声。

对于可解释性研究者，可以进一步比较不同层的探针准确率、聚类稳定性和类别混淆矩阵：如果细粒度信息主要集中在中低层，而末Token只强化极性，那么针对中间层的probe与activation steering可能比分析最终输出更有效。

不过，基于情绪表征做行为干预时必须谨慎。线性方向不一定具有单一因果语义，沿“积极”方向移动可能同时改变主题、礼貌程度或毒性；上线前应结合因果干预、消融测试和人工评审验证，而不是把相关性方向直接当作控制旋钮。

总体判断

研究将“模型能否识别情绪”与“情绪如何占据内部表示空间”明确拆开。细粒度标签可以在线性方向上被读取，但无监督几何更受正负极性和粗粒度情感家族支配。这是一种可利用的压缩：它降低了通用表征的冗余，却要求下游系统选择正确的读取方式。

论文提出的核心价值，是提醒评测者不要仅凭KMeans簇数判断LLM的情绪理解深度；同时，它也为构建可切换的情绪编码器、保留细粒度标签的轻量适配器，以及研究情感信息压缩与因果可控性提供了实验框架。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-09)

—— 完 ——

主题标签： #LLM表征 关注 #情感计算 关注 #GoEmotions 关注 #线性探针 关注 #KMeans聚类 关注