Llama 3与Qwen 2.5心理结构探针：可解码不等于内部表征

摘要：研究以272名台湾大学生的真实心理量表反应为参照，对Llama 3与Qwen 2.5的14个基座及指令模型变体开展跨人格范式分析。模型越大，越能复现并放大人类量表间的相关结构；对齐主要出现在较大的指令模型中，基座模型内部几何对齐较弱。激活探针斜率却普遍高于行为斜率，合成控制表明岭回归可放大探针效应，作者将此现象称为“读出衰减”。结果支持心理构念在部分模型内部可解码并与人类相关矩阵几何对齐，但不足以证明这些方向直接介导跨人格回答。

---

研究问题与结论边界

这项研究并不直接证明大语言模型“理解”人格或心理状态，而是区分了三件容易混淆的事：模型能否在输出层面复现人类心理量表之间的相关结构，其激活空间是否存在与该结构对齐的几何方向，以及这些内部方向是否真正参与并介导了跨人格预测。

研究覆盖Llama 3与Qwen 2.5两个模型家族，共14个0.5B至14B变体，同时包含base与instruct版本。行为实验使用272名台湾大学生的真实心理量表反应作为参照：研究者给出其中一个量表的反应，要求模型预测其余六个量表的结果，并比较模型生成的心理结构与真人跨量表相关矩阵是否一致。

结论分为三层：

1. 较大模型会在行为层面复现并放大人类的跨量表相关结构；
2. 较大的指令模型内部存在与人类相关矩阵对齐的几何方向，基座模型在该检测方案下对齐较弱；
3. 探针强度与行为放大显著相关，但现有结果不足以证明这些内部方向是跨人格回答的因果中介。

因此，论文支持的是“在特定测量方案下存在可解码性和几何对齐”，而不是模型拥有与人类完全一致的心理构念表征。

跨人格范式如何测量结构

跨人格实验没有直接询问模型“你有多焦虑”，而是将真人量表反应编码为模型能够处理的条件信息，再让模型对其他心理量表作预测。其关键指标不是单个量表的绝对分数，而是不同量表之间的相关矩阵。

若真人的神经质、抑郁倾向等量表呈现稳定共变，模型在已知其中一个量表后，对其余量表的联合预测也应呈现相似相关结构。模型规模增大后，这种相关性不但被复制，还出现幅度放大的现象。

研究随后针对测量衰减进行校正。真人量表中的相关系数会因每个量表的信度有限而被系统性压低；即使校正后，模型的行为放大依然存在。这一步很关键，否则“模型比真人相关得更强”可能只是量表误差结构不同造成的假象。

不过，行为相关只能说明模型输出了类似人类的统计结构，不能单独定位这种结构形成于哪个网络层，也不能区分模型是在内部表示构念，还是借助了训练语料中的表面模式。

内部几何对齐如何检验

作者采用对比方向分析，将模型针对不同量表条件生成的激活差异投影到高维表示空间，再把这些方向构造为几何对象，与真人七量表相关矩阵对应的方向结构进行比较。

较大的instruct模型显示出与人类矩阵较明显的对齐，而base模型在当前检测方案下对齐有限。这一差异可能来自指令微调对可控人格条件的格式化和表达能力增强：模型更善于把“某人处于某个心理状态”转化为稳定的条件响应，但这仍不必然意味着未微调模型缺乏相关表征。

跨模型统计显示，内部几何强度与行为放大相关，Pearson相关系数为0.68，显著性检验p=0.008；控制模型参数规模的对数后，偏相关r=0.69。该结果削弱了“相关关系只是模型越大、行为输出越像”的简单规模解释，但样本量、模型族覆盖和检测方案限制仍会影响结论外推。

读出衰减与探针斜率陷阱

研究使用与行为实验匹配的激活探针，把被解释的心理构念映射到模型内部表示。探针斜率范围为1.38至1.77，而行为斜率范围为0.52至1.53：内部信号对条件变化的响应，在数值上系统强于最终输出变化。

作者将这一差距称为“readout attenuation”，即内部表示虽然包含可解码信号，但经过非线性变换、任务指令适配、答案生成和安全或风格约束后，信号在输出端被削弱。

不过，不能直接把斜率差全部解释为模型的真实“衰减机制”。合成控制显示，岭回归探针在无真实结构或信号较弱时也可能产生偏高斜率，这属于典型的探针过拟合与表观效应膨胀。作者进一步依据另一项分析中的信度代理量扣除基线；校正后的斜率仍与行为放大相关，r=0.88。

因此，更严谨的解释是：当前检测方案同时存在真实的几何信号和探针方法引入的偏置。论文给出的“读出衰减”是经验层面的操作定义，尚不是已被因果验证的模型内部机制。

工程与评测上的权衡

这项研究对模型可解释性评测有直接方法论价值，但若把探针斜率直接当作“心理构念强度”，风险很高。

• 相关不等于因果：内部方向能预测输出，不等于生成过程实际沿该方向取值；还需要激活干预、方向消融或因果补丁实验。
• 模型规模是混杂因素：行为放大与内部对齐都可能随规模变化，因此研究控制了log模型大小，但样本仍不足以彻底排除架构、训练数据和对齐微调等因素。
• 量表的文化与样本边界：真人基准来自台湾大学生，结果能否外推到不同文化、年龄层和临床人群尚未验证。
• 检测方法依赖探针形式：岭回归容易放大弱信号，其他正则化、交叉验证或非线性探针可能得到不同斜率。
• base与instruct差异可能有混杂：更大的指令模型同时具备更强行为建模能力，单靠当前实验无法判断差异来自训练阶段、模型规模还是条件表达方式。

对开发者与研究者的建议

使用激活探针评估模型心理或人格行为时，应同时报告信度校正、合成控制、训练—测试分离和跨探针稳定性。对“可解码”与“被使用”做严格区分，至少加入方向干预或激活修补。若要面向心理健康产品使用，还需加入临床有效性、跨文化验证、偏差审计与人工复核，不能把模型输出直接当作心理诊断。

从工程角度看，这项工作最适合用作模型表示诊断与评测设计工具，而不是部署一个“人格测量器”。其主要贡献是提醒研究者：模型输出中的心理结构、内部几何方向和实际因果机制是三个独立问题，需要分别验证。

---

消息来源：ArXiv AI (cs.AI) (2026-11-11)

—— 完 ——

主题标签： #LLM可解释性 关注 #心理量表 关注 #激活探针 关注 #Llama 3 关注 #Qwen 2.5 关注