NormGym评测智能体社会学习：最佳联合成功率仅55.3%

摘要：NormGym提出面向智能体规范能力的多智能体交互基准，要求新成员在完成自身任务的同时，从他人的行为与制裁反馈中推断隐藏、任意的社会规范，并在新情境中遵守它。评测显示，最强受测大语言模型的联合任务与合规成功率仅为55.3%。模型虽会因自身受罚而调整行为，却难以从第三方行为及其受罚结果中归纳规范；对模型进行微调也未带来稳定改善，表明当前系统仍缺乏可迁移的社会知识习得能力。

---

NormGym 把“知道规范”与“学会规范”分开评测

传统智能体规范评测往往给模型一个已知规则，再检查它能否识别或执行。这能衡量指令遵循，却无法回答更贴近开放社区的问题：当规则没有写在提示词里，而且因场景而异时，智能体能否观察他人的行为、制裁与代价，自行归纳出“什么可以做”和“什么被允许”。

NormGym把这一过程放进多智能体社区：一名新成员一边追求自己的任务，一边观察环境中的行为和惩罚结果，推断一个隐藏且任意的规范。成功不只是完成目标，还要求智能体区分能力边界与许可边界，并在随后出现的新情境中遵守所推断的规则。

基准机制：从观察反馈到行为迁移

NormGym包含多样化的规范与不同环境。与静态问答或单轮分类相比，它属于交互式评测：智能体必须依据历次行动结果更新内部假设，再把假设转化为后续策略。

从智能体学习机制看，这一任务至少包含三层能力：

1. 因果归因：观察其他智能体做了什么，以及某个行为是否受到制裁。
2. 规则归纳：从行为—结果配对中推断隐藏规范，而不是把一次偶然惩罚固化为规则。
3. 情境泛化：将已推断规范迁移到行为主体、对象或后果发生变化的新情境。

其中第三层最关键。记住一次“不要做某事”只能说明局部避罚，无法证明模型形成了可迁移的规范表征。

最佳模型联合成功率仅55.3%

论文报告，最强受测大语言模型的联合任务与合规成功率为55.3%。这一指标同时要求任务成功和行为合规，因此比只计算任务完成率更严格：一个智能体即使完成了目标，如果违反隐藏规范，也不能获得完整成功。

不过，摘要没有披露完整模型清单、采样设置、置信区间、每个环境与规范类别的分解结果，因而55.3%更适合作为论文内部比较信号，而不是可直接外推到真实社会的绝对能力标尺。多智能体模拟中的角色提示、通信频率、奖励设计和违规检测精度，都可能显著影响结果。

模型会避罚，却未必真正理解规范

轨迹分析揭示了更具工程价值的现象：模型在自身行动受到制裁后，有时能够修正后续行为；但它们很难利用其他智能体的行为以及这些智能体受到的制裁来推断规范。

这意味着当前系统存在一种“局部反馈利用”与“社会推理”之间的断层：

• 直接负反馈是强信号，模型容易将“惩罚”与“自身动作”建立关联；
• 观察性学习需要更长的信用分配链，模型必须从第三方行为反事实推断其原因；
• 一旦观察样本稀疏、他人行为具有噪声，或惩罚并非每次出现，单纯依赖强化信号就容易形成错误假设。

这也是为什么模型看起来能够“遵守规则”，却未必真正掌握了规则。生产级智能体若只根据即时惩罚在线调整，可能形成脆弱的局部策略，而不是可审计、可迁移的规范模型。

微调未自动解决规范习得问题

论文进一步发现，微调模型可能不足以改善规范能力。该结果值得谨慎解读：摘要没有交代微调数据规模、训练目标、采样预算及参数规模，不能据此断言微调无效。更准确的结论是，仅依靠在相关轨迹上进行微调，并未自动产生稳定、跨情境的规范归纳能力。

可能原因包括训练数据中的规范过于显式、负例覆盖不足，以及模型学习了环境特定的应答模式。若训练中总能直接看到“行为—违规标签—正确行为”，模型可能强化监督分类，却没有被迫学习反事实归因与分布外迁移。

更值得测试的后训练方向包括：

• 构造需要对第三方惩罚做反事实分析的轨迹；
• 对同一规范生成多个表面形式不同的行为；
• 在训练中加入规范置换与组合，迫使模型维护行为与规则的对应关系；
• 单独评估规则归纳准确率、避罚率和未见情境迁移率，而非只报告联合成功率。

工程落地应增加可审计性与反事实测试

对智能体团队而言，NormGym的价值不只是一组分数，而是把社会规范学习拆成了可诊断的交互环节。接入真实系统时，可增加以下测试：

1. 观察者替换：只给第三方行为与制裁，不告诉模型谁受罚，检验其是否能完成社会归因。
2. 规范置换：保持环境与任务不变，仅改变“允许或禁止”的规则，检测模型是否依赖表面启发式。
3. 奖励与制裁一致性检查：统计不受罚但违规、违规却受罚等异常样本，避免模型从噪声中学习伪规则。
4. 规则显式化：要求智能体输出其推断的规范、证据和置信度，区分行为修正与真正理解。
5. 跨社区复测：更换角色、角色数量和任务分布，检验能力是否依赖某个固定提示模板。

安全上，模型应把“当前观察到的行为模式”与“稳定社会规范”分开存储。任何高风险决策都不能仅依赖从有限互动中猜测出的隐性规则；关键权限、支付、披露和安全策略仍需显式授权、确定性策略引擎与人工升级机制。

结论

NormGym揭示了当前大语言模型在社会学习中的关键缺口：模型容易根据自身处罚避雷，却难以从第三方行为与制裁中归纳隐藏规范，并将其迁移到新情境。最佳模型55.3%的联合成功率说明，单次合规并不等同于稳定的社会推理能力。

对智能体研发者而言，这一基准比常规指令遵循测试更贴近真实社区协作，但也需要补充模型配置、环境方差、统计显著性、违规检测误差和逐规范分解结果，才能判断不同系统究竟卡在观察、归因、归纳还是迁移环节。

---

消息来源：ArXiv AI (cs.AI) (2026-11-10)

—— 完 ——

主题标签： #NormGym 关注 #多智能体评测 关注 #规范推理 关注 #社会学习 关注 #LLM智能体 关注