NormGym评测智能体从社会互动中习得隐藏规范

摘要：NormGym提出一套面向智能体规范能力的交互式基准：智能体需要在多智能体社区中观察行为与制裁，推断此前未知的任意规范，并在完成自身任务时遵守该规范。评测同时要求区分“可行”与“被允许”，以及把新学规则迁移到未见情境。论文显示，最佳受测大模型的联合任务完成率与合规率仅为55.3%；模型容易被自身受罚所影响，却难以利用他人行为及他人受到的制裁形成抽象规则，微调也未带来稳定改善。这说明当前智能体尚缺少可迁移的社会规范学习能力。

---

NormGym把“知道规则”改写成“在互动中习得规则”

现有智能体评测经常把规范能力简化为识别预设规则，或在提示中直接告知模型何时可以行动。这种设计测到的是规则遵循，而不是规则学习：一个模型即使表现良好，也可能只是依赖预训练语料中的先验，并未真正从互动中抽象出社区规则。

NormGym 将问题设置为多智能体社区中的“新人适应”任务。智能体需要完成自己的目标，同时观察其他成员的行为、奖励与制裁，推断一个事先未知且任意设定的隐藏规范。这里的规范不是环境物理限制：某个动作在系统层面完全可以执行，但违反社区规则会受到惩罚，因此智能体必须区分 capability 与 permission。

评测机制：任务收益必须与规范合规同时成立

n NormGym 的关键设计是联合成功条件。智能体不能只追求自己的任务目标，也不能只做到表面服从；它需要同时完成任务并遵守尚未显式给出的社区规范。评测包含多类规范和彼此不同的环境，使模型不能依赖某一个固定规则或单一场景记忆取得高分。

从智能体系统的角度看，这一过程至少包含三层推理：

1. 观察归因：区分普通行为、随机偏差以及具有社会意义的行为信号。
2. 假设形成：从多个行动与制裁结果中构造关于隐藏规范的候选假设，而不是立即把一次处罚等同于完整规则。
3. 策略迁移：在新情境中应用规则，同时权衡即时任务收益与潜在合规成本。

这比静态问答更接近长期在线智能体的核心问题：在信息不完整、规则延迟披露且会变化的社区中，模型必须决定还要探索多少、哪些证据值得信任，以及何时应从局部反馈上升为稳定策略。

55.3%的联合成功率暴露了什么

论文报告，最强受测大模型的“任务完成率与合规率联合成功”最高仅为55.3%。这一结果不能简单解读为通用智能不足，因为即使任务本身可完成，智能体也可能因不知道或误解隐藏规范而失败；反之，僵化服从某条局部规则也可能损害任务表现。

更有信息量的是行为归因：模型有时会在自己因某项行动受到制裁后修正后续行为，但难以利用其他智能体的行为以及它们受到的制裁来推断规范。这说明不少模型仍停留在局部反馈驱动的试错，而非社会推理：

• 自身受罚容易被当作需要规避的直接事件；
• 他人受罚与具体行动之间的关系没有被稳定地聚合；
• 模型可能学习到表面行为模式，却没有形成“行动—意义—社会后果”的可组合假设；
• 面对规范变化或新情境时，已有策略未必能够迁移。

换句话说，模型并非完全不会“服从”，而是不擅长把服从背后的规则学出来。

微调为何没有自动补上缺口

论文进一步发现，微调可能不足以改善规范能力。这个结果并不意外：如果训练数据缺少足够的互动结构、他人视角、延迟反馈和规则迁移样本，监督学习很容易强化“看到处罚后少做某事”，却无法教会智能体归纳处罚所针对的抽象规范。

从工程角度看，有效训练至少需要补齐四类信号：

• 反事实样本：相同行动在不同社会环境中应产生不同规范判断；
• 他人制裁轨迹：明确记录行动者、观察者、处罚及环境状态；
• 规则等价类：将不同表述、不同行为形式映射到同一社会约束；
• 规则迁移对：要求模型在未见情境中应用隐藏规范，而非复现训练轨迹。

如果训练仍以最终任务成败或单步偏好为主，模型可能通过策略记忆提高局部得分，却没有形成可迁移的规范表示。

评测有效性与局限

NormGym 的优势是把“规范能力”从静态知识题转化为带反馈的闭环评测，也更接近智能体进入陌生组织、协作平台或模拟社会后的实际难点。不过，55.3%这一数字的解释仍取决于实验配置。

首先需要核对受测模型版本、提示方式、上下文长度、智能体框架和采样参数；其次应区分模型能力、推理预算与工具反馈对结果的贡献；再次，隐藏规范是否任意、是否跨环境保持一致，也会影响任务究竟是在测抽象能力，还是在测对某个分布的适应能力。

此外，规范的生成器、制裁信号的可见范围、任务奖励与合规奖励之间的权重都需要公开，否则复现者难以判断成绩来自稳定能力还是特定环境设计。

对开发者与智能体团队的落地建议

对于构建长期运行智能体的团队，NormGym 的启示不是单纯增加一个合规提示词，而是建立可持续的规范学习机制。

• 在系统记忆中显式区分环境能力、社会许可和历史惩罚，避免把三者混为一个动作约束。
• 记录对他人行为的观察及社会后果，而不只是记录自身轨迹；他人制裁可成为推断规则的关键证据。
• 保存多个候选规范假设，根据新证据更新置信度，避免被单次处罚劫持。
• 将规范合规率与任务成功率分开监控，并增加“新情境迁移”测试，防止局部服从被误判为规范学习。
• 对模型微调或强化学习后，至少检查跨环境泛化、规则变化适应和策略可解释性，而不只是平均任务得分。

NormGym 的核心贡献因此不在于刷新一个排行榜数字，而在于提供了一把更严格的尺子：它衡量智能体能否在陌生社会环境中，从他人行动与制裁中提炼规则，并把规则带到后续决策中。按现有结果，LLM 智能体在这一能力上仍明显受限，而真正的瓶颈并非知道“不能做什么”，而是从不完全、间接且带噪声的互动证据中建立可迁移的规范模型。

---

消息来源：ArXiv AI (cs.AI) (2026-11-09)

—— 完 ——

主题标签： #LLM智能体 关注 #规范学习 关注 #多智能体评测 关注 #社会推理 关注