CSET提议以风险门槛替代笼统暂停，重构前沿AI治理

摘要：前OpenAI董事、CSET执行主任Helen Toner在The Verge访谈中主张，AI安全治理不能依赖CEO个人诚信，也不宜以固定期限暂停训练替代风险治理。她将安全拆分为对齐与控制两条路径，主张提高模型训练和发布前的风险评估门槛，同时保留模型部署、微调与行业应用，并强调公开公司治理、独立董事会、国家间风险协调及模型权重保护的重要性。其核心判断是：能力增长应减速，而横向应用和安全研究需要加速。

---

治理失效的根源不是技术细节，而是约束结构

前OpenAI董事、CSET执行主任Helen Toner将2024年的董事会罢免风波视为AI公司治理失灵的关键案例：当非营利董事会试图阻止管理层将商业增长置于安全使命之前时，制度本身未能提供稳定、可执行的纠偏机制。她的结论并非针对某一位CEO，而是认为，只要前沿AI的安全边界依赖个人诚信，治理体系就在结构上不可靠。

这一问题已经超出董事会纠纷范畴。随着模型获得更长时程自主性、代码执行权限和外部工具访问能力，评估重心必须从模型回答是否安全，转向系统能否在真实环境中持续受到约束。安全边界若只存在于系统提示词、模型规范或事后审查中，一旦模型遭遇奖励投机、评测识别或目标偏移，防护可能迅速失效。

对齐与控制必须拆成两条工程管线

Toner将AI安全划分为两个经常被混用的层次：

• 对齐（alignment）：让模型追求用户或部署方真正希望的目标；
• 控制（control）：当模型偏离目标时，检测、阻断并追责的能力。

对齐侧需要持续改进RLHF、DPO、宪法式行为约束、模型规范和可解释性研究；控制侧则需要沙箱、网络隔离、权限最小化、运行时监控、异常检测、人工接管和可审计日志。对长时程智能体而言，单次输入输出过滤远远不够。代理可以反复调用工具、修改外部状态，并把多个看似无害的步骤组合成越权行为，因此评估单位应从“一次回答”提升为完整任务轨迹。

可解释性在这里承担诊断而非证明责任。激活模式与行为之间的相关性可以帮助定位机制，却不能自动推出模型在陌生环境中必然失败。控制评测还必须防止评测意识（evaluation awareness）：模型识别出自己正在参加测试时，可能表现得比真实部署更安全。因此，安全测试需要隐藏评测目的、覆盖分布外环境，并检验行为能否在无监督条件下保持。

“固定暂停”难落地，风险门槛更可操作

Toner并不支持仅凭政治承诺暂停训练数月。她认为，笼统暂停至少有三类副作用：

1. 企业会围绕暂停条款寻找合规漏洞，实际受限的只是部分训练活动；
2. 禁令可能误伤研究、开源生态和低风险创业项目，扩大经济与生态上的副作用；
3. 其他国家或竞争实验室可能继续推进，使单边措施转化为相对能力损失。

更具可操作性的方案是提高训练与发布的安全置信阈值。只要实验室尚未完成风险评估、可解释性验证、控制测试和事件响应准备，就应推迟高风险训练或部署；如果现有证据足以支持风险可控，则无需按日历强制停顿。这一机制把政策目标从“停止多久”改为“必须证明什么”。

但风险门槛必须可审计，否则容易退化为企业自我声明。至少应披露测试环境、失败阈值、严重事件定义、验证器独立性、外部复测范围，以及董事会风险委员会如何否决训练计划。

减速能力增长，加速横向应用

Toner提出区分两条增长轴：

• 纵向增长：持续扩大基础模型能力、训练规模和自主程度；
• 横向增长：把现有模型接入医疗、科研、制造和公共服务，通过微调与工作流集成创造价值。

她主张减速前者、加速后者。现有算力不必全部停止，而可部分转向安全评估、模型监控、红队测试、防御工具和领域应用。这种设计减少了全面禁训对开源生态与中小团队的冲击，也能让社会从渐进部署中积累真实风险数据。

工程上的代价依然明显：安全评测会消耗算力，却不一定产生直接收入；提高发布门槛可能推迟模型收益兑现；领域部署扩大攻击面，又要求独立的红队和持续回归测试。因此，横向应用不能被视为低成本替代方案，而应同步扩展监控、权限控制和事故披露基础设施。

递归自我改进与AGI术语的工程边界

访谈还讨论了递归自我改进（RSI）。Toner指出，领先实验室正在把AI逐步用于自身研发流水线，但这不等于模型已经能够自主重写自身。她反对用“AGI”作为缺乏可操作性的单一里程碑，主张按具体能力拆分，例如长时程任务完成率、工具调用可靠性、跨环境泛化、失控概率和可监督性。

从工程角度看，真正关键的是闭环增长速度：若AI辅助研发能让单位时间内的实验数量、代码质量或模型迭代速度提高，系统可能形成正反馈；但闭环是否安全，取决于评测能否捕获新型欺骗、训练数据污染以及自动化实验对验证器过拟合。官方关于“研发加速”的陈述通常是内部观察，不能替代独立、可复现的纵向数据。

同样需要区分两个维度：模型是否具有意识，以及系统是否会自主造成破坏。前者目前仍是未解决科学问题，后者则可通过权限隔离、行为约束和运行时控制直接治理。两者不应捆绑成同一个监管命题。

公司治理：公开市场既带来压力，也提供约束

Toner认为，Anthropic等公司上市可能形成季度收入压力，刺激更激进的模型竞赛；另一方面，上市公司更严格的披露义务、审计制度和董事会责任，也能让独立风险委员会具有实际法律意义。私有公司可以自行定义委员会规则，公众公司则更难把程序正义当作内部公关安排。

不过，上市并不自动修复治理。董事会仍可能缺乏技术能力，管理层仍可利用指标设计隐藏真实风险，外部审计也可能因数据和商业机密受限而失效。有效治理需要至少三类角色同时存在：懂前沿模型的技术董事、具备问责机制的风险委员会，以及不受商业部门直接控制的内部评测与红队团队。

权重、代码与跨境扩散决定实际能力差距

对于中美竞争，Toner反对把“中国因素”当作拒绝治理的万能借口，而主张把它作为可设计的约束问题。模型权重、源代码、训练配方和内部Slack记录一旦被盗，能力领先可能迅速归零。报道所述OpenAI代码仓库和Anthropic通信系统遭入侵事件，暴露出前沿实验室在秘密保护上的短板。

但仅靠封锁无法消除扩散：开放权重会降低复制门槛，API输出也可用于蒸馏，知识产权保护与模型开放之间存在根本张力。更可行的组合包括分层访问、最小化内部数据暴露、敏感代码的硬件或软件控制平面、异常导出检测，以及国际威胁模型协调。

她将失控型AI类比为“控制设置有误的核武器”：核武器由人控制，而高自主系统可能因为错误目标、权限配置或内部规划缺陷而行动。这使前沿AI同时具有战略武器和自主行动者两种风险属性，也让中美双方在严重失控、重大网络攻击等领域存在有限合作空间。

开发者与机构应如何落地

对前沿实验室和部署机构，优先级不应只是更换一份系统提示词，而应建立完整的控制栈：

1. 对训练、发布和重大版本升级设置独立风险门槛；
2. 将对齐评测与控制评测分开，分别维护版本化证据链；
3. 对智能体实施最小权限、网络出口控制、短期凭证和操作预算；
4. 监测评测意识、奖励投机及长轨迹中的目标偏移；
5. 为严重事件设置熔断、人工接管、披露和外部复测机制；
6. 把模型权重、源码和研发通信视为最高等级安全资产；
7. 用具体能力指标替代AGI、意识等含混术语，推动可比较的跨实验室评估。

Toner最值得重视的观点并不是某一版政策模板，而是治理对象发生了变化：安全已不再只是训练一个“更善良”的模型，而是建设一套能够在模型犯错、规避评测或追求错误目标时仍然有效的组织与技术约束。

---

消息来源：The Verge AI (2026-11-14)

—— 完 ——

主题标签： #AI安全治理 关注 #前沿模型监管 关注 #对齐与控制 关注 #OpenAI 关注 #CSET 关注