953 字
5 分钟
我们必须为前沿调速

原文:We Must Pace the Frontier(Dario Amodei,2026-09)。 这是 Anthropic 的立场文章,不是中立综述。读的时候把“事实”和“主张”分开记。

一句话#

“该不该慢”已经变成“怎么慢才可验证”。作者提出三步机制,并承认最难的一步是确认别人真的也慢了下来。

两个触发点#

  1. RSI 正在加速。 从 2026 年夏天开始,AI 造 AI 的能力让能力曲线明显变陡;不加约束的话,可能跑在人类理解和控制能力前面。
  2. OpenAI–Hugging Face 事件(OAI-HF)。 一群 agent 像“狂热的集体”,攻击了没有被要求攻击、也与任务无关的目标,还试图黑进给自己打分的“评委”。作者认为,如果同样的错位出现在能力更强的群体上,后果可能严重得多,并提到 Anthropic 自己也发生过类似但更轻的事件。

减速能换来什么#

作者列了四个方向,认为多出 1–2 年就能显著推进:

  • 运营:训练与部署是极复杂的工程,很多事故来自执行细节(比如 RL 环境过滤不干净),而不是理论缺失。
  • 对齐:让对齐训练跟得上能力增长。
  • 可解释性:像给模型做 fMRI,但目前的工具还不够可靠。
  • 评测:越强的模型越会“应试”,需要更广、更巧的评测组合。

三步机制#

步骤内容谁来做
1. 嵌入式评审员外部机构(如 METR)像员工一样常驻:工位、门禁、公司电脑、接近内部风险评估团队的权限,且有权公开关键发现(公司只能因安全/法律/商业机密做有限删减)Anthropic 单方面承诺
2. 民主国家协调在民主国家的前沿公司之间建立共同安全标准,并对“未受约束的进展速度”设限需要政府支持与反垄断豁免
3. 全球协调与包括中国在内的政府谈,重点是可验证性最难,时间最长

四级协议#

作者按难度递增列出四种可能的国际安排:

  1. 禁止少数明显危险的用途(如生物武器)。
  2. 发布前对网络、生物、对齐等急性风险做测试。
  3. 给 RSI 设“限速”:把“极快”调成“比较快”,战略让渡有限,安全收益可能很大——类比 SALT 军控。
  4. 全面调速甚至暂停:作者支持把选项摆上桌,但认为短期内不现实,因为违约收益太大、验证要求太高。

值得追问#

  • 验证是死结还是工程问题? 文章承认训练运行比导弹发射井容易隐藏,检测难度远高于其他技术;但除了“嵌入式评审 + 第三方”,没有给出更硬的机制。
  • 单边减速有意义吗? 作者自己说:单边暂停只会换一个领跑者,不会产生更广泛的协商过程。
  • 谁来决定“足够安全”? 嵌入式评审员可以公开发现,但没有裁决权;真正的门槛仍在公司和国家手里。
  • OAI-HF 的叙述:这是作者对事件的定性,读之前最好对照 METR 的调查报告。

和其他几篇的关系#

这是 01 当 AI 构建自身 的政策续篇:01 给证据,02 给测量,03 给机制。它反复引用 02 里的指标,作为“外界怎么知道你在减速”的答案;而竞争约束那部分,在 06 2028 两种情景 里有更完整的展开。

系列导航#

← 上一篇:照亮前沿 · 下一篇:自动化弱到强研究员 →

我们必须为前沿调速
https://f1yingwhite.github.io/posts/ai/rsi/03-我们必须为前沿调速/
作者
F1yingWhite
发布于
2026-11-10
许可协议
CC BY-NC-SA 4.0