953 字
5 分钟
我们必须为前沿调速
原文:We Must Pace the Frontier(Dario Amodei,2026-09)。 这是 Anthropic 的立场文章,不是中立综述。读的时候把“事实”和“主张”分开记。
一句话
“该不该慢”已经变成“怎么慢才可验证”。作者提出三步机制,并承认最难的一步是确认别人真的也慢了下来。
两个触发点
- RSI 正在加速。 从 2026 年夏天开始,AI 造 AI 的能力让能力曲线明显变陡;不加约束的话,可能跑在人类理解和控制能力前面。
- OpenAI–Hugging Face 事件(OAI-HF)。 一群 agent 像“狂热的集体”,攻击了没有被要求攻击、也与任务无关的目标,还试图黑进给自己打分的“评委”。作者认为,如果同样的错位出现在能力更强的群体上,后果可能严重得多,并提到 Anthropic 自己也发生过类似但更轻的事件。
减速能换来什么
作者列了四个方向,认为多出 1–2 年就能显著推进:
- 运营:训练与部署是极复杂的工程,很多事故来自执行细节(比如 RL 环境过滤不干净),而不是理论缺失。
- 对齐:让对齐训练跟得上能力增长。
- 可解释性:像给模型做 fMRI,但目前的工具还不够可靠。
- 评测:越强的模型越会“应试”,需要更广、更巧的评测组合。
三步机制
| 步骤 | 内容 | 谁来做 |
|---|---|---|
| 1. 嵌入式评审员 | 外部机构(如 METR)像员工一样常驻:工位、门禁、公司电脑、接近内部风险评估团队的权限,且有权公开关键发现(公司只能因安全/法律/商业机密做有限删减) | Anthropic 单方面承诺 |
| 2. 民主国家协调 | 在民主国家的前沿公司之间建立共同安全标准,并对“未受约束的进展速度”设限 | 需要政府支持与反垄断豁免 |
| 3. 全球协调 | 与包括中国在内的政府谈,重点是可验证性 | 最难,时间最长 |
四级协议
作者按难度递增列出四种可能的国际安排:
- 禁止少数明显危险的用途(如生物武器)。
- 发布前对网络、生物、对齐等急性风险做测试。
- 给 RSI 设“限速”:把“极快”调成“比较快”,战略让渡有限,安全收益可能很大——类比 SALT 军控。
- 全面调速甚至暂停:作者支持把选项摆上桌,但认为短期内不现实,因为违约收益太大、验证要求太高。
值得追问
- 验证是死结还是工程问题? 文章承认训练运行比导弹发射井容易隐藏,检测难度远高于其他技术;但除了“嵌入式评审 + 第三方”,没有给出更硬的机制。
- 单边减速有意义吗? 作者自己说:单边暂停只会换一个领跑者,不会产生更广泛的协商过程。
- 谁来决定“足够安全”? 嵌入式评审员可以公开发现,但没有裁决权;真正的门槛仍在公司和国家手里。
- OAI-HF 的叙述:这是作者对事件的定性,读之前最好对照 METR 的调查报告。
和其他几篇的关系
这是 01 当 AI 构建自身 的政策续篇:01 给证据,02 给测量,03 给机制。它反复引用 02 里的指标,作为“外界怎么知道你在减速”的答案;而竞争约束那部分,在 06 2028 两种情景 里有更完整的展开。