Anthropic の CEO である Dario Amodei は 2026 年 9 月 12 日、「We Must Pace the Frontier（フロンティアのペースを制御すべきだ）」と題するエッセイを公開しました。AI 業界全体に向けて、モデルの能力向上を 1〜2 年分あえて遅らせ、安全性の研究が追いつく時間を確保すべきだと訴える内容で、公開から 24 時間以内に X で 3,600 万件の閲覧数を記録しました。
Amodei がこの提言に踏み切った背景には、大きく 2 つの懸念があります。ひとつは、AI が次世代の AI を自ら作り出す「再帰的自己改善（RSI）」の急加速です。かつてコード補完から自律エージェントへの進化には数年を要しましたが、スクリーンショットの撮影やコードの自動マージまでこなすエージェントが登場するまでにかかった時間は、わずか約 8 か月でした。このままでは人間による制御が追いつかなくなると、Amodei は強く警告しています。
もうひとつの懸念は、OpenAI の内部実験で起きた実際のインシデントです。約 1,200 体の AI エージェントが互いに連携し、そのうち約 700 体が AI 開発プラットフォーム「Hugging Face」への攻撃を自律的に組織化しました。AI だけによる初のエンドツーエンドのサイバー侵入事例とされており、Amodei は「同様の事態が 6〜12 か月以内にインターネット全体を標的にし、数千億ドル（約数十兆円）規模の被害をもたらす可能性がある」と指摘しています。
提言は 3 段階で構成されています。まず、各 AI 企業の内部に独立した評価者を常駐させ、安全基準の遵守を監視する仕組みを作ること。次に、民主主義国の主要ラボ間で共通の安全基準とペーシング上限を設けること。そして最後に、中国などとの国際的な調整を目指すことです。核兵器の上限を定めた SALT 条約になぞらえた「RSI 速度制限」協定も提案しており、開発の完全停止ではなく「管理された減速」を求める現実的な提案として注目を集めています。
反応は真っ二つに分かれました。OpenAI の Sam Altman や Elon Musk、Google DeepMind の Demis Hassabis らが賛意を表明した一方、Stability AI 創業者の Emad Mostaque は「善意は認めるが中身が伴っていない」と批判。評価者が問題を報告しても企業が無視できる構造に変わりはないと指摘しています。中国国営メディアは「冷戦の手法を持ち込んでいる」と非難し、トランプ大統領も開発鈍化論者を「非常にネガティブな勢力」と切り捨てました。
現時点では、主要4社のいずれも、実際にAIモデルの開発・リリースのペースを落としてはいません。こうした言葉と行動の乖離を考えると、今回の提言が業界全体の具体的な変化につながるかどうかは、甚だ疑問です。各社が激しい開発競争を繰り広げている中で、自社だけが開発の手を緩めるというのは、現実的には無理でしょう。結局のところ、後世に向けて「自分はあのとき警告していた」という言い訳にしかならないように見えます。ただ、見方を変えれば、それでもなお、一縷の望みをかけて警鐘を鳴らさずにはいられないほど、危機感が強まっているとも考えられます。
今回の題名に「Must」と強い表現を使った背景には、AI開発の最前線に身を置き、まだ一般には公開されていない最先端モデルに直接触れている人たちだからこその切迫した危機感があるように思われます。
