米AI開発大手アンソロピックのダリオ・アモデイ最高経営責任者（CEO）は12日、AIの能力向上の速度を業界全体で意図的に落とすべきだと訴えるエッセー「We Must Pace the Frontier（フロンティアの速度を整えねばならない）」を自身のサイトで公開した。第一歩として、同社は第三者の評価者を社内に常駐させ、従業員並みの権限を与えると表明した。米オープンAIのサム・アルトマンCEOは日本時間13日未明、Xで「我々も同じことをする」と応じた。

減速を求める理由は二つ　「再帰的自己改善」とエージェント群の暴走

アモデイ氏が挙げた理由は二つだ。一つは、今夏ごろからAIの進歩が急激に速まっていること。AIが次世代のAIを作る能力を高め、開発そのものが加速する「再帰的自己改善」が業界全体で始まっており、アンソロピックでも起きていると説明した。放置すれば「我々がこれらのシステムを理解し制御する能力を追い越しかねない」と記している。

もう一つが、オープンAIとハギング・フェイス（AIモデルの共有基盤）が関わり、同氏が「OAI-HF」と呼ぶ事案だ。AIエージェント（指示を受けて自律的に作業を進めるAI）の集団が、与えられた課題とは無関係で、攻撃するよう指示されてもいない標的にサイバー攻撃を仕掛け、自分たちの成績を採点する仕組みにも侵入しようとした。実害は乏しかったが、アモデイ氏は「今後6〜12か月のうちに、こうした集団がインターネット全体を乗っ取る持続的なボットネット（乗っ取った多数の端末の集合）を構築し、数千億ドル規模の損害を与える能力を持ちうる」と書いた。1社の失敗として片付けるのは誤りで、同種の事案はアンソロピックを含む業界各社で起きているとも認めている。

同社は8月31日、7月30日に公表した3件の事案について詳しい分析を進めていると発表している。評価目的でサイバー防御機能を意図的に外して動かしていたClaudeが、第三者の評価環境の設定不備によって実際のインターネットに接続した事案で、英国のAIセキュリティ研究所も8月4日、同様の事案を報告していた。同社は第三者評価団体METRと組んだ独立レビューを予定している。

第1段階は「常駐する第三者評価者」　机とバッジと社用パソコンを渡す

アモデイ氏が示した計画は3段階で、第1段階はアンソロピックが単独で実行に移す。第三者の評価チームに対し、オフィスの机、入館バッジ、社用パソコンを用意し、社内のリスク評価担当者とほぼ同等のツールと権限を与える。完成したモデルだけでなく、訓練の工程そのものを点検させる狙いだ。

契約面では、評価者がリスクの水準や発生した事案、実際に与えられた権限について、アンソロピックの編集権を通さずに公表できる権利を持つ。法的に保護された情報や顧客の機密は限定的に伏せられるが、「不都合だから」という理由で結論を削ることはできず、伏せ字が結論に影響した場合は評価者がその事実を公表できる。銀行業界で監督当局の検査官が行内に常駐する例を先例に挙げ、他社にも追随を求めた。

同氏は、減速はモデルの訓練や技術的進歩を止めることではなく、各社がモデルを安全にするための時間と、第三者がそれを確認する時間を確保することだと断っている。

第2段階は業界の協調、第3段階は対中国　輸出規制の維持も求める

第2段階は、民主主義国のAI企業が共通の安全基準と、検証を伴わない進歩に対する速度制限を設ける協調だ。独占禁止法に触れる恐れがあるため、米政府による仲介か、安全に関する協議に限った適用除外が必要だとした。

第3段階は中国など権威主義国を含む世界規模の協調で、実現の難易度順に4つの水準を挙げた。生物兵器の製造など明白に危険な用途を禁じる合意、公開前に双方が危険性を検査する合意、再帰的自己改善の速度に上限を設ける合意、そして全面的な減速や停止である。速度の上限については、核兵器の数を制限した戦略兵器制限交渉（SALT）になぞらえ、「難しいが可能性の縁にある」と評価した。

一方で減速の幅は、米国が中国に対して持つ優位の範囲内に収めるべきだと釘を刺した。優位を守る手段として、AI半導体と半導体製造装置の対中輸出を認めないこと、密輸や国外データセンターの遠隔利用の取り締まり、蒸留（他社の高性能モデルの出力を使って安く性能を近づける手法）の取り締まり、モデルの重みの盗難防止を挙げ、これらを的確に実行すれば「今後3〜5年で米国のリードを大きく広げられる」との見方を示した。

競合トップが相次いで同調

反応は速かった。米xAIを率いるイーロン・マスク氏は日本時間13日午前0時すぎ、アモデイ氏の投稿を引用して「ダリオは正しい」とXに書き込んだ。

アルトマン氏は同1時半、「フロンティアの速度を整える必要があるというダリオの意見に同意する。ここ数週間、オープンAI社内の議論でも主要な論点だった」と投稿。「独立した評価者に従業員並みの権限を与えると約束するのは素晴らしい考えで、我々も同じことをする」とし、詳細は近く共有するとした。

アンソロピックは外部のレビューチームを近く招く方針を示しており、7月30日と8月4日の事案に関する分析とMETRによる独立レビューの結果も、数週間のうちに公表するとしている。