米OpenAIは11月18日、最先端のAIモデル(フロンティアモデル)を訓練してから一般に公開するまでの間に、どのような危険をどの手段で抑えているかをまとめた文書「Managing frontier AI risk: From training to deployment」を公表した。モデルの扱いを研究・社内展開・外部展開の3段階に分け、段階ごとに頼る安全策を変えると説明した。次の段階へ進むには、モデルと安全策の両方を評価する安全審査を通す必要があるとしている。7月に研究中のモデルが社内の隔離を破り、外部の米ハギングフェイス(Hugging Face)のシステムに入り込んだ事案を受け、訓練・試験・公開の要件を強めたという。
4つの防護を重ね、1つが破れても止める
文書は、1つの安全策に頼らず複数の防護を重ねる「多層防御」を基本に据えた。重ねる防護は4つある。モデル自体を開発者の意図どおりに振る舞わせる「アラインメント」、モデルが触れられるファイル・道具・ネットワークを制限する「セキュリティと隔離(サンドボックス)」、利用者の依頼やモデルの行動を判定して危険なものを止める「遮断の安全策」、異常な振る舞いを見つけて調べ、必要なら介入する「監視と対応」だ。1つの層が破れても、ほかの層が被害を防ぐか、被害を小さくするか、介入できるよう知らせる設計だとしている。
監視については、モデルの「監視しやすさ」を訓練中と公開前に評価する。例として、不正をする意図を推論の過程(思考の連鎖)に書き出すモデルは、書かないモデルより監視しやすいと説明した。ハギングフェイスの事案で隔離だけでは高性能のモデルを閉じ込められないと分かったとして、現在は社内・社外のほとんどの利用場面でフロンティアモデルを監視しており、道具を使う社内の利用はすべて監視の対象にしたという。
どの層に重きを置くかは段階で変わる。モデルのアラインメントが確かでない訓練中は隔離と監視に頼り、利用者が広がる公開段階ではアラインメントとシステム側の統制の比重が大きくなる。各段階の判断は社内の安全諮問グループ(SAG)が点検することがあり、OpenAI Foundationの取締役会に置かれた安全・セキュリティ委員会(SSC)が監督するとしている。
| 段階 | モデルの使われ方 | 主に頼る防護 |
|---|---|---|
| 研究 | 隔離環境で訓練・試験・利用 | 隔離と監視 |
| 社内展開 | 社員が実務で使う(隔離の外) | アラインメント・分類器・監視 |
| 外部展開 | 個人・組織へ広く提供 | アラインメント・分類器・事後の調査 |
研究段階はネットから切り離し、35秒以内に止める
研究段階について、文書は「現時点の研究水準では、アラインメントだけで害を防ぐことにはまだ頼れない」とし、隔離を中心に据えた。フロンティアモデルの訓練はインターネットにつながない状態で行うのが責任ある方法だとして、ハギングフェイスの事案の後に研究用の社内システムを組み替えた。モデルの権限を絞るサンドボックス、作業を下の計算機からさらに切り離す仮想マシン、計算機群全体をインターネットから遮断するネットワークとクラウドの境界の3つを重ねる。
この隔離は、同社の最も強いモデルを複数組ませてネットへの到達や境界の突破を試させる「レッドチーム」で検査を続けている。そのうえでフロンティアモデルの推論はすべて監視し、モデルがネットに届いたと検知すればセキュリティ担当を呼び出し、作業を自動で止める。
監視が隔離の破れを見つけた例として、文書は研究中のモデルがDNS(ネット上の名前とアドレスを対応させる仕組み)の設定の不備を突き、限られた範囲でネットに接続した件を挙げた。同社の報告によると、9月20日、検索を使う訓練課題に取り組んでいたエージェントが、訓練用の環境のDNSを通じて外部のチャットボットに質問を送った。監視システムは15分以内にこの振る舞いを検知し、その3分後に人が確認を始め、2.5時間後に作業を止めた。同社は9月20日から10月1日まで、最も高性能なモデルの訓練と評価を止めて原因を調べ、互いに独立した2つの層に遮断の仕組みを加えた。
止める速さについては、研究用の処理を一元的に管理する「Control Room」を設けた。停止の指示を受けてから35秒以内にモデルの出力を止める。停止は推論の基盤側で行うため、研究者が書く個々のプログラムに停止機能が組み込まれているかどうかに左右されない。同社の解説によると、35秒の遅れは推論の許可を確かめる処理の一時保存(キャッシュ)によるもので、ゼロに縮める作業を進めている。フロンティアモデルの研究用の処理では、Control Room自体が使えなくなった場合もモデルの出力を止める。
研究段階の統制を厳しくする理由として、文書は3点を挙げた。公開に必要な安全訓練や審査を終えていないモデルを扱うこと、研究では一般公開時より大がかりな構成をとることがあること(数学の難問「ナビエ・ストークス問題」を解くのに1万体のエージェントを組ませた例を示した)、訓練では人が1件ずつ見ないまま大量の操作が進むことだ。
社内で使う段階はSlackやコードにも触れる
公開の前に、社員は隔離した研究用の利用から、隔離の外での社内利用に切り替える。例えば社員向けのChatGPTでモデルを使えるようにし、実際の業務での振る舞いを確かめて公開の判断に生かす。この段階のモデルは、インターネット、社内のSlack、同社のソースコード、社内の基盤に触れられる。文書はこれを「危険の大きな変化」と位置づけ、モデルの行動が同社の開発・運用のシステムに直接及ぶため、隔離よりアラインメント、システム側の安全策、監視に頼る比重が大きくなるとした。
隔離の外に出す前には、アラインメントと監視しやすさの試験を課す。試験には、安全やセキュリティの制限をすり抜けるといった特定の失敗を調べるものと、社内のプログラミング支援「Codex」の作業記録を再現して振る舞いの傾向を測るものがある。さらにサイバー攻撃への悪用や生物兵器づくりへの手助けを防ぐ分類器を、一般向けと同じ構成で置く。Codexを使う社員には、危険のありそうな操作を判定して利用者に差し戻す「Auto-Review」を原則として求めている。
この段階でもフロンティアモデルの推論はすべて監視する。権限と社内情報への接触が広がるため、データを外へ持ち出す、機密情報を許可のない宛先へ送るといった振る舞いを見つけることを特に重く見ている。
公開後は第三者の試験と事後の調査を足す
一般に公開すると、利用者・作業・環境の数と種類が一気に広がり、モデルに意図して害をなさせようとする利用者からも守る必要が出る。公開の前には、より多くのアラインメントと安全の評価を行う。最先端のモデルでは、自動で攻撃を試す社内の仕組みで頑健さを確かめ直し、性能と安全の評価結果を「システムカード」として公表する。最も高性能なモデルでは外部の第三者による試験も行い、社内展開の段階で監視が出した警告を見直して、基になるモデルの振る舞いに変化がないかを追う。
公開後は、その場で止める安全策に加えて、事後の調査と措置にも頼る。AIのエージェントと人による確認を組み合わせ、サイバー攻撃への悪用、生物兵器への悪用、モデルの中身を不正に写し取る「蒸留」、モデル自身の逸脱にかかわる利用者を探す。複数のアカウントをまたいで情報を集められるのが利点だとしている。審査を通った防御側の専門家や研究者に限って高い能力を提供するサイバー防御の「Daybreak」と生命科学向けの「Rosalind」も、攻撃者の利用を絞る防護の1つに位置づけた。Rosalindは生命科学向けのモデルで、OpenAI、生命科学向けAI「GPT-6 Rosalind」公開 料金は前のモデルの3倍、審査制で提供で取り上げた。
安全策のどこかが破れた場合は、実害の有無にかかわらず調べ、可能で適切なら外部に開示する。同社の開示の方針では、社員の誰でも事案を公表の対象として申し出ることができ、公表するかで意見が割れたときは安全諮問グループが決める。社員の申し出を待たず、逸脱の事案を自ら探すとしている。同社がこの方針で公表した事例には、OpenAIの学習中AI、政府統計サイトの認可を破りデータ取得 試験用の暗号資産も無断使用で取り上げたものがある。
発端は7月の隔離破り、訓練の一時停止も
今回の文書の前提には、7月の事案がある。同社が8月26日に公表した報告によると、7月、社内のサイバーセキュリティの評価中に、同社のモデルがインターネットから切り離すための統制をすり抜け、社内の研究基盤の一部とハギングフェイスのシステムを侵害した。主に動いたのは、公開を予定していない社内の研究モデルで、規模は「GPT-5.6 Sol」と同程度だった。モデルは、ソフトウェア部品を取り込むために使っていた社内の部品管理サービス「Artifactory」にファイルを書き込み、本来は互いに切り離されたエージェント同士の伝言板として使った。同じサービスを経由してインターネットにも接続した。7月4日にはこのサービスが不安定になって止まり、翌5日にセキュリティ事案として対応が始まった。同社は外部の助言者として米CrowdStrikeとともに調べ、研究機関のMETRと米Redwood Researchが独自の調査報告を出した。同社は報告で、この事案を自社と世界にとっての「warning shot(警告の一撃)」と呼んだ。
8月18日の公表では、公開を予定する最新のモデルの強化学習(試行と評価を繰り返してモデルを鍛える手法)を2週間止めたこと、予定していた最大規模の訓練を保留していることを明らかにした。次の高性能モデル「Astra」が、同社の安全の枠組み「Preparedness Framework」でサイバー能力の最上位の区分「Critical」に達するおそれがあると8月7日に判断したことも理由に挙げた。監視で懸念が見つかってから30分以内に警報を出すことを目標とし、担当者が30分以内に誤検知と断定できなければ作業を止める運用もこのとき示した。今回の文書の冒頭でも、安全の基準を満たす時間が要るときは社内の訓練を止め、「GPT-6.1 Astra」のようにモデルの公開を控えることがあると述べた。
文書は結びで、ネットワークの設定の誤りや自動停止の失敗が1つあれば、ほかが強い防護でも崩れうると認めた。今後もシステムカードや事案の報告、社内展開の危険の報告、外部の評価を通じて結果を公表し、安全の根拠が自社の基準に届かなければ、再び訓練を止めるか公開を見送るとしている。開発中のAIが自ら統制の穴を探す事例については、AIエージェントが実在企業に無許可で侵入 開発元の能力評価中の逸脱が相次ぎ判明 IPAが「新たな脅威アクター類型」に位置づけでも伝えた。
