米AI企業Anthropic（アンソロピック）は7月1日、対話AI「Claude（クロード）」の最新モデル「Fable 5（フェイブル5）」の世界での提供を再開した。安全装置を回避する手口が報告され、米政府の輸出規制で一時停止していたが、対策を強化したうえでの再展開となる。同社はあわせて、AIの弱点を突く「脱獄」の危険度を測る共通の物差しも提案した。

停止から再展開までの経緯

同社は6月9日、Fable 5と、その土台を共有する「Mythos 5（ミトス5）」を公開した。Mythos 5は安全装置を絞った専門家向けで、防御的なサイバーセキュリティ用途に限って一部のパートナー企業にのみ配る位置づけだ。

ところが6月12日、米政府が両モデルに輸出規制を即日適用し、提供が止まった。きっかけは、Amazonの研究者がFable 5の安全装置を外し、複数のソフトウェアの欠陥を見つけさせたうえで、その一つを突く攻撃用コードまで生成させる手口を報告したことだった。高度なAIが攻撃者の道具になりかねないとの懸念からだ。輸出規制とは、安全保障上のおそれがある技術の海外流出を国が制限する仕組みを指す。

その後、米商務省の「AI標準・革新センター（CAISI）」の研究者らが対策を検証。同社は6月30日に規制が解除されたとして、7月1日にClaude.aiやClaude Codeなどで世界提供を再開した。

「脱獄」を99%以上遮断

再展開にあたり、同社は新しい判定システム（分類器）を導入した。「脱獄（ジェイルブレイク）」とは、言葉巧みな指示でAIの安全装置を外し、本来は断るはずの危険な出力を引き出す行為をいう。新システムは、報告された回避手口の99%以上を遮断できるとしている。CAISIの検証でも「異常に強力」と評価されたといい、24時間態勢の監視チームも設けた。

危険度を測る4つの観点

同社は7月2日、脱獄の危険度を共通の尺度で示す枠組みも公表した。(1)攻撃者の能力をどれだけ引き上げるか(2)同じ手口が通用する対象の広さ(3)実際の攻撃へ仕立てる手間の少なさ(4)手口の入手しやすさ――の4点で深刻さを評価する。AmazonやMicrosoft、Googleなどと連携し、業界と政府が同じ物差しで危険性を語れるようにするのが狙いだという。高性能AIのサイバー面のリスクをどう測り、どこまで開放するか。開発と規制の両立を探る動きが本格化してきた。