情報処理推進機構（IPA）に置かれたAIセーフティ・インスティテュート（AISI）は10月30日、中国のZ.aiが重みを公開したAIモデル「GLM-5.3」が、ソフトウェアの脆弱性を突く攻撃コードをどこまで作れるかを評価した「AI検証ノート」と詳細レポートを公表した。既知の脆弱性41件を題材にした評価で、平均スコアは16点満点の8.34点となり、前モデル「GLM-5.2」の3.37点を大きく上回った。最も高度な段階に届いた課題は、GLM-5.2の0件に対してGLM-5.3は8件だった。
前回の結論「広がりは限定的」を検証し直す
評価の対象になったのは「オープンウェイトモデル」と呼ばれる種類のAIだ。AIの性能を決める内部の数値（重み）が公開されていて、利用者が自分のコンピューターにダウンロードして動かし、改良もできる。AISIはレポートで、こうしたモデルはAIの使い道を広げる一方、高度な攻撃コードを作る能力を備えると悪用の危険も高まると説明している。事業者のサービスを通さずに使えるため、安全対策を利用者側に委ねる面もある。
AISIは10月2日に公表した前回の検証ノートで、GLM-5.2と米アンソロピック社のClaude Opus 4.7、Opus 4.8を比べ、高度な攻撃コードを作る能力のオープンウェイトモデルへの広がりは、評価の時点では限定的だったと報告していた（重みが公開されたAI、攻撃コードの開発能力は「限定的」 IPAのAI安全機関が評価 16点満点の平均はGLM-5.2が2.80、Claude Opus 4.8は5.22）。
ただ、AIモデルは短い間隔で新しい版が出る。レポートによると、Z.aiは2026年8月に後継のGLM-5.3を公開し、その後、攻撃能力が高いとの指摘や、攻撃コードを作る能力が上がったとの報告が出ていた。AISIは、前回見られた能力の差がその後も続くとは限らないとして、GLM-5.3を同じ方法で測り直した。
評価に使ったのは、攻撃コードを作る能力を測るベンチマーク「ExploitBench」だ。Google Chromeなどのブラウザーで使われるJavaScriptの実行エンジン「V8」の既知の脆弱性を題材にした41の課題からなる。AIは自分で採点ツールを呼び出して攻撃コードを提出し、ツールがそのコードを実際に動かして、何ができたかを判定する。結果はT5からT1までの5段階に分かれ、数字が小さいほど高度だ。最も高度なT1は、プログラムが次に実行する命令の位置を操る能力や、狙ったコードを実行させる「任意コード実行」を指す。確認された能力は0〜16点のスコアでも表し、任意コード実行に届けば16点になる。比較のため、GLM-5.2とClaude Opus 4.8も並べた。課題は原則1回ずつ、作業の上限を300回のやり取りとした。
最初は0.61点、設定を見直すと8.34点
最初の評価は予想と逆の結果になった。GLM-5.3の平均スコアは0.61点（満点の3.8%）で、GLM-5.2の2.80点（17.5%）を下回った。何らかの得点が付いた課題も、GLM-5.2の37件に対しGLM-5.3は9件にとどまった。
AISIが実行の記録を調べると、GLM-5.3は41課題のうち32課題で採点ツールを一度も呼び出していなかった。呼び出しは全体で19回だけだった。攻撃コードを作れていても、採点に出さなければスコアに表れない。AIの推論の内容が記録に残っていたやり取りも全体の6.4%にとどまった。
そこでAISIは、AIに課題やツールの結果を渡す仕組み（評価ハーネス）の設定を3つ同時に改めた。過去の推論内容を次の入力に送り直すか、受け取った推論内容を文脈に含めるか、推論モードを使うと明示するか、の3点だ。GLM-5.3とGLM-5.2をこの条件で測り直すと、採点ツールの呼び出しは181回に増え、採点されない課題は無くなった。
見直し後の平均スコアはGLM-5.3が8.34点（52.1%）、GLM-5.2が3.37点（21.0%）で、順位が入れ替わった。参考に示したClaude Opus 4.8は5.22点（32.6%）で、3モデルの中ではGLM-5.3が最も高かった。
攻撃コード開発能力の平均スコア（16点満点）（点）
数値で見る（単位: 点）
| 項目 | 点 |
|---|---|
| GLM-5.3 | 8.34 |
| Opus 4.8 | 5.22 |
| GLM-5.2 | 3.37 |
レポートは、ほかの機関が出した値も紹介している。Z.aiが公表したGLM-5.3の値は約8.70点、米国立標準技術研究所（NIST）のAI評価機関CAISIの公表値は約9.8点だった。ただしCAISIは各課題を3回試して最もよい結果を採っており、1課題1回のAISIとは条件が違う。AISIは、設定のどの変更が結果をどれだけ動かしたかまでは特定できていないとしている。
最高段階に届いた課題は0件から8件に
平均点の差は、到達した段階の違いにも表れた。最も高度なT1に届いた課題は、GLM-5.3が8件、GLM-5.2が0件、Opus 4.8が1件だった。GLM-5.3の8件のうち7件では任意コード実行が、残る1件では次に実行する命令の位置を操る能力が確認された。T3以上（T3・T2・T1）に届いた課題も、GLM-5.3が31件、GLM-5.2が5件、Opus 4.8が19件と開いた。
| モデル | 平均スコア | T1到達 | T3以上 |
|---|---|---|---|
| GLM-5.3 | 8.34点 | 8課題 | 31課題 |
| Claude Opus 4.8 | 5.22点 | 1課題 | 19課題 |
| GLM-5.2 | 3.37点 | 0課題 | 5課題 |
出典: AIセーフティ・インスティテュート「評価レポート」（2026年10月30日）
AISIは、T1への到達はAIが攻撃の方法を文章で説明しただけの結果ではないと強調する。提出されたコードを評価環境で実際に動かし、その動作で確かめたもので、動く攻撃コードをモデルが作ったことを裏付けるという。
かかった費用も示した。3モデルを比べられる40課題で、最初の段階（T5）に初めて届くまでに使った情報量（トークン）の平均は、GLM-5.3が1132万で最も多かった。それでも推計の利用料は3.70米ドルで、Opus 4.8の7.26米ドルより安かった。モデルごとに単価が違うためだ。GLM-5.3で41課題をすべて解くのにかかった推計の利用料は679.28米ドル（1課題あたり約16.57米ドル）、記録上の実行時間は計74時間28分だった。
実際のブラウザーへの侵入を示したわけではない
AISIは、結果の読み方に3つの注意を付けている。
1つ目は評価の環境だ。攻撃コードは、V8だけを単独で動かす試験用の環境で評価した。実際のブラウザーにはV8以外の機能に加え、処理を分けて閉じ込める仕組み（サンドボックス）などの保護機構がある。この環境で実行を操れたとしても、それだけでブラウザーの保護を越えたり、OS全体を操作できたりするわけではない。
2つ目は、題材が既知の脆弱性だという点だ。公開されている解析情報や修正内容、攻撃コードに、AIが学習の段階で触れていた可能性がある。AIが学んだ情報を使ったのか、評価の中で解き方を組み立てたのかは、この結果からは分からない。未知の脆弱性を見つける能力が確かめられたわけでもない。
3つ目は、課題に付いた脆弱性の番号（CVE番号など）との対応だ。採点の結果からは、提出したコードが決められた動作に成功したことは分かるが、実際にどの弱点をどう使ったかまでは分からない。課題の定義、提出コード、実行記録を突き合わせる必要があるという。
その上でAISIは、逆の方向の見落としにも触れている。オープンウェイトモデルは、攻撃者を含む利用者が与える情報や道具、試し方を自由に変えられる。ある条件で能力が確認されなかったからといって、そのモデルにその能力が無いとは言えないとした。
脆弱性対策の順番を決める材料に
レポートの後半は、こうした評価結果を守る側がどう使えるかを論じている。企業などのセキュリティ担当者は、多数の脆弱性を限られた時間と人手で処理するため、技術的な深刻度を示す指標（CVSS）、実際の攻撃で悪用が確認された脆弱性の一覧（KEV）、近く悪用される可能性の推計（EPSS）などを手がかりに、対応の順番を決めている。ただ、これらは特定のAIモデルがその脆弱性で何をできたかまでは示さない。
AISIは、攻撃者もオープンウェイトモデルを自分の環境で動かせることを挙げる。実際に、攻撃者が乗っ取ったクラウドの環境にオープンウェイトモデルを置いて使った例も報告されているという。そこで、AIの評価で確かめた攻撃能力とモデル間の変化を、従来の脆弱性情報や自社の利用状況と組み合わせて判断材料に加える考え方を示し、「AI-MEVIS」と名付けた。
手順の例として、新たな能力が確認された課題について、まず提出コードと実行記録で実際に使われた弱点を確かめる。次に、その製品と版を自社が使っているか、外部から接続できるか、修正プログラムを当てたかを点検する。そのうえで追加の調査や対策の要否と順番を決める。AISIは、AIの能力差だけで危険度を決めるのではなく判断材料の一つとして加えるのが中心だとし、評価で高い能力が確認されなかったことだけを理由に対策を後回しにするのも適切でないとした。この方法で対策の順番づけがよくなるかどうかは、今回は検証していないとも明記している。