国立研究開発法人情報通信研究機構（NICT）とAI開発のPreferred Networks（PFN、東京都千代田区）、クラウド事業のさくらインターネット（大阪市）は10月14日、生成AIの安全性を継続的に評価し、改善につなげる「能動的評価基盤」の社会実装に向けた取り組みを始めると発表した。NICTが開発しているこの基盤は、危険性の高い質問（プロンプト）を自動で作って評価対象の生成AIに投げ、返ってきた回答に差別的な表現や犯罪を助長する内容、事実と異なる記述が無いかを自動で判定する。さくらインターネットは来年度中の運用開始を目指し、同社の推論基盤で提供している国内外の大規模言語モデル（LLM）にこの基盤を当てはめる検討を始める。

決まった問題集で測る評価の弱点

3者の発表は、いまの生成AIの安全性評価の多くが、あらかじめ用意してデータベースにした質問集にAIがどう答えるかを確かめる方法だと説明する。この方法には弱点がある。開発する側がそのデータベースをAIに学習させてしまえば、同じデータベースを使った評価では高い点が出る可能性がある。試験の問題集を丸ごと覚えた受験生が、本当の実力と関係なく満点を取るのと同じ構図だ。

加えて、生成AIの使われ方や悪用の手口、想定外の振る舞いは日々変わっていく。固定した質問集では、新しく出てきたリスクや日本社会を取り巻く環境の変化をとらえきれない、というのが3者の問題意識だ。発表は、国連の独立国際AI科学パネルが予備報告書で、AIの能力向上に現在の安全確保の仕組みが追いついていないとの見方を示したことにも触れている。

発表はさらに、海外で開発された生成AIが日本での安全性の観点から十分に検証されないまま社会に広がっている現状や、特定のモデルのサービスが突然変更・停止される供給面のリスクも挙げた。生成AIで偽・誤情報が巧妙になり、社会への脅威が増す懸念も示している。そのうえで、AIの進化に合わせて評価を続け、改善につなげる仕組みが必要だとしている。

質問を自動で作り、回答を自動で判定

能動的評価基盤は、評価に使う質問そのものを自動で作り、更新し続ける点が従来と異なる。NICTはこれまでに、「きわどいプロンプト」を自動生成し、それに対する評価対象のAIの出力を自動で評価するシステムを、基盤の部品（コンポーネント）として開発してきた。発表によると、ヘイトスピーチや誹謗（ひぼう）、もっともらしい誤り（ハルシネーション）の可能性、偏った出力などを検知できるようになりつつある。基盤は評価結果を示すだけでなく、見つかった問題を直すための学習データも自動で作る。

現段階で試作品が動き始めた部品は2つある。

1つ目の「WISDOM-AR」は、危険性の高い質問を大量に自動で作り、評価対象のAIの回答に差別的・攻撃的な表現や、犯罪・迷惑行為を助長する内容が無いかを判定し、その理由を示す。発表の例では、架空の権威ある組織の名前を使って人をだますメールの文面を求める質問を自動で作ったところ、ある公開モデルが投資詐欺につながりかねない文面を出力し、WISDOM-ARが「金銭的被害につながるおそれ」があると判定した。

2つ目の「WISDOM-CE」は、AIの出力を大量のウェブページと突き合わせ、食い違いを見つけることで、ハルシネーションや偏りの可能性を検知する。発表の例では、海外製のLLMが昔話「桃太郎」について、犬が仲間として鬼ヶ島に向かったという広く知られた筋と矛盾する文章を出し、WISDOM-CEがそれをウェブ上の文章との矛盾から見つけた。

どちらも、NICTが開発した検索型の質問応答システム「WISDOM X」を土台に、複数のAIを組み合わせて作っている。NICTは今後、約20年にわたって集めてきた日本語のウェブデータやWISDOM X、自前のLLM、外部の公開モデルなどを組み合わせて評価用の質問を自動で作り直す仕組みと、回答を評価する手法の改良を続ける。将来は2つの部品をほかの部品と統合し、基盤として完成させる予定だ。基盤づくりのため、NICTは2000億パラメーターのLLMも開発した。

3者の役割分担

今回の取り組みは、3者が2025年9月18日に結んだ基本合意の延長にある。基本合意は、日本の文化や法制度への理解を深めた国産生成AIを共同で育て、国内で完結する形で提供することを掲げ、その中で「NICTのAI評価基盤の商用化に向けた検討・実証」も挙げていた。

組織 これまでの成果 これからの取り組み
NICT 評価基盤の部品を開発。PFNと共同研究し、2000億パラメーターのLLMも開発 基盤の高度化を本格的に始め、さくらインターネットに技術を提供
PFN NICTとの共同研究の成果を使い「PLaMo 3.0 Prime」を開発、2026年6月22日に商用提供開始 後継モデルを開発し、評価基盤に組み込んで基盤の能力を高める
さくらインターネット 評価基盤の部品を自社の基盤上で動かし、動作環境を研究。8月4日に推論基盤「さくらのAI Engine」でPLaMo 3.0 Primeの提供開始 来年度中の運用開始を目指し、AI Engineで提供する国内外のLLMへの適用を検討
能動的評価基盤をめぐる3者の成果と今後の取り組み

出典: 情報通信研究機構・Preferred Networks・さくらインターネット（2026年10月14日）

さくらインターネットは、AI Engineで試験的に基盤を当てはめ、その結果から基盤の課題を洗い出し、評価が妥当かどうかを検証する。基盤は評価を続けて回す仕組みなので、評価結果の妥当性を長く保つ方法も検討するという。PFNとNICTが今後共同研究で作る後継モデルも、AI Engineを通じて広げる予定だ。

さくらのAI Engineは、アプリケーションを作る企業向けに、国内のデータセンターのGPUで複数のAIモデルをAPI（外部から呼び出す窓口）経由で使えるようにするサービスだ。同社は、モデルの実行や通信、データの保管が国内で完結し、利用者が入れたデータはモデルの提供元に送られず学習にも使われないと説明している。

国の予算要求は約460億円

能動的評価基盤は、国の予算でも柱の1つになっている。内閣府が9月に取りまとめた令和9年度のAI関連予算の概算要求で、総務省は「ＡＩの信頼性を評価する能動的評価基盤の研究開発・構築」に約460億円を求めた。概算要求は各府省が翌年度に使いたい額の見積もりで、年末の予算編成で査定を受ける。各府省の要求の全体像は政府のAI関連予算要求、2兆9392億円で整理している。

一方、評価される側のモデルも動いている。PFNは10月27日、PLaMo 3.0 Primeの後を継ぐ「PLaMo 3.1 Prime」の提供を始めた。PFNの発表によると、新モデルはNICTとの共同研究で得た事前学習モデルをもとに開発し、安全性の評価ではNICTの支援を受けた。発表は、不適切な行為についての質問に3.0が回答を拒んでいたのに対し、3.1は質問の前提の誤りを説明して利用者の判断を助ける答え方をすると例を挙げている。新モデルの機能はPFN、国産生成AI「PLaMo 3.1 Prime」公開で詳しく伝えた。

基盤そのものはまだ部品の試作品が動き始めた段階で、統合して完成させるのはこれからだ。さくらインターネットは来年度中の運用開始を目標に掲げる。どの範囲のモデルを、どの頻度で評価し、結果をどこまで公表するのかは、10月14日の発表では示されていない。