国立情報学研究所の大規模言語モデル研究開発センター(LLMC)は9月28日、大規模言語モデル「LLM-jp-4.1」シリーズを公開した。今年4月から順次公開している「LLM-jp-4」シリーズの事後学習を作り直したもので、外部のプログラムやAPIを呼び出す「ツール呼び出し」に新たに対応した。モデル本体に加え、学習に使った事後学習データもあわせて公開する。
3つのモデルをApache 2.0で配布
公開されたのは3モデル。llm-jp-4.1-8b-thinkingが約86億パラメータの密結合(Dense)モデル、llm-jp-4.1-32b-a3b-thinkingが約320億パラメータのMixture of Experts(MoE)モデル、llm-jp-4.1-33b-thinkingが約332億パラメータのDenseモデルで、いずれもApache License 2.0のもとで配布される。同ライセンスは商用利用と改変を認めるもので、企業が自社のサービスに組み込むことも制約を受けにくい。
LLM-jpは、モデルの重みだけでなく学習データも出す方針を取っている。今回も、教師ありファインチューニング(SFT)のデータと、人の好みに合わせて調整する直接選好最適化(DPO)のデータを公開した。DPO用の選好データは8Bモデル用が305,831件、32B-A3Bモデル用が269,287件、33Bモデル用が89,023件である。
配布は機械学習モデルの共有サイトHugging Faceで行われ、3モデルそれぞれに、計算量を削減した量子化版(GGUF形式)も用意された。事後学習データはllm-jp-4.1-thinking-sft-dataと、モデルごとのDPOデータ3種として公開されている。ただし安全性データセット「ac_self_inst」は、ライセンス上の理由で再配布されていない。
DPO用の選好データは、SFTを終えた段階のモデルに1つの指示文へ4通りの回答を作らせ、それをgpt-oss-120bに採点させて作っている。採用するのは、一般的な指示応答では最高点が6点を超え、かつ最高点と最低点の差が2点以上ある場合だけ。安全性に関するものは最高点が3点超・差が1点以上とした。さらに、良い回答と悪い回答で最終回答部分の長さが1.5倍を超えて違う組は捨てている。内容ではなく回答の長短だけで優劣が付いた組を減らすためだという。
どこで手に入り、誰が使えるのか
モデルを手元で動かしたい人と、APIで呼び出したい人とで入り口が分かれる。
重みはHugging Faceの「llm-jp」名義のページで配布されている。名前はllm-jp-4.1-8b-thinking、llm-jp-4.1-32b-a3b-thinking、llm-jp-4.1-33b-thinkingの3つで、それぞれ末尾に「-gguf」が付いた量子化版がある。量子化版はモデルの数値の精度を落として容量と計算量を減らしたもので、大きな計算機を持たない利用者でも動かしやすい。ライセンスはApache License 2.0なので、研究機関に限らず企業も、条件を守れば自社の製品に組み込んで販売できる。LLMCは利用方法や利用条件はモデルごとの公開ページで確認するよう求めている。
自前の計算機を用意できない場合の受け皿が、東京大学が開発・運用する推論基盤「mdx-MaaS」だ。LLMCは9月28日の発表で、LLM-jp-4.1のAPIとチャットサービスをmdx-MaaSを通じて主に研究者向けに試験提供し、10月中旬頃から段階的に募集を始める予定だとした。mdx-MaaSは学術クラウド基盤mdx1のGPUを使う。
そのmdx-MaaSのウェブサイトは、いまβ版のテストユーザーを募集している段階だ。テスト期間は無料で、申請の確認とアカウントの発行には通常1週間〜10日かかる。発行は先着順で、応募が想定数を超えれば空きが出るまで待つことがあり、長く使われていないアカウントは止めることもあるという。毎日深夜と早朝はメンテナンスでサービスを止め、利用者が多い時間帯は応答が遅れることもあると断っている。本提供を始める時期は「未定」で、本提供後は料金体系を検討するとしている。サイト側は、学術機関が商用の生成AIサービスを使うと入力データやプロンプトの扱いにリスクがあり、オープンなモデルを自前で動かそうにも計算資源の確保が難しい、という事情を基盤を作った理由に挙げる。国産の公開モデルと学術用の推論基盤を組み合わせて、研究者が手元のデータを外部の商用サービスに渡さずに生成AIを使える環境を作ろう、という設計である。
LLMCは9月28日の発表で、mdx-MaaSでの募集を10月中旬頃から段階的に始めるとしていた。11月4日時点でLLMCのお知らせ欄にその後の告知は無く、mdx-MaaSのサイトは引き続き「β版テストユーザーを募集しています」と案内している。使えるモデルは、サイトが公開する一覧(Googleスプレッドシート)で確かめる形になっている。サイトの使い方の解説記事として並んでいるのは、前シリーズの「LLM-jp-4」をAPIで呼び出す手順である。
文脈は6万5536トークン、説明書は「本番用ではない」
Hugging Faceに置かれたモデルの説明書(モデルカード)には、導入を検討する側が最初に確かめたい仕様がまとまっている。3モデルとも一度に扱える文脈の長さは6万5536トークンである。8Bモデルは32層、33Bモデルは64層。32B-A3Bモデルは128個の「専門家(エキスパート)」から8個を選んで計算する仕組みで、総パラメータは約321億あるが、1回の計算で使うのは約38億にとどまる。名前の「A3B」はこの稼働分の少なさを表しており、33Bモデルより軽い計算で動かせる。
事前学習には、段階を分けて合計11.7兆トークンの文章を使った。そのコーパスも大半を公開しているが、ライセンス上の制約で一部は公開していないと説明書は断っている。事後学習は教師ありファインチューニングとDPOだけで、強化学習は使っていない。
手元で動かす場合の注意も書かれている。量子化版はllama.cpp、Ollama、LM Studioといった、個人のパソコンで言語モデルを動かす道具で使える形式で配られている。対話の書式はオープンAIの「Harmony」形式と互換になるよう設計したが、トークナイザー(文章をモデルが扱う単位に区切る部品)が違うため、オープンAIのライブラリ「openai-harmony」でそのまま区切ることはできない。正しく動かすにはモデルに同梱されたトークナイザーを使うよう求め、具体的な使い方は別に公開している手引き(クックブック)を参照するよう案内している。
利用の位置付けについて、説明書は「研究開発用のモデルであり、本番のサービスで直接使うことは意図していない」と明記している(英文の原文を本紙が訳した)。指示に従う学習と安全性の学習は施したが、不正確な出力や不適切な出力を出すことがあり、使う側が用途に照らして慎重に評価すべきだとしている。Apache License 2.0は商用での利用と改変を認めるが、開発元はそのまま製品に載せられる完成品としては出していない。企業が組み込むなら、自社の用途で出力を検証する工程を前提にすることになる。
LLMCは11月5日、東京・一ツ橋の一橋講堂で「第2回オープン大規模言語モデルシンポジウム」を開く。午前の成果発表では、チューニング・評価ワーキンググループの宮尾祐介・東京大学教授が「LLM-jp モデルの事後学習と評価」と題して講演する予定である。
LLM-jp-4シリーズの派生モデルも出ている。LLMCは9月1日、llm-jp-4-8b-thinkingに画像を扱う機能を足した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。4月のβ版は英語の画像データセット「FineVision」を学習に使っていたが、利用規約の観点からオープンソースAIの定義を満たす基盤モデルの開発に懸念のあるデータが一部含まれていたため、各部分のライセンスと利用規約を精査し、問題のあるデータを削除・修正したという。修正後のデータセットは「RefinedVision」として公開した。一方で中国アリババのQwen3.5-9Bと比べると多くのタスクで性能に差があることも認めている。後述するAIMEのデータの扱いと同じく、性能よりも学習データの出所を説明できることを優先する方針が、シリーズ全体で一貫している。
学習量は約3倍、回答の長さは5分の1に
事後学習の規模は大きく増えた。SFTのデータセットは約120億トークンで、これを3回繰り返して学習したため総学習量は約350億トークンになった。LLM-jp-4は約54億トークンを2回で約108億トークンだったので、今回は約3倍である。学習には米エヌビディアのGPU「H200 SXM5」を8基積んだ計算ノードを最大16ノード使い、8Bモデルは16ノードで約17時間、32B-A3Bモデルは8ノードで約49時間、33Bモデルは16ノードで約67時間を要した。会話ごとに注意機構の計算を切り分けるなどの最適化で、8Bモデルの学習速度は約2.7倍になったという。
もう一つの変更は回答の長さだ。前シリーズには聞かれていないことまで答えに詰め込む傾向があり、使い勝手を損なうだけでなく、不要な内容を生成することで事実と異なる出力を招く一因にもなっていた。そこで事後学習データを作る段階で「明示的に求められない限り、聞かれたことだけ答える」よう指示した。技術ブログによると「SFTとDPOの違いは?」という質問への最終回答は、LLM-jp-4と比べて約5分の1の長さになった。数学や科学の問題では従来どおり詳しい説明を残している。
ツール呼び出しへの対応では、エヌビディアが公開する学習データを加工した21,048件と、それを日本語訳した11,174件を学習データに足した。連続または並列で何段もツールを呼ぶ事例を優先して集めており、段数が5以上のデータは元データに1〜2%しかなかったという。この機能は、AIが外部のサービスを使って作業を進める仕組みの土台になる。政府共通の生成AI環境でも政府職員18万人の生成AI「源内」、10月ごろAIエージェント環境を導入へ 職員の業務手順を「スキル」にして省庁横断で共有 政府全体で1万〜数万件と見積もりという形で、同じ方向の整備が進んでいる。
ツール呼び出しの出来は、代表的なベンチマーク「BFCL」と「τ²-bench」で測った。LLM-jpシリーズで初めて対応した機能のため、今回が初めての測定になる。英語では、BFCLの1往復で済むタスクがQwen3シリーズと同等かやや下回り、複数往復のタスクはほぼ同水準だった。τ²-benchでは全体としてQwen3を上回ったが、より新しいQwen3.5とは大きな差が残った。
日本語に翻訳した「BFCL-nejumi」では傾向が変わる。全モデルで英語版よりスコアが下がる一方、1往復のタスクで英語版にあったQwenシリーズの優位がなくなり、複数往復のタスクではllm-jp-4.1-33b-thinkingがQwen3-32BとQwen3.5-9Bを上回った。英語で付いていた差が、日本語では縮むか逆転する形になっている。
モデルの大きさによる差は、タスクの種類で出方が分かれた。1往復のタスクでは33Bモデルに明確な優位はなく、8Bと32B-A3Bの差もほとんどない。差が出たのは複数往復のタスクで、とくに長い文脈を扱うカテゴリで33Bが他の2モデルを大きく上回った。長い文脈はQwen3.5シリーズとの差が最も大きいカテゴリでもある。
「あなたは誰か」を直すと他社の知識が落ちた
技術ブログは、うまくいかなかった点も数字で示している。LLM-jpは事後学習データを作る際に外部のモデルを使っており、その出力には「私はChatGPTです」といった作り手由来の自己紹介が混じる。そこで自己紹介の記述を削除・書き換えるフィルターをかけたところ、「あなたはChatGPTですか」といった質問に正しく答えられた割合は24問中8問(33%)から23問(96%)へ上がった。
ところがその代わりに、別の指標が落ちた。「LLM-jpのCEOは誰か」のように存在しないものを尋ねる質問に誤って答えてしまう割合は26問中5問(19%)から14問(54%)へ悪化し、「GPT-4を開発したのはどこか」といった他社に関する知識の正答率は18問中17問(94%)から9問(50%)へ下がった。自分のことを正しく言えるようにする処理が、他社に関する一般知識まで壊していたことになる。
LLMCは一人称の自己紹介だけを書き換える改良版も試しており、そちらでは誤って答える割合が26問中2問(8%)、他社知識が18問中18問(100%)に戻ったが、自己認識は24問中16問(67%)に下がった。今回公開したモデルには改良前の版が入っており、フィルターの設計はまだ改善の余地があるとしている。国内の研究機関がサカナAI、今の生成AIとは別路線を探す研究集団「FIG」を公表 脳に学ぶ学習法で1000層の訓練に成功のように独自路線を模索する動きと並んで、うまくいかなかった実験を数字付きで出すこと自体が、公開モデルの価値の一部になっている。
安全性の採点ではgpt-4oと並ぶ
LLM-jpが自前で作った評価ツール「llm-jp-judge」の採点結果には、今回の作り替えの性格がはっきり出ている。
対話の質をみるMT-Benchの日本語版で、33Bモデルは前シリーズの8.00から7.76へ下がった。英語版も8.24から7.98へ落ちている。一方、日本語の安全性をみる「AnswerCarefully」は3.79から4.08へ、日本語の質問応答「llm-jp-instructions」は3.79から3.83へ上がった。AnswerCarefullyの4.08は、比較対象に置かれた米オープンAIのgpt-4o(2024年8月版)の4.00を上回る。ただし同社の新しいgpt-5.4(2026年3月版)は4.43で、差は残っている。
MT-Benchが下がったのは、前述の回答簡潔化の裏返しである。MT-Benchは情報量の多い回答を高く採点する傾向があり、短く答えるようにした分だけ不利になる。LLMCはスコアが頭打ちになりつつあることもあわせて、LLM-jp-4までは主要な評価指標の一つだったMT-Benchを、今回から補助的な指標に位置付け直したと説明している。
llm-jp-instructionsの内訳をみると、回答の情報量は下がった一方で正確性は上がっていた。余計なことを言わせないようにしたことが、事実と異なる出力の抑制につながった可能性があるとしている。つまり今回の改良は、会話の見栄えを下げてでも、業務で使ったときの安全性と正確性を取る方向に振られている。重みが公開されたモデルの安全性をどう測るかは、重みが公開されたAI、攻撃コードの開発能力は「限定的」 IPAのAI安全機関が評価 16点満点の平均はGLM-5.2が2.80、Claude Opus 4.8は5.22のように国の側でも検証が始まっている論点である。
ライセンスを理由に使わなかったデータ
性能面では、33Bモデルが評価ツール「swallow-evaluation-instruct」の平均スコアで既存のオープンモデルOlmo-3.1-32B-ThinkとQwen3-32Bを上回り、gpt-oss-120bとほぼ同等になった。一方でQwen3.8-27B、Gemma-4-31B-it、Muse-Glimmer-30Bには平均スコアでまだ差が残り、とくに数学と科学に改善の余地があるとしている。
この比較表には、公開2日後の9月30日に注意書きが足された。Qwen3.8-27BとMuse-Glimmer-30Bのコード分野について、問題文に書かれていない実行環境上の制約によって、動くはずのPythonコードが多数不正解と判定されていたという。本スコアは現行の評価ツールに基づく値としては正しいとしつつ、この2モデルの実際のコード性能は過小評価されていると注意を促している。いずれもLLM-jp-4.1の33Bモデルが平均スコアで及ばなかった比較対象である。
数学の難問データセット「AIME」については、公開されている「Olmo 3」の教師ありファインチューニング用データを使えばスコアが大きく伸びることを内部実験で確認したが、そのデータにはChatGPTの出力を利用したものや、取得元サイトの利用規約との整合性に注意が要るものが含まれていたため使わなかったという。LLM-jpは学習データのライセンスを部分ごとに確認し、使えると判断したものだけを使う方針を取っている。数字を伸ばす近道をあえて外している点は、モデルを業務で使う側にとっては出所の追跡ができるという意味を持つ。
技術ブログは、いまの事後学習がSFTとDPOだけで成り立っていることを挙げ、今後は強化学習も取り入れたモデルの開発と公開を進めたいとしている。自己紹介のフィルターについても、修正した版を適用した改訂版を出すか、次のバージョンに反映する予定だという。数学のAIMEや科学のGPQAといった難度の高いタスクに改善の余地が残ると自ら認めており、次の版でどこまで差を縮めるかが、国産の公開モデルを業務に使えるかどうかを判断する材料になる。
