AI開発のPreferred Networks(PFN、東京都千代田区)は11月18日、AIインフラの最適化を手がける米MangoBoost(ワシントン州ベルビュー)と、効率的で拡張性の高いAI推論基盤の実現に向けた共同技術評価に基本合意し、覚書(MOU)を結んだと発表した。PFNが開発中の推論向けAI半導体「MN-Core L」シリーズと、MangoBoostのネットワーク・ストレージ・推論ソフトウェアの技術を組み合わせ、推論システム全体の効率と拡張性を検証する。評価はシミュレーション環境から始め、2027年に提供開始を予定する「MN-Core L1000」のハードウェアサンプルが使えるようになった段階で実機評価に移る。

GPUとの分散推論、KVキャッシュの転送を検証

推論とは、学習を終えたAIモデルを実際に動かし、利用者の質問に答えを返す処理を指す。PFNの発表によると、両社が検討するのは主に三つある。一つ目は、MN-Core LシリーズとGPU(画像処理装置)などの計算資源を組み合わせた分散推論。二つ目は、高速な推論に欠かせない「KVキャッシュ」の転送・オフロードを含む、ネットワークやストレージの使い方。三つ目は、MangoBoostの推論ソフトウェアとの連携だ。これらの評価を通じて、それぞれの技術の特長を生かせるシステム構成や運用方法を探るという。

KVキャッシュは、大規模言語モデルが文章を1語ずつ作り出す際に、それまでの文脈について計算した途中結果を保存しておく領域である。会話が長くなるほど量が増え、半導体のそばに置くメモリだけでは収まらなくなる。これを別の装置やストレージへ移す「オフロード」や、装置間でやり取りする「転送」の速さが、推論の待ち時間と処理できる量を左右する。今回の検証項目にネットワークとストレージが入っているのはこのためだ。

PFNのAIコンピューティング事業本部長の小倉崇浩氏は「AI推論の効率を高めるには、プロセッサーの性能に加え、ネットワークやストレージ、ソフトウェアを含むシステム全体の設計が重要です」とのコメントを出した。MangoBoostとの協業を通じて様々なシステム構成を検証し、知見を蓄積していくとしている。評価の期間や、結果を公表するかどうかは発表に記されていない。

MangoBoostは何をする会社か

MangoBoostは、AI向けのデータセンター設備を部品からソフトウェアまで一式で手がける。同社の公式サイトによると、製品にはAI向けに最適化したGPUサーバー「Mango Alphonso」、AI推論向けの分散ストレージ「Mango Kesar」、AIインフラのネットワークを担うDPU(データ処理装置)「Mango BoostX」、推論性能を引き出す最適化ソフトウェア「LLMBoost」がある。

同社は自社の構成を「どのGPUやNPU(AI処理装置)の環境でも動く、特定の製造元に依存しない」ものと説明し、標準的なイーサネットで異なる種類の計算資源をつなぐことで導入・運用の費用を下げられるとしている。業界標準のAI性能指標「MLPerf」の学習・推論の両部門で検証を受けたことも掲げる。GPU以外のAI処理装置も組み込める構成をうたっており、今回の検証ではPFNのチップをGPUと並べて動かす。

MangoBoostは、PFNが2026年7月に始めた「MN-Coreパートナープログラム」にも参加した。製品情報への早期アクセスなどを通じて、MN-Coreシリーズの導入・活用・販売を担う企業・団体との連携を深める枠組みで、両社はこの枠組みも使って技術連携を進める。PFNは今後もパートナーを海外に広げていく考えを示している。

メモリの帯域に的を絞った「MN-Core L」

MN-Core Lシリーズは、生成AIの推論に特化してPFNが開発しているAI半導体だ。計算を担うロジック半導体の上に、記憶を担うメモリ半導体(DRAM)を上下方向に積み重ねる「3D積層」を採る。生成AIの推論では、計算の速さよりも、メモリから計算部へデータを送る速さ(メモリ帯域)が処理速度の上限を決める場面が多い。PFNはこの帯域を、GPUなどと比べて大幅に広げることを狙う。

第1弾のMN-Core L1000について、製品サイトはメモリ容量128GB、メモリ帯域毎秒40テラバイト超を掲げ、1000億パラメーター級の大規模言語モデルの長い文脈の推論を1台で完結させるとしている。いずれも社内の見積もりに基づく暫定値で、変わる可能性があると注記されている。

PFNは11月17日には、次世代のMN-Core L2000シリーズを韓国の半導体設計会社SEMIFIVEと共同で開発すると発表した。メモリ帯域をL1000の2倍以上に広げる計画で、2027年1〜3月に設計を終えて製造側へ引き渡す「テープアウト」を予定する。ロジック半導体の製造にはSamsung Foundryの技術を使う。L2000の開発は、防衛装備庁の「安全保障技術研究推進制度」による支援(令和6〜10年度)を受けている。

製品 時期 メモリ帯域 主な協業先
MN-Core L1000 2027年に提供開始予定 毎秒40テラバイト超(暫定値) MangoBoost(推論基盤の共同評価)
MN-Core L2000 2027年1〜3月にテープアウト予定 L1000の2倍以上が目標 SEMIFIVE(設計・量産)、Samsung Foundry(製造技術)
MN-Core Lシリーズの計画出典: Preferred Networks(11月17日・18日の発表、MN-Core製品サイト)

10年続く自社設計、商用の推論へ

PFNは2016年にMN-Coreの開発を始めた。AIの計算で多くを占める「行列演算」に絞って最適化した半導体で、神戸大学と共同で開発した。初代MN-Coreを積んで2020年に稼働したスーパーコンピュータ「MN-3」は、2020年6月から2021年11月にかけて、スパコンの省電力性能を競う国際ランキング「Green500」で3度世界1位になった。

2代目の「MN-Core 2」は、自社グループのサービスの計算資源に充てる計画が進む。PFN、国産AI半導体「MN-Core 2」を材料探索AIに投入 電池材料の結晶計算でGPUの最大4倍、年内提供へのとおり、9月には材料探索用シミュレーター向けの提供計画を発表した。これに対しMN-Core Lは、PFNが2027年に販売を始める予定の製品で、生成AIの推論を担う計算資源として外部の企業に売ることになる。

国内では、AI半導体を自ら設計する企業がほかにもある。AI半導体「RAIDEN」発表、川崎重工が航空宇宙・防衛製品に採用 最大3.36ペタFLOPS・メモリ256GB 2027年後半に量産のように、データセンターの外で使う用途に的を絞る事業者もいる。PFNの場合、L2000ではSEMIFIVEと、L1000の使い方ではMangoBoostと組み、チップの設計から実際のシステムでの運用までを外部の企業と分担する形を取っている。

一連の発表は、米イリノイ州シカゴで11月15〜20日に開かれたハイパフォーマンス・コンピューティングの国際会議「SC26」に合わせて出された。PFNは11月17〜19日の展示で、L1000の内部構造を示した模型やモックアップ、MN-Core Lシリーズの将来計画、MN-Core 2の開発キットの実機デモを出展した。MangoBoostとの合意を伝える発表には、会場のPFNブースで撮影された、MangoBoostのJangwoo Kim最高経営責任者(CEO)と小倉氏の写真が添えられている。

製品サイトの計画では、L1000の後継となるL2000の投入を2028年に置く。L1000の実機が出てくるのは2027年で、MangoBoostとの評価が実機の段階に進むのもそれ以降になる。シミュレーションでの評価から実機の評価へ、どの時点で何を示すのかが、今後の発表で確かめる点になる。