米国のAI企業シンキング・マシンズ・ラボ(Thinking Machines Lab)は11月20日付で、家庭用のノートパソコンでも動く大きさのAIモデル「Inkling 2 Mini」を公開した。総パラメーター数(モデルの規模を示す数)は264億で、動かすのに必要なメモリは約20GB。モデルの中ほどにある層を1語ごとに3回繰り返して通す「ループ型」と呼ぶ構造を取り、同社は少ない出力で正しい答えに達すると説明している。重み(AIが学習で身につけた中身)は、改変や商用利用を認める利用許諾「Apache 2.0」で公開し、AI開発者向けの共有サイト「Hugging Face」から入手できる。同社の調整サービス「Tinker」でも、同日から推論と調整に使えるようにした。

メモリ約20GB、機内のMacBookでプログラムを作成

モデルカード(モデルの仕様書)によると、Inkling 2 Miniは24層の構造で、全体を128の「専門家」に分け、1語ごとにそのうち8つだけを動かす「混合専門家(MoE)」という方式を取る。1回の処理で使うパラメーターは34億だが、中間の層を3回通すため、実質的には1語あたり54億を使う計算になる。文章と画像を入力でき、出力は文章。モデルカードでは、一度に読み込める文章の長さ(コンテキスト)を最大100万トークンとしている。Tinkerの対応モデル一覧では、同サービス上での上限を25万6000トークンと示している。

小さく動かせる理由の一つが、数値の精度を落とした形式での学習だ。重みの大半は4ビットの「NVFP4」という形式で学習し、そのままの形式で配布している。最後の4層だけは8ビットの「MXFP8」を使う。学習後に精度を落とす変換をしないため、変換による性能の低下が起きないと同社は説明している。こうして全体のメモリの使用量を約20GBに抑えた。

同社は発表の中で、研究者が飛行機の中で、機内モード(通信を切った状態)のMacBook Pro(M5 Pro、メモリ48GB)でこのモデルを動かし、数分で遊べる飛行シミュレーターのプログラムを作らせた動画を示した。1台のMacBookで、このモデルが小さな町に住む20人の住民役を同時に受け持ち、それぞれが1日の予定を立てたり、利用者の書き置きに返事をしたりする例も公開している。米スタンフォード大の研究室が事前に試した評価では、エヌビディアの「DGX Spark」(メモリ128GB)で動かしたときの、使ったエネルギーあたりの性能を示す値が0.703となった。「Qwen3.6-35B-A3B」の0.430や、「Gemma-4-26B-A4B」の0.159を上回ったという。

中間の層を3回通す「ループ」

ループ型の構造は、24層を6層ずつ4つの塊に分け、真ん中の2つの塊(12層)を3回通す。最初と最後の塊は1回だけ通る。保存している重みは24層分だが、1語あたり48層分の計算をすることになる。同社は、モデルの中ほどの層がより抽象的な推論を担い、最初と最後の層は言葉と内部の表現との変換に多くを使っているという考えに基づいて、この設計を選んだと説明する。実験では、中間の12層を繰り返した場合と最後の12層を繰り返した場合を比べ、28種類の評価のうち27種類で中間を繰り返した方が正答率の伸びが大きかった。

繰り返しの利点は、推論の段階で表れる。同社が縮小前の大きさで比べたところ、繰り返しの無いモデルは学習にかかる計算量が7.5%少なかったが、長い作業の記録に対して同じ水準の精度を出すには、推論の計算量が140%多く必要だった。

モデルを小さくする工程も踏んでいる。学習を始めた時点では384の専門家から8つを選ぶ構造だったが、途中で使われる頻度の高い128だけを残し、3分の2を削った。その後、社内のより大きなInklingモデルの出力を手本に1兆トークン分を学ばせ、削る前の性能を取り戻した。さらに、試行と評価を繰り返して性能を高める強化学習を、2000段階・計2.2兆トークン分行った。

1000億未満の公開モデルで「首位」と主張、弱点も明記

同社は、総パラメーター数が1000億未満の重み公開モデルの中で、Inkling 2 Miniがプログラミングの作業を自動でこなす性能の評価で首位だと主張している。主な数値は次の通りで、いずれも同社が公表したもの。評価の条件はモデルごとに異なると注記している。

評価 Inkling 2 Mini Qwen3.8-27B Gemma 4 31B
DeepSWE v1.1(プログラム修正) 48.2% 42.2% 0.3%
SWE-bench Verified(同) 79.2% 77.8% 46.1%
BrowseComp(ウェブ検索) 79.0% 61.6% 37.0%
MCP Atlas(外部ツールの利用) 82.7% 77.3% 54.2%
Inkling 2 Miniと同規模の公開モデルの評価結果出典: Thinking Machines Lab「Introducing Inkling 2 Mini」

比べた相手は、「Qwen3.8-27B」(パラメーター数270億)や「Gemma 4 31B」(同307億)など。総合的な指標「Vals Index」でも46.5%で、数値が示された比較相手の中で最も高かった。

一方、同社は弱点も明記している。何度もやりとりを重ねる対話や、多くの条件が付いた指示への対応では、Qwen3.8-27Bに及ばないとしている。評価「MultiChallenge」は50.0%、「ComplexConstraints」は33.4%だった。ただ、同じ発表の比較表では、ComplexConstraintsのQwen3.8-27Bの値は30.1%と示されている。ループで推論は深まるが、重みが覚えている知識の量は増えないとし、事実を答える力は同じ規模のモデルと同程度だという。同社は、検索や外部ツールを使うことで知識の不足を補えるとしている。モデルカードは、英語以外では出力の質が下がる可能性があると記し、中国語の試験では言い回しが途切れたり、言語が混ざったりしたと書いている。日本語での性能は示していない。

「考えを書かずに考える」と監視が難しくなるか

同社がこのモデルを公開した理由の一つに挙げるのが、ループ型のAIを外部の研究者に調べてもらうことだ。いまのAIの多くは、答えを出す前に考えの道筋を文章で書き出す(思考の連鎖)。人や別のAIがこの文章を読むことで、AIが何をしようとしているかを監視できる。ところがループ型は、文章に書き出す前に内部で多くの計算を進められるため、文字にならない推論が増えて監視が難しくなるとの懸念がある。

同社は検証のため、繰り返しの回数を1〜5回で変えられる研究用のモデル「TML-d24-varloop-research」も同時にHugging Faceで公開した。このモデルで、考えを書き出さずに答えられる作業の長さ(人がこなすのにかかる時間で表す)を測ると、1回のときの16秒から3回では37秒に延びた。考えの文章は短くなり、同じ科学の問題に正解したときの推論の長さは、1回のときの平均3703トークンから5回では1661トークンになった。ただ、1文あたりの語数(8.9語から8.7語)や、英語の辞書に載る語の割合(94.6%から94.4%)はほとんど変わらず、文章は読める状態を保っていたという。同社は、回数を増やすと迷って書き直す部分が減り、答えまでの道筋が直接的になったと説明している。

AIが監視を逃れようとして考えの文章を書き換えられるかを調べる試験では、750〜1250トークンの長さの文章で、指示どおりに書き換えられた割合は最大0.1%にとどまった。ソフトウエア開発の作業中に、AIが気づかれずに悪意のある別の作業をできるかを測る試験でも、繰り返しの回数との明確な関係は見られなかった。同社は、この規模では推論の監視のしやすさに意味のある低下は見られないと結論づけた。一方で、より大きなモデルや、さらに長く内部で考えられる構造では引き続き調べる必要があるとしている。重みが公開されたAIの能力を公的機関が測った例としては、重みが公開されたAI、攻撃コードの開発能力は「限定的」 IPAのAI安全機関が評価 16点満点の平均はGLM-5.2が2.80、Claude Opus 4.8は5.22がある。

調整サービスから始め、約4カ月で4つのモデル

シンキング・マシンズ・ラボは、ChatGPTやCharacter.ai、PyTorchなどの開発に携わった技術者らが集まったと自社のサイトで紹介している。発表の一覧で最も古いのは、2025年10月1日の「Tinker」の発表だ。利用者が自分のデータを用意すれば、既存のAIモデルを自分の用途に合わせて調整できるサービスで、全体の重みを書き換えずに小さな追加部品だけを学習させる「LoRA」という手法を使う。2025年12月12日に一般提供を始め、2026年3月10日には米エヌビディアとの長期の提携を発表した。

自社のモデルは2026年7月15日の「Inkling」が最初だ。総パラメーター数は9750億で、文章と画像、音声を扱える。同社は当時、最も強いモデルではないが、調整の土台として使いやすい重み公開モデルだと位置づけていた。7月30日には、より軽い「Inkling-Small」(総パラメーター数2760億)を公開した。11月5日には第2世代の「Inkling 2 Small」(総パラメーター数5940億)を発表した。発表時は重みを伏せ、外部の安全性試験を終えてからApache 2.0で公開するとしており、11月12日に重みを公開した。今回のMiniは、総パラメーター数で初代の約37分の1、2 Smallの約22分の1の大きさになる。

重みの公開をめぐっては、仏ミストラルAIも大型モデルを公開している(仏ミストラル、最大AI「Mistral Large 4」の重みを公開 1兆パラメーター、商用利用も可)。シンキング・マシンズ・ラボはMiniについて、手元のノートパソコンや卓上型のAI用コンピューターで動かせる大きさにしたと説明している。同社はモデルカードで、重要な判断や安全に関わる用途では人が出力を確かめることや、利用する側でも内容の絞り込みなどの安全対策を加えることを求めている。