東京のAI企業サカナAI（Sakana AI）は9月18日、社内で育ってきた研究集団「Frontier Intelligence Group（FIG、フロンティア知能グループ）」の存在を公式ブログで明らかにした。今の生成AIの主流となっている作り方とは別の道を探すための集団で、同社は「知能はまだ解決されていない」という立場から出発すると説明している。

「大きくすれば届く」への疑問

現在の生成AIのほぼすべては、Transformer（トランスフォーマー）と呼ばれる仕組みを土台にしている。文章のどの部分に注目すべきかを自動で見つける設計で、これに大量の文章と計算資源を注ぎ込んで規模を大きくしていけば性能が伸びる、という経験則がこの数年の開発を支えてきた。

その路線だけで人間並みの汎用的な知能に届くのか。同社の最高技術責任者（CTO）でTransformerの発明者の一人であるライオン・ジョーンズ氏は、「Transformer対ポストTransformer」と題した討論でこの問いを投げかけていた。発表文はジョーンズ氏の問題提起を引いたうえで、「やるべきことはまだある」と書いている。

同社が挙げる今のAIの弱点は3つだ。誤った情報を自信たっぷりに述べること、本当に見たことのない状況に置かれると大きく崩れること、そして動かすのに膨大な電力を要すること。いずれも現在の枠組みの中で直そうとする研究者が多いが、枠組みそのものを疑ってみるべきだ、というのがFIGの出発点になっている。

比較の対象に置いているのが生物の知能だ。生き物は学び続け、はるかに少ない経験から応用が利き、誰にも指示されずに好奇心で探索する。人工ニューラルネットワークは「人工のニューロン（神経細胞）」を名乗りながら、その構造も更新のしかたも脳の理解とはかけ離れている。この隔たりが何かを示しているのではないか、と発表文は述べている。

掲げたのは「失敗する自由」

FIGは5つの原則を掲げている。筆頭が研究の自由で、同社はそこに「何より大切なのは失敗する自由だ」と付け加えた。指標の数字を押し上げる圧力から研究者を解放する、という意味合いだ。

2つ目は独自性で、「自分がやらなければ生まれなかったはずの研究に取り組むべきだ」という考え方を置く。流行を追う業界では、同じ着想を先に論文にされる心配がつきまとうが、独自性はそれを避ける盾になるという。3つ目の「偉大さは計画できない」には、液晶がニンジンに含まれるコレステロール誘導体を調べていた植物学者によって偶然見つかった例を添えている。残る2つは、自然から発想を得ることと、指標の改善ではなく知能そのものを理解することだ。

1000層の訓練、エヌビディアと省電力化

発表では、FIGに属する研究者から生まれた成果5件を挙げた。

学習方法に踏み込んだのが「Augmented Lagrangian Predictive Coding」だ。今のAIの訓練に使われる誤差逆伝播（バックプロパゲーション。出力の誤差を層ごとに逆向きにたどって重みを直す方法）は、脳では起こりえない。神経科学が長く提案してきた「予測符号化」は深いネットワークの訓練が苦手だったが、同社は新しい変種によって最大1000層のニューラルネットワークを訓練できたとしている。

米エヌビディアとの共同研究では、脳と同じく必要な部分だけを働かせる「スパース（疎）」な計算に取り組んだ。今のGPU（画像処理半導体）は全体をびっしり動かす計算向けに作られているため、疎な計算は速くならない。そこで新しいデータ形式とGPU用のプログラムを開発し、10億パラメータ規模の言語モデルで速度・メモリ・消費電力の改善を示した。

このほか、生物のニューロンの時間的なふるまいを取り戻す「Continuous Thought Machines」、画像も扱えるAIと人間の創造性を比べた実験、局所的なやり取りだけで自分が椅子か机かを判断し損傷から組み直す物理的なブロック、の3件を並べた。画像も扱えるAIとの比較では、出力の質と多様性は工夫で上げられた一方、「独創的な回り道」では人間に及ばなかったと率直に書いている。

同社はFIGについて「創業初期の研究者2人の週1回の雑談から始まった」と記した。あわせて採用募集を告知し、神経科学と機械学習の境界にいるような分野横断の研究者を特に歓迎するとしている。