米エヌビディアは1日、台北で開いた技術会議「GTC」で、ロボットや自動運転などの「フィジカル（物理）AI」向けの基盤モデル「Cosmos 3」を発表した。映像の理解から、仮想空間のシミュレーション、ロボットの動作予測までを一つのモデルで担う。モデルは無償で公開する。

Cosmos 3とは

エヌビディアによると、Cosmos 3は、テキストや画像、動画、環境音、動作をまとめて扱える「オープンな世界基盤モデル」だ。映像を見て推論し、物理的な環境の様子をシミュレーションして先を予測し、ロボットが行動を学ぶための指針を作り出す。これらを単一のモデルで行えるとしている。

用途と入手方法

想定する分野は、ロボティクスや自動運転、工場などで使う映像AIだ。ロボットや自動車関連の企業が活用するという。モデルの重み（データ）は無償で公開し、同社のサイトやHugging Face、GitHubから入手できる。「Super」「Nano」は提供済みで、「Edge」は近日公開予定としている。

企業連合も立ち上げ

エヌビディアは同時に、フィジカルAIの開発で協力する企業連合「Cosmos Coalition」を立ち上げた。ロボット開発のAgile Roboticsや、画像生成のBlack Forest Labs、動画生成のRunwayなどが参加する。