米OpenAIは11月20日(米国時間)、新薬の候補となる化合物について、AIがどこまで正しく考えられるかを測る評価基準(ベンチマーク)「MedChemBench(メドケムベンチ)」を公表した。公表済みの論文や特許から99問を作り、分子構造の読み取り、実験結果の説明、次に試す化合物の選択、性質の数値予測を採点する。同社が17日に公開した最上位モデル「GPT-6.2 Astra(アストラ)」は、推論の度合いを2番目に高い「xhigh」にした条件で配点の84.5%を得た。一方で、化合物を選ぶ問いと数値を当てる問いは5割前後にとどまり、同社は「モデルが新薬を見つけられるか、実験の判断を良くできるかは、この結果からは言えない」としている。

薬の候補選びの「途中」を切り出して出題

MedChemBenchが対象にするのは、医薬品化学(メディシナルケミストリー)と呼ばれる分野だ。論文によると、医薬品化学は治療薬にするための化合物を設計し、合成し、性質を改良していく学問で、生物学や計算科学、医学にまたがる。新薬の開発で今も大きな関門になっている工程だと論文は位置づける。

この分野の難しさについて、発表文は「分子のある性質を良くすると、別の性質が悪くなることがある」と説明する。病気に関わるたんぱく質には強く作用しても、体に吸収されにくかったり、すぐに分解されたりする化合物がある。研究者は似た化合物を設計し、作り、試すことを繰り返しながら、次にどれを試すかを決めていく。AIがこの仕事を手伝うには、分子の形の変化と実験の結果を結び付けて考える必要がある。

問題は、最近公表された論文と特許117件から作った。登場する分子構造は761種類にのぼる。各問では、研究がある段階まで進んだ時点を選び、狙う標的、研究者の目標、それまでに調べた化合物、選んだ実験結果をAIに渡す。その後に論文で明らかになった結果は伏せ、正解と採点の基準に使う。過去の研究を「途中から」なぞらせ、AIが研究者と同じ判断にたどり着けるかを見る仕組みだ。

99問の内訳は次のとおり。半数近くは、複数の候補のうちどの分子を次の段階に進めるかを問う。

問いの種類 問数 問われること
総合的な候補選び 48 どの分子を次の段階に進めるか
構造の変化の予測 26 分子の一部を変えると性質がどう変わるか
吸収・代謝 8 分子が作用する場所に届き、とどまるか
分子の設計 6 設計の条件を満たす構造はどれか
安全性 4 どんな害が考えられ、それを減らせるか
合成経路の逆算 4 目的の分子をどう合成するか
試験の仕組み 3 試験が何を測り、どちらの値が望ましいか
MedChemBench の99問の内訳出典: OpenAI「MedChemBench: Evaluating complex multimodal reasoning in medicinal chemistry」

採点は4項目、数値はずれの幅で部分点

採点は4つの項目に分かれる。発表文によると、▽図や部品から組み立てた分子の原子のつながりと立体配置が正しいか(分子構造)▽渡された証拠に基づいて説明できているか(科学的な説明)▽条件に合うように化合物を並べ、選べているか(順位付けと選択)▽論文に載った測定値や分類と合っているか(数値の予測)――を見る。

論文によると、99問を平均した配点の割合は、分子構造が37.49%、科学的な説明が35.78%、順位付けと選択が17.51%、数値の予測が8.92%で、残る0.30%は形式の確認に充てる。数値の予測は、ぴったり当てれば満点、実際の値の2倍か半分の値を答えると半分の点になる。1つの問いにどれだけ細かい採点項目があっても、各問の重みは同じにそろえる。

発表文は、出題の例として、がんの治療薬の研究で調べられているたんぱく質「PRMT5」を妨げる化合物の問いを挙げる。AIは分子構造とそれまでの実験結果を受け取り、似た3つの化合物について、細胞内でPRMT5をどれだけ強く妨げるか、細胞の膜をどれだけ通りやすいか、肝臓の酵素でどれだけ速く分解されるかを予測する。伏せられていた後の実験では、化合物23はより低い濃度でPRMT5を妨げ、化合物24は膜を通りやすく、分解も遅かった。一方を良くすれば他方が劣るという、この分野の典型的な問題をAIに解かせる形になっている。

最新モデルは84.5%、前の世代は6割弱

論文では、OpenAIの11のモデルを、推論にかける手間の設定ごとに試した。モデルと設定の組み合わせは61通りで、1つの組み合わせにつき各問10回ずつ答えさせ、回答の総数は6万390件になった。

11のモデルすべてで試した「xhigh」の設定で比べると、発表文と論文が示す得点は次のとおりだ。

MedChemBench の得点(推論の設定「xhigh」)(%)

GPT-6.2 Astra84.50GPT-6 Astra83.33GPT-6.1 Sol82.00GPT-6.1 Terra75.10GPT-5.6 Sol58.23GPT-6 Luna35.02
出典: OpenAI の MedChemBench の発表文(GPT-6.2 Astra・GPT-6.1 Sol・GPT-6.1 Terra)、論文(GPT-6 Astra・GPT-5.6 Sol・GPT-6 Luna)
数値で見る(単位: %)
項目%
GPT-6.2 Astra84.50
GPT-6 Astra83.33
GPT-6.1 Sol82.00
GPT-6.1 Terra75.10
GPT-5.6 Sol58.23
GPT-6 Luna35.02

最も高いのは、17日に公開したGPT-6.2 Astra(「OpenAI、新AI「GPT-6.2 Astra」「Sol」をAPIで公開 最上位は料金2割下げ」)の84.5%で、前の最上位モデル「GPT-6 Astra」の83.3%を上回った。GPT-6.2 Astraは11月9日付の論文には含まれず、発表文で数字を加えた。前の世代で最も高い「GPT-5.6 Sol」は58.23%、最も低い「GPT-6 Luna」は35.02%だった。

推論の手間を増やすと得点は上がった。論文によると、11のモデルすべてで、最も低い設定より最大の設定の方が平均の得点が高く、GPT-5.6 Solは推論を使わない「none」の37.37%から、最大の設定で59.77%になった。手間を最大にした条件では、GPT-6 Astraの83.83%が最も高かった。ただし設定を上げても、モデルの間の差は大きいまま残ったという。

分子の組み立てで大差、選択と予測は5割前後

項目別に見ると、モデルの差が最も大きく開いたのは分子構造だった。xhighの設定で、GPT-6 Astraは分子構造の配点の95.37%を得たのに対し、GPT-5.6 Solは47.31%、GPT-6 Lunaは12.42%にとどまった。

発表文は、中心の骨格に2つの部品を取り付け、原子18個でできた環を保ったまま1つの分子を組み立てる問いを紹介している。GPT-6 Astraは10回とも正しく組み立てたが、GPT-5.6 Solと「GPT-5.6 Luna」は10回とも誤った。GPT-5.6 Solは原子15個の環を作り、GPT-5.6 Lunaは分子を2つの断片に分けてしまった。発表文は「こうした誤りは、分析している分子そのものを別物に変えてしまう」と指摘する。性質を論じる前に、分子を正しく表せるかが土台になるためだ。

一方、化合物の順位付けと選択、数値の予測では、どのモデルも伸び悩んだ。論文によると、11のモデルの得点の幅は、順位付けと選択が43.58〜52.78%、数値の予測が37.69〜47.02%と狭い。GPT-6 Astraも順位付けと選択は50.42%、数値の予測は47.02%で、分子構造(95.37%)や科学的な説明(91.05%)との差は大きい。発表文は「予測と化合物の選択には大きな改善の余地がある」としている。

「新薬を見つけられるかは示していない」

OpenAIは発表文で、結果の限界を3つ挙げた。▽問題の元になった論文や特許を、モデルが学習の段階で読んでいた可能性を否定できない▽回答は道具を使わず、途中の手がかりや新たな実験も無い1回きりのもの▽評価は過去の研究に基づく推論を測るもので、実際の新薬開発そのものではない――という点だ。

論文はさらに、この評価基準が「今の形では上限に近づいている」と書く。GPT-6 Astraが最大の設定で83.83%を得たため、モデルの差を見分け続けるには、より難しい版が必要になるという。設計や合成の自由回答の問いでは、論文に書かれた答えと違うが同じように成り立つ設計が減点される恐れもあり、独立した医薬品化学の専門家による評価との突き合わせが必要だとした。数値の予測の多くは、過去の1つの研究の測定値と合うかを見るもので、その結果がどこまで一般に当てはまるかにも限りがあると認めている。

AIの開発各社は、創薬の現場での利用にも手を広げている。競合のアンソロピックは、新薬を開発する6つの組織と共同研究を進め、その途中経過を公表した(「アンソロピック、Claudeによる創薬研究の途中経過を公表 6社と共同研究、筋ジストロフィー薬は自社で開発」)。OpenAIは、モデルの進歩に合わせてMedChemBenchの結果を更新していくとしている。