OpenAI、BioBasicsBenchを発表:GPT-6 AstraがウェットラボNタスク100項目で66.7%を獲得するも、菌落カウントでは誤りも

2026年11月6日、OpenAIは酵素設計企業Ligoと共同で、100項目のウェットラボ日常タスクを網羅するAI評価ベンチマーク「BioBasicsBench」を正式に発表した。7つのモデルが評価に参加し、GPT-6 Astraは最高推論設定(xhigh)において平均部分スコア66.7%を獲得し、参加モデル中最高となった。一方、最低スコアのGPT-5.2は31.2%にとどまり、両者の差は2倍以上に達した。これは現在公開されているものとしては最大規模かつ実際のラボ環境に最も近い生物科学AI評価の一つである。

このベンチマークの中核的な設計方針は、主流の学術型科学ベンチマークとは明確に一線を画している。既存の生物学評価の多くは、整理された論文の補足図、教科書の挿絵、あるいは答えが既知の選択式問題に依拠しているが、BioBasicsBenchが使用するのはラボの科学者が自らの実験から得た生の証拠である。具体的には、ゲルおよびブロット画像、培養プレートの写真、顕微鏡スタック画像、シーケンシングリード結果、プレートリーダーの出力ファイル、そして実際のベンチ操作の動画クリップが含まれる。

5つの領域、3段階の審査、19問の「判断不能」問題

BioBasicsBenchは100項目のタスクを5つの領域に分類している。タンパク質手法(25問)、イメージングおよび細胞計測(23問)、定量・アッセイ(19問)、核酸手法(17問)、分子クローニング(16問)である。各問題はLigoの科学者が自身の実験データに基づいて作成し、専門家が執筆した採点基準を備えており、3段階の審査を経ている。まず問題作成に関与していないLigo内部の科学者が一次審査を行い、次に現役ラボのウェットラボ博士研究員が外部審査を実施し、最後に内部での最終審査が行われる。複数の独立した情報源の分析によれば、OpenAIが報告したモデルスコアは、外部の第三者による独立した再現検証を経ていない。

採点は部分点制を採用しており、結論は正解でも定量値に誤りがある場合と、結論も数値も両方誤っている場合とでは、得点が異なる。また、100問中19問は、「証拠が不十分で判断を下せない」状況をモデルが認識できるかどうかを専門的に評価するものとなっている。

7モデルの階層的な結果

xhigh推論設定下において、7つのモデルの平均部分スコアは以下のとおりである(出典:OpenAI、2026年11月6日):

  • GPT-6 Astra:66.7%(95%信頼区間 60.3〜73.1%)、タスクあたり4,704トークン出力
  • GPT-6.1 Sol:62.0%(55.6〜68.4%)、タスクあたり5,238トークン
  • GPT-5.6 Sol:43.8%(37.6〜50.0%)、タスクあたり9,099トークン
  • GPT-6 Luna:38.3%(32.3〜44.5%)、タスクあたり13,120トークン
  • GPT-5.5:35.4%(29.7〜41.0%)、タスクあたり11,135トークン
  • GPT-5.4:33.2%(28.3〜38.4%)、タスクあたり13,717トークン
  • GPT-5.2:31.2%(26.2〜36.3%)、タスクあたり27,620トークン

GPT-5.6 Solの43.8%からGPT-6 Astraの66.7%への向上幅は約23パーセントポイントであり、テストシーケンス全体で最大の世代間跳躍となった。一方、GPT-5シリーズ内部でのGPT-5.2からGPT-5.6 Solへの向上幅は約12パーセントポイントにとどまる。これはGPT-6アーキテクチャが画像推論能力において構造的な向上をもたらしたことを示しており、単なるパラメータ数の線形拡張ではないことを意味する。

GPT-6 Astraのタスクあたりのトークン出力は4,704であるのに対し、GPT-5.4とGPT-5.2はそれぞれ13,717および27,620トークンを消費した。後者は前者の約6倍に達するにもかかわらず、スコアは33.2%および31.2%にとどまっている。複数の独立した分析によれば、OpenAIはGPT-6 Astraのトークン効率を、より優れたネイティブ画像読み取り能力に帰因させている。すなわち、このモデルは画像から直接情報を抽出できるため、視覚的理解のギャップを埋めるために大量のテキスト推論を要しないとされる。

GPT-6 Astraの正解と誤りの所在

複数の独立した分析は、OpenAIが発表レポートで開示した具体的な事例を示している。成功事例として、GPT-6 Astraは誤った抗生物質とラベルされた対照培養プレートを識別し、また別のモデル(Sol)が重複した蛍光チャンネルを死細胞と誤判定した誤りを発見した。

しかし同一のテストにおいて、GPT-6 Astraはクローニングゲルタスクで誤った菌落を選択し、ある培養プレートの菌落数を約12%過剰計上した。

OpenAIは発表レポートの中で明確に記している。「ベンチマークスコアが高いことは、現時点ではラボ内でモデルが信頼性のある判断を下せることを意味しない。」

このベンチマークを必要としているのは誰か、どのような空白を埋めるのか

ライフサイエンス企業の調達チームおよび研究開発チームにとって、BioBasicsBenchはこれまで存在しなかった参照基準を提供する。これ以前は、AIベンダーがラボユーザーに対して示してきたのは主に汎用的な大規模モデルのベンチマーク(MMLUの生物学サブセットやGPQAなど)であり、これらの評価シナリオは実際のラボ操作とはかなりかけ離れていた。

AI開発チームにとって、このベンチマークは具体的な技術的方向性を示している。ウェットラボタスクにおいては、トークン効率と画像推論能力の相関が、モデルのパラメータ数よりも実際のパフォーマンスをより正確に予測するということだ。GPT-5シリーズの中で、GPT-5.2はGPT-6 Astraの約6倍のトークンを消費しながら、スコアは後者の半分にも満たない。

競争環境という観点では、このベンチマークの発表はOpenAIがライフサイエンスAI分野における議論の座標を設定したことに等しい。Google DeepMindのAlphaFoldシリーズはタンパク質構造予測における優位性で広く知られているが、タンパク質構造予測は入出力フォーマットが高度に標準化された比較的閉じたタスクである。これに対してBioBasicsBenchが測定するのは、ラボの日常業務における非構造化証拠の解釈能力である。現在公開されているデータの中に、Google、Anthropic、その他の主要AI企業のBioBasicsBenchにおけるテスト結果は存在しない。

開発者および企業ユーザーに向けた実行可能な結論

ラボのワークフローにAIエージェントの導入を計画しているチームに対し、このベンチマークはいくつかの具体的な出発点を提供している。まず、BioBasicsBenchには19問の「証拠不十分」識別問題が含まれており、この種の能力は実際の運用において最も警戒すべきシナリオに直結する。モデル選定テストにおいては、総合スコアよりもこの種のタスクで候補モデルを評価することの方が価値が高い。次に、タスク領域別のスコア分布は現時点では完全には公開されていない(総スコアと信頼区間は既知だが、領域別の内訳はまだ公開されていない)。調達判断においては、平均スコアだけを見るのではなく、自社の業務領域(イメージングや核酸など)に対応する個別スコアをベンダーに要求すべきである。第三に、トークン消費データはBioBasicsBenchにおいて公開されており、トークン消費量が多いことはしばしばモデルの視覚的理解の不足を示している。