Gemini 3.1 Pro、コード実行スコアが27.2点急落――総合ランキングも6.5点下落

Gemini 3.1 Proは本日のSmokeベンチマークにおいて、コード実行スコアが昨日の91.70点から64.50点へと直接低下し、下落幅は27.2点に達した。総合スコアも82.39点から75.89点へと後退した。

スコア変動の詳細データ

昨日から本日にかけての具体的な比較では、コード実行の評価軸で最大の変動が生じた一方、素材制約の評価軸は71.00点から18.8点上昇して89.80点となった。エンジニアリング判断の評価軸は100.00点を維持し、タスク表現の評価軸は8.3点小幅上昇して60.00点となった。誠実性評価は引き続き「pass」だった。

変動要因の分析

Smokeベンチマークは1日あたり10問のみで、2問が1つの評価軸に対応しているため、当日の出題内容の差異によってスコアが大きく揺れやすい。今回のコード実行スコアの急落は、本日抽出された2問がコードの正確性や実行効率に対してより高い要求水準を持つ問題であり、モデルがそれらの具体的なタスクで期待通りの出力を示せなかったことが最も有力な原因として考えられる。一方で素材制約の評価軸が同時に大幅に上昇していることは、本日の問題において与えられた素材への忠実度が高く評価されたことを示している。この2つの評価軸の逆方向の変化は、モデル全体の能力低下ではなく、出題サンプリングによるランダム性に起因すると考えられる。

コード実行 91.70→64.50、素材制約 71.00→89.80――このようなヘッジ的な変動は、小規模サンプルによる速報ベンチマークでは一般的に見られる現象である。

モデルに真の性能劣化が生じた場合は、通常、複数の評価軸が同時に低下する。今回はエンジニアリング判断が満点を維持し、タスク表現もむしろ上昇していることから、出題変動による説明がより妥当と判断される。

利用者への具体的な意味

コード生成やデバッグを多用するチームは、Gemini 3.1 Proのコード実行評価軸が1日で27点以上変動し得ることに留意する必要がある。これは、同種のプログラミングタスクが日によって大きく異なる結果をもたらす可能性を意味する。一方、素材制約の評価軸が上昇したことは、入力ドキュメントや指示の厳密な遵守が求められるシナリオではこのモデルが引き続き高いパフォーマンスを発揮することを示しており、文書要約やコンプライアンスチェックなどのタスクに適している。

開発者にとっては、単一のSmokeベンチマーク結果を根拠に本番環境のモデル選択を即座に変更することは推奨されない。連続した複数日にわたる同種タスクのスコア分布を観察し、偶発的な変動かどうかを判断すべきである。

戦略的評価

今回のスコア比較を踏まえると、Gemini 3.1 Proのコード実行評価軸における高い変動性は次回以降も継続して追跡する価値があるが、現時点の根拠だけではモデルの能力が系統的に低下したとは判断できない。素材制約の評価軸の顕著な上昇が総合スコアの後退を一部相殺している面もあり、次回の評価ではコード実行問題の難易度分布に重点的に注目することを推奨する。コード実行スコアが2日連続で70点を下回った場合に、より深い安定性テストの実施を検討すればよい。

エンジニアリング判断の評価軸が引き続き満点を維持していることは、モデルがエンジニアリング上の意思決定に関する問題において依然として高い水準を保っていることを示しており、この領域の能力は今回の変動の影響を受けていない。全体として、総合スコア6.5点の後退はコード実行という単一の評価軸によって主に引き起こされたものであり、他の中核的な能力では同時の悪化は見られていない。

データソース：YZ Index | Run #378 | 生データを見る