Gemini 3.1 Pro、材料制約スコアが15.3点下落——コード実行は満点100点を達成

Gemini 3.1 Proは本日のSmokeテスト評価において、材料制約スコアが88.10点から72.80点へと15.3点下落した。一方、コード実行スコアは54.50点から100.00点へ上昇し、メインランキングスコアは69.62点から87.76点へ上昇した。

データの事実：各次元スコアの比較

コード実行次元は本日100.00点の満点を達成し、前日比45.5点増となった。材料制約次元は72.80点へ低下し、前日比15.3点減。エンジニアリング判断次元は75.00点で変動なし。タスク表現次元は81.70点へ上昇し、6.7点増加した。これによりメインランキングスコアは18.1点上昇して87.76点に達した。誠実性評価は「pass」を維持した。

要因分析：サンプリングの変動かモデルの劣化か

Smokeテストは1日あたりわずか10問、各次元2問という構成であり、1問の得点が次元合計スコアに与える影響は非常に大きい。コード実行次元が54.50点から一気に満点へ上昇したことは、本日抽出された2問がモデルの得意領域に合致した可能性を示している。材料制約次元の15.3点下落については、材料の制限を厳密に遵守することが求められる問題が抽出され、モデルに逸脱が生じた可能性がある。エンジニアリング判断とタスク表現の変化が小さかったことから、これら2次元の問題は比較的安定していたと考えられる。

メインランキングスコアが大幅に上昇した主な要因は、コード実行の満点取得によるものだ。材料制約の下落は全体的な上昇を相殺するには至らず、今回の変動はモデルの実際の能力低下ではなく、問題の抽選によるランダムな変動である可能性が高い。単日のデータのみでは継続的な劣化を証明するには不十分である。

利用者への示唆

コード実行を重視するチームは、本日のデータに基づいてより高い確信を持てる。Gemini 3.1 Proはこの次元で満点を達成した。一方、材料への忠実性に依存するシーンでは追加の出力検証が必要であり、72.80点はモデルが一部の問題において与えられた材料から逸脱する可能性を意味する。エンジニアリング判断は75.00点を維持しており、エンジニアリング的意思決定が必要な開発者への影響は限定的だ。タスク表現は81.70点へ上昇し、明確なタスク記述が求められるシーンに適している。

企業がモデル選定を行う際には、複数日のデータを総合的に参照すべきであり、単日の材料制約スコア下落を直ちに除外理由とすることは適切ではない。ただし、材料制約に敏感なチームは、本番環境のワークフローに人的レビューの工程を追加する必要がある。

戦略的判断

本日のスコア比較に基づくと、Gemini 3.1 Proのメインランキングスコア上昇の主因はコード実行次元の満点取得であり、材料制約の下落はサンプリングの変動によるものである可能性が高い。モデルの劣化と即断する必要はないが、次回の評価でも材料制約が引き続き80点を下回る場合は、システム的な問題が発生していないか検証する必要がある。現在のデータは、優先度を下げるよりも引き続き観察を継続することを支持している。

全体として、Gemini 3.1 Proはコード実行次元での満点取得が材料制約の損失を相殺し、メインランキングスコアはなお18.1点の純増を実現した。利用者は自身のシーンにおける各次元の重み付けに応じて、利用戦略を調整するか否かを判断できる。

データソース：YZ Index | Run #382 | 生データを見る