Gemini 3.1 Proは本日のSmoke評価において、材料制約スコアが90.40点から72.60点へと17.8点下落し、総合ランキングは81.93点から75.90点に低下した。
各次元のスコア変化
コード実行は75.00点から78.60点へと3.6点上昇。エンジニアリング判断は88.90点から100.00点へと11.1点上昇。タスク表現は100.00点から75.00点へと25点下落。誠実性評価はpassを維持した。
材料制約スコア下落の分析
材料制約次元が今回17.8点下落したことが、総合ランキング低下の主な要因となっている。Smoke評価では1日あたり同次元から2問のみが抽出されるため、1問ごとのスコア変動が次元合計点に直接増幅されて反映される。2問のテストにおける17.8点の下落は、1問あたりの平均失点が大幅に増加したことを意味する。
一方、コード実行は同期間に3.6点上昇しており、実行系問題におけるモデルのパフォーマンスに系統的な劣化は見られない。エンジニアリング判断が満点100.00点を記録したことも、判断系タスクにおいて高い水準を維持していることを示している。
タスク表現も同時に下落
タスク表現次元は25点下落し、材料制約と並んで大きな変動となった。二つのサブ次元が同時に大幅な後退を示したことから、今回の抽選問題が、材料への厳密な準拠や正確な表現が求められるタスクタイプに集中した可能性がある。
変動要因の判断
Smoke評価は1日あたり10問・次元ごとに2問という構成であり、抽選のランダム性によって単日スコアの標準偏差が大きくなりやすい。材料制約の17.8点下落とタスク表現の25点下落はいずれも、今回抽選された問題が材料への忠実度や表現の正確性をより高度に要求するものであったことに起因する可能性が高く、モデル能力の恒久的な劣化とは考えにくい。
真の劣化であれば、通常はコード実行次元も同時に下落するはずだが、今回はむしろ3.6点上昇しており、抽選問題の変動によるものとみる方が妥当である。
ユーザーへの示唆
契約審査・ナレッジベース問答・長文書要約など、材料制約シナリオへの依存度が高い企業は、次回のSmoke評価結果が出るまでGemini 3.1 Proを第一候補とすることを一時的に見合わせることを推奨する。
コード実行タスクを主とする開発チームは引き続き利用して差し支えない。同次元のスコアは下落するどころか上昇しており、実行能力の安定性が示されている。
戦略的判断
今回の総合ランキング6点下落は主として材料制約の単一次元によって引き起こされたものであり、コード実行とエンジニアリング判断がいずれも悪化していないことを踏まえると、Gemini 3.1 Proの総合的な能力が系統的に過大評価または過小評価されているとは言えない。次回のSmoke評価で材料制約が85点以上に回復すれば今回が抽選変動であったと確認できる。75点を下回り続ける場合は、複数日にわたる継続的な追跡調査が必要となる。
エンジニアリング判断が100点に上昇する一方でタスク表現が75点に下落したという対比は、サブ次元間の相関が低いことを示しており、モデル選定にあたっては各サブ次元のスコアを個別に評価する必要がある。
データソース：YZ Index | Run #240 | 生データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接