Gemini 3.1 Pro、材料制約スコアが26.6点下落も総合ランキングは5.4点上昇

Gemini 3.1 Proは本日のSmoke評価において、材料制約スコアが90.90点から64.30点へと26.6点下落し、同時にタスク表現も85.00点から66.70点へと低下した。

データファクト

コード実行スコアは18.40点から50.00点へと上昇し、エンジニアリング判断は75.00点で変わらず、総合ランキング全体は51.03点から56.44点へと上昇し、誠実性評価はpassを維持した。

原因分析

Smoke評価は1日あたり各次元2問のみで、サンプル数が極めて少ないため、1問のスコア変化だけで次元スコアが大きく変動する可能性がある。材料制約とタスク表現が同時に低下したことは、本日抽出された材料忠実度に関する2問がモデルの出力境界に対してより高い要求を課し、モデルが制約条件を完全に満たせなかった可能性を示唆している。コード実行の大幅な回復は、残りの2問のコード問題の難易度が低かったか、モデルがこの種のタスクで安定したパフォーマンスを発揮したことを示しており、両者が重なって総合ランキングは依然として純増を実現した。

利用者への示唆

材料引用に強く依存するRAGシナリオや長文書リライトチームにとって、本日の結果はGemini 3.1 Proが少数サンプル下で顕著な出力のばらつきを生じる可能性があることを示しており、重要なフローに人手による検証工程を追加する必要がある。一方、コード生成を主な用途とする開発者にとって、本日のデータはむしろポジティブなシグナルを提供している。

戦略的判断

1日での材料制約の急落は、モデルの真の性能劣化ではなく、問題の抽選による変動である可能性が高い。総合ランキングが依然として上昇したという事実は、現時点ではコード実行の上昇幅が材料制約の損失を上回っていることを示している。次回のSmoke評価で材料制約が80点以上に回復するかどうかを引き続き追跡し、2日連続で70点を下回った場合にモデルの一貫性の問題を検討することを推奨する。

データソース：YZ Index | Run #237 | 生データを見る