Gemini 3.1 Pro、材料制約スコアが16.7点急落——コード実行は27点上昇

Gemini 3.1 ProはSmoke評価の本日テストにおいて、メインスコアが昨日の83.50点から90.84点へ上昇したが、材料制約ディメンションは100.00点から83.30点へ16.7点下落し、コード実行ディメンションは70.00点から97.00点へ27点上昇した。

データの事実：メインスコアと各ディメンションの比較

昨日はコード実行70.00点・材料制約100.00点であったのに対し、本日はコード実行97.00点・材料制約83.30点となった。メインスコアはコード実行と材料制約の2つのコアディメンションで構成されており、本日の90.84点は昨日比7.3点の上昇となる。エンジニアリング判断は100.00点から75.00点へ、タスク表現は66.70点から51.70点へそれぞれ低下し、誠実性評価はpassを維持した。

原因分析：設問の抽選変動が最も有力な説明

Smoke評価は1日わずか10問、各ディメンション2問の構成となっている。材料制約が1日で16.7点下落し、コード実行が1日で27点上昇したことは、いずれも通常の変動幅を超えている。エンジニアリング判断とタスク表現が同時に低下していることから、当日の設問が厳格な材料引用とタスク記述を求めるシナリオに集中していた可能性が示唆される。複数日にわたる継続データによるモデルの真の性能低下を裏付けるものはなく、最も有力な原因は設問抽選のランダム性であり、モデル能力の構造的な低下ではないと判断される。

コード実行97.00点 vs 材料制約83.30点——同一モデルが同日に27点のプラスと16.7点のマイナスという対照的な結果を示したことは、モデルのパラメータ変化ではなく設問内容に起因することを示している。

利用者への示唆

コード実行を重視するチームにとっては、本日のスコアはより高い信頼度を示している。一方、材料の忠実性に依存するシナリオでは、追加の人的検証が必要となる。企業がモデルを選定する際、Gemini 3.1 Proを用いて引用要件のある文書を日常的に処理しているなら、1日の材料制約スコア83.30点は二次検証プロセスの追加を示唆している。RAGパイプラインを構築する開発者は、当日の出力をそのまま使用するのではなく、材料制約の変動に備えたバッファを設けるべきである。

戦略的判断：メインスコアの上昇が局所的な変動を覆い隠す

メインスコア90.84点は昨日を上回り、コア能力の平均値は依然として上昇傾向にある。材料制約の1日の下落は全体的なランキング上の優位性を変えるものではないが、小サンプルテストにおけるディメンション不安定性を露呈している。次回の評価で材料制約が引き続き90点を下回るようであれば、性能低下の区間に入っているかどうかを検証する必要がある。現時点では単日データのみであり、優先度を引き下げる根拠にはならない。

総合すると、Gemini 3.1 Proの本日のパフォーマンスは設問の抽選に左右されたものであり、メインスコアが7.3点上昇したという事実は、単一ディメンションの16.7点下落より重視されるべきである。選定チームは材料制約の3日間連続平均値を引き続き観察した上で、使用戦略の調整要否を判断することを推奨する。

データソース：YZ Index | Run #391 | 生データを見る