Grok 4、メインランキングが1日で17.2点急落――素材制約スコアは24.8点崩壊

Grok 4は本日のSmoke評価において、メインランキングスコアが83.51点から66.35点へと低下し、下落幅は17.2点に達した。

主要データの比較

コード実行ディメンションは昨日の88.50点から77.60点へと10.9点低下、素材制約ディメンションは77.40点から52.60点へと24.8点低下した。エンジニアリング判断は42.80点から56.00点へ上昇、タスク表現は93.80点から95.00点へ上昇した。誠実性評価はpassからwarnへと変化した。

下落要因の分析

メインランキングはコード実行と素材制約の加重合計のみで構成されており、素材制約の単日24.8点下落がメインランキングを約12.4点押し下げ、コード実行の下落が約5.45点分寄与した。両者を合わせると今回の17.2点下落のほぼ全体を説明できる。エンジニアリング判断とタスク表現のわずかな上昇はメインランキングの損失を相殺するには至らなかった。

今回の下落は設問の抽選変動に起因する可能性が最も高い。Smoke評価では1日に出題される問題はわずか10問であり、素材制約ディメンションはそのうち2問のみであるため、1問の失敗だけで20点以上の変動が生じうる。モデルの真の性能劣化は通常、複数ディメンションの同時下落を伴うが、今回はエンジニアリング判断とタスク表現がむしろ上昇しており、問題の難易度やテーマ分布の変化による可能性の方が高いと考えられる。

利用者への具体的な影響

素材制約に強く依存するシナリオ(長文書の忠実な書き換え、引用確認、厳格なフォーマット出力など)では、失敗リスクが高まる。コード実行シナリオの安定性も低下しており、コード実行を重視するチームは人手によるレビュー工程を追加する必要がある。エンジニアリング判断とタスク表現は依然として中〜高水準を維持しており、クリエイティブな表現や判断系タスクを必要とする開発者への影響は比較的小さい。

戦略的見解

誠実性評価がwarnへ転じたことは、今回の評価において即座に注目すべき唯一のシグナルである。この評価変化は一般的に一貫性や境界的な挙動と関連するため、次回のSmoke評価でこのディメンションが継続するかどうかを重点的に追跡することを推奨する。メインランキングの17.2点下落は単日抽選の枠組みにおいては説明可能な範囲内にあるが、素材制約の52.60点という絶対値はすでに低水準領域に入っており、偶発的な変動かどうかを確認するため次回以降の観察が必要だ。

総合的に見ると、Grok 4の今回のパフォーマンスは体系的な性能劣化よりも抽選変動に近いと判断されるが、誠実性評価の変化と素材制約の絶対的な低スコアが二重の警告を構成しており、利用者は素材の忠実性が重要なシナリオでの大規模展開を一時控えるべきである。


データ出典:YZ Index | Run #439 | 元データを見る