Grok 4のコード実行スコアが15.8点急落、メインランキングは1.1点減にとどまる

Grok 4は本日のSmoke評価テストにおいて、コード実行スコアが94.00点から78.20点へと15.8点下落し、資料制約スコアは71.40点から88.30点へと16.9点上昇した。メインランキングのスコアは83.83点から82.75点へと、わずか1.1点の下落にとどまった。

データ概況：メインランキングとサブランキングの乖離した動向

今回のSmoke評価テストは全10問のみで構成されており、コード実行と資料制約は監査可能なメインランキング指標である。コード実行は1日で15.8点を失ったが、資料制約が同期間に16.9点の補填を果たし、両者が相殺された結果、メインランキングの純損失は1.1点となった。エンジニアリング判断は75.00点から22.20点へ、タスク表現は100.00点から70.40点へとそれぞれ下落し、サブランキングの2指標はいずれも29点超の大幅下落となった。誠実性評価はpassを維持し、閾値には抵触しなかった。

原因分析：問題選択の変動かモデルの実質的な劣化か

Smoke評価テストは1日あたり各指標2問のみであり、サンプル数が極めて少ないため、1日あたりのスコア標準偏差が本質的に高くなる。コード実行と資料制約がほぼ鏡像となる逆方向の変動を示したことは、今回の変動が最もモデル能力構造の系統的な劣化ではなく、問題抽選のランダム性に起因することを示唆している。真の劣化であれば、通常は複数のメインランキング指標が同方向に下落するはずであり、一方が上昇しもう一方が下落するという補完的なパターンにはならない。

エンジニアリング判断とタスク表現のサブランキングが同時に大幅下落したことも、問題の難易度やタイプ分布の集中的な偏りを示している。サブランキングの問題には長いチェーン推論や厳密なフォーマットを要するタスクが多く含まれていた可能性があり、当日に抽選されたコード実行の問題が特定の制約条件下でのモデルの実行不安定性をたまたま露呈させた形となった。

利用者への示唆

コード実行への依存度が高い開発チームは注意が必要である。当日の78.20点は前日の94.00点を大きく下回っており、高い一貫性のコード生成が求められるシナリオでは、人手によるレビュー工程を追加すべきである。資料制約に敏感なRAGや文書処理シナリオにとっては肯定的なシグナルであり、88.30点は当日のモデルが入力資料への忠実度を向上させたことを示している。

エンジニアリング判断とタスク表現のサブランキングの激しい変動は、安定した出力フォーマットやエンジニアリング判断を必要とする自動化プロセスに潜在的なリスクをもたらす。Grok 4を用いて多段階の反復処理を行う開発者は、重要なパス上に人手による検証ノードを設け、サブランキングの変動が最終成果物に直接波及しないよう対策を講じるべきである。

戦略的判断：継続的なモニタリングの要否

今回のメインランキングの下落は1.1点にとどまり、コア能力に系統的な崩壊は見られない。コード実行と資料制約の逆方向の変動は、モデルの重みやアライメント戦略の実質的な変化というよりも、少数サンプルによる抽選変動の特徴に合致している。次回のSmoke評価テストではコード実行が90点台に回復するかどうかを重点的に観察し、2回連続で80点を下回った場合に限り、より大規模なサンプルによる専門的な検証の実施を検討することを推奨する。

現時点のデータは、Grok 4の総合能力を格下げするという結論を支持しない。採用を検討している企業は引き続き候補モデルとして位置づけることができるが、コード実行が集中するシナリオでは冗長な検証メカニズムを設ける必要がある。安定性指標については今回のテストでデータが提供されておらず、長期的な一貫性の判断には用いられない。

データ出典：YZ Index | Run #405 | 元データを見る