Grok 4のコード実行スコアが21.8点急落、メインランキングは89.15から84.99に低下

Grok 4は本日のSmokeベンチマークにおいて、コード実行スコアが94.50点から72.70点に低下し、素材制約スコアは82.60点から100.00点に上昇した。メインランキング総合スコアは89.15点から84.99点に後退した。

スコア比較とデータの事実

昨日はコード実行94.50点・素材制約82.60点であったのに対し、本日はコード実行72.70点・素材制約100.00点となった。エンジニアリング判断は75.00点から86.10点に、タスク表現は86.10点から91.70点にそれぞれ上昇した。メインランキングはコード実行と素材制約の加重平均のみで構成されており、本日の4.2点下落は、コード実行の単一指標が21.8点急落したことに直接起因する。

原因分析：問題の抽選によるばらつきか、モデルの性能劣化か

Smokeベンチマークは1日あたりわずか10問で、各指標につき2問のみが出題されるため、1問あたりのスコアへの影響が非常に大きい。コード実行の問題で1問失敗するだけで、指標スコアが20点以上低下する可能性がある。本日はコード実行と素材制約が正反対の方向に大きく変動しており、これはモデル全体の能力が劣化したのではなく、問題の種類によるパフォーマンスの差異が拡大されて現れたものと解釈できる。エンジニアリング判断とタスク表現が同時に上昇したことも、問題の抽選による無作為なばらつきという解釈を支持している。

モデルの真の性能劣化であれば、通常は複数の指標が同時に低下するものだが、本日の素材制約は満点を記録しており、モデルが素材への忠実度を処理する能力は影響を受けていないことを示している。今回のデータは単日の小サンプルによるばらつきを示しているにすぎず、同一指標が複数日連続して低下しているという証拠はないため、システム的な性能劣化とは判断できない。

利用者への示唆

コード実行に強く依存する開発チームは注意が必要だ。Grok 4のSmokeベンチマークにおけるコード実行スコアは1日で最大21.8点変動する可能性があり、短期間のタスクでは出力の不一致が生じるリスクがある。一方、素材制約での満点は、入力素材に厳密に従い情報を捏造しないことが求められるシナリオ——文書校正や契約審査など——においてモデルが安定して機能することを示している。

エンジニアリング判断とタスク表現スコアの上昇は、エンジニアリング上の意思決定やタスク分解が求められる場面でもモデルが依然として優位性を持つことを示す。このモデルを活用している開発者は、素材制約の要件が高いワークフローを優先的に割り当て、リスクの高いコード生成タスクはスコアがより安定したモデルに任せることを検討するとよい。

戦略的判断

本日のデータに基づけば、Grok 4のコード実行指標は小サンプル下で顕著なばらつきを示しており、メインランキング4.2点の低下は記録に値する。しかし素材制約の満点とサブランキングの改善は、モデル全体にシステム的な問題が生じていないことを示している。次回のSmokeベンチマークでコード実行スコアが90点以上に回復すれば、今回は抽選によるばらつきと確認できる。一方、80点を下回る状態が続くようであれば、コード実行タスクにおけるモデルの安定性をさらに検証する必要がある。

現時点のデータは、Grok 4を全体として過大評価または過小評価する根拠にはならず、1日10問の速報テストにおいて高い分散を示しているとのみ判断できる。モデル選定を行う企業は、より信頼性の高いシグナルを得るために、引き続き3日間のメインランキングとコード実行スコアの推移を追跡することが推奨される。

データ出典：YZ Index | Run #304 | 生データを見る