Grok 4、コード実行スコアが19.5点急落――資料制約は23.2点上昇、総合ランキングは0.3点減にとどまる

Grok 4は本日のSmokeテストにおいて、コード実行スコアが92.00点から72.50点へ急落し、降落幅は19.5点となった。一方、資料制約スコアは60.90点から84.10点へ上昇し、増加幅は23.2点。総合ランキングスコアは78.01点から77.72点へ微減した。

スコア変動の直接データ比較

コード実行は前日92.00点・本日72.50点、差分-19.5；資料制約は前日60.90点・本日84.10点、差分+23.2；エンジニアリング判断は前日94.50点・本日75.00点、差分-19.5；タスク表現は前日76.70点・本日86.70点、差分+10；総合ランキングは前日78.01点・本日77.72点、差分-0.3。誠実性評価は「pass」を維持。

変動要因のメカニズム分析

Smokeテストは1日あたり各次元2問・計10問のみで構成されており、1問あたりのスコアウェイトが高く、問題の抽選ランダム性がスコアの標準偏差を直接増幅させる。コード実行とエンジニアリング判断がともに19.5点下落したことは、コードパスや論理チェーンに対してより高い要求を課す問題が抽選された可能性を示唆している。一方、資料制約が23.2点上昇したのは、残り2問が引用の忠実度や制約遵守をより重視する内容であり、モデルがこれらのサンプルで高いパフォーマンスを発揮したためと考えられる。総合ランキングの低下が0.3点にとどまったことは、2つのコア次元の変動が相殺し合い、加重後の総合的な影響が限定的だったことを示している。

現時点のデータでは、問題抽選による変動とモデルの実質的な性能劣化を区別することはできない。同方向の大幅変動が複数日連続して観測された場合は能力変化を示す可能性が高いが、単日のデータのみでは「抽選の影響が主因」との判断にとどまる。

利用者へのシナリオ別示唆

コード実行を重視するチームは、本日のスコア状況を踏まえてGrok 4の出力を追加検証する必要があり、特に多段階計算やAPI呼び出しが絡む場面では注意が求められる。資料制約スコアが84.10点に上昇したことで、原文の厳密な引用やハルシネーション回避が必要なドキュメント生成タスクにおける信頼性は逆に向上している。エンジニアリング判断スコアが75.00点に低下したため、アーキテクチャ上の意思決定やトレードオフ分析をモデルに依存している開発者は、人手によるレビュー工程を追加すべきである。

戦略的判断と次回検証シグナル

総合ランキングの微減0.3点は、Grok 4の総合的な競争力が実質的なダメージを受けていないことを示しているが、コード実行と資料制約の激しい相補的変動は引き続き追跡する価値がある。次回テストでコード実行が回復し資料制約が低下すれば、今回の変動は抽選によるものと確認できる。コード実行スコアが80点を下回る状態が継続する場合は、性能調整フェーズに入ったかどうかの評価が必要となる。現時点のデータは、Grok 4のコード実行能力を優先監視項目として位置付けることを支持しており、モデル全体の優先度を引き下げる根拠にはならない。

データソース：YZ Index | Run #255 | 生データを見る