Grok 4のコード実行スコアが31.3点急落、資料制約スコアは34.7点上昇

Grok 4は本日のSmoke評価テストにおいて、コード実行スコアが95.30点から64.00点に低下し、31.3点の下落幅を記録した。同時に資料制約スコアは48.40点から83.10点へ上昇し、34.7点の上昇幅となった。総合スコアは74.20点から72.60点へ小幅に低下した。

スコア比較と主要事実

エンジニアリング判断は50.00点から80.60点へ、タスク表現は75.00点から81.10点へそれぞれ上昇し、誠実性評価はpassを維持した。総合スコアはコード実行と資料制約を加重合算して算出されるが、本日はこの2つの指標が逆方向にほぼ同程度変動したため、総合スコアの下落幅は小幅にとどまった。

変動要因の分析

Smoke評価テストでは各指標につき1日2問のみが出題されるため、1問あたりの得点比重が高い。コード実行が95.30点から64.00点に下落した最も可能性の高い原因は、本日の出題問題がコード生成や実行経路に対してより高い要件を課していたためであり、昨日の問題が比較的容易だったことの反動と考えられる。一方で資料制約が同時に大幅上昇していることは、同じ問題セットにおいて引用の忠実度や制約遵守での得点が取りやすかったことを示しており、両者はモデルの能力全体の低下ではなく、出題抽選による無作為な変動を反映している。

もし真の能力低下であれば、資料制約とエンジニアリング判断が同時に大幅上昇することは通常ない。本日のデータでは資料制約とエンジニアリング判断がともに30点以上の上昇を示しており、モデルのパラメータや学習データに系統的な問題が生じたのではなく、出題特性の変化が原因であることを示唆している。

利用者への具体的な意味

コード実行に大きく依存するチームは、本日および短期間においてGrok 4の出力に対して追加の人的検証を行う必要がある。特に多段階計算や複雑なスクリプトが関わる場面では注意が必要だ。資料制約スコアが83.10点まで上昇したことは、入力資料やフォーマット制約の厳守が求められるタスクにおいてこのモデルがより安定した性能を発揮することを示しており、文書生成やコンプライアンスチェックといった用途に適している。

コード実行と資料制約の両指標を併用している開発者にとって、本日の総合スコア72.60点は引き続き実用可能な範囲にあるが、単一指標の変動が特定タスクの失敗率を増幅させる可能性には注意が必要だ。

戦略的判断

本日のスコアの逆方向変動を踏まえると、総合スコアの小幅低下はコード実行の単一指標によるものであり、モデル全体の能力低下ではない。エンジニアリング判断とタスク表現が同時に上昇していることも、変動の原因が出題抽選であってモデルの劣化ではないことを裏付けている。次回の評価テストでは、コード実行スコアが90点以上の水準に回復するかどうかを重点的に確認する必要があり、2日連続で低水準を維持した場合は改めて評価が必要となる。

現時点のデータは、Grok 4のコード能力に対する長期的な下方修正判断を支持しない。単日で31.3点下落したとしても、Smoke評価テストの通常の変動範囲内である。モデル選定チームには、単日データに基づいてデプロイ戦略を変更するのではなく、引き続き今後3〜5日間における同一指標のスコア標準偏差を追跡することを推奨する。

データ出典：YZ Index | Run #361 | 元データを見る