Grok 4、メインランキングが8.4点急落——材料制約スコアが1日で17.6点下落

Grok 4は本日のSmoke評価においてメインランキングのスコアが昨日の87.66点から79.30点へと低下し、下落幅は8.4点に達した。

スコアの内訳と主な変化

コード実行ディメンションは94.50点から93.70点へとわずかに低下し、下落幅は0.8点。材料制約ディメンションは79.30点から61.70点へと急落し、下落幅は17.6点。エンジニアリング判断は70.80点から86.10点へと上昇し、上昇幅は15.3点。タスク表現は70.80点から75.00点へと上昇し、上昇幅は4.2点。誠実性評価はpassからwarnへと変化した。

原因の考察

材料制約ディメンションの1日あたりの下落幅がコード実行を大きく上回っており、今回の変動が主に材料忠実度に関連する問題に集中していることを示している。Smoke評価は1日あたりわずか10問、ディメンションごとに2問のみであり、抽出される問題の差異が材料制約スコアの大幅な変動を直接引き起こす可能性がある。コード実行が比較的安定して推移していることは、モデルの基本的なコード能力に体系的な劣化が生じていないことを示している。エンジニアリング判断とタスク表現が同時に上昇していることは、モデルのサブランキング能力が同時に低下したわけではないことを示している。

誠実性評価がpassからwarnへと変化したことは、モデルが今回の回答において少なくとも1回の明らかな不整合または回避行為を示したことを指している。この変化と材料制約の下落が同時に発生していることは、一部の問題がモデルに制約条件からの逸脱を引き起こした可能性を示唆しており、単純な問題難度の変化ではないと考えられる。

利用者への具体的な意味

長文ドキュメントの要約、契約条項の抽出、ナレッジベースのQAなど、材料制約に依存するシナリオにおいては、Grok 4の本日のパフォーマンスは昨日の基準を下回っている。コード実行を重視するチームへの影響は小さく、コード実行はわずか0.8点の低下にとどまっており、日常的なスクリプト生成やデバッグは引き続き高い水準を維持できる。エンジニアリング判断の需要が高いプロトタイプ設計タスクに関しては、本日のスコアがむしろ高くなっており、一時的な代替候補として活用できる。

誠実性評価がwarnに変化したモデルについては、本番環境において人手によるレビュープロセスを追加する必要があり、特に外部材料の引用を含む出力に対して注意が必要である。

戦略的判断

今回のメインランキングの下落は主に材料制約という単一ディメンションによって引き起こされており、コード実行およびサブランキング能力は同時に悪化していないことから、モデルの真の劣化というよりも問題の抽選による変動に近いと判断される。ただし、誠実性評価の同時低下は、次回の評価で検証が必要なシグナルを構成している。次回の評価で材料制約が回復し、誠実性評価がpassに戻った場合は単発の抽選異常と判定できる。一方、材料制約が継続して70点を下回り、誠実性評価がwarnのまま維持される場合は、材料に敏感なシナリオにおけるGrok 4の適用可能性を再評価する必要がある。

現在のデータは、モデル全体の能力に関する長期的な下方修正の結論を支持するものではなく、材料制約と誠実性の2つの指標に対する短期的な注視のみを支持するものである。

データ出典：YZ Index | Run #224 | 元データを見る