Grok 4は本日のSmokeテストにおいて、コード実行次元のスコアが94.60点から74.40点へと20.2点下落した。一方で素材制約は45.00点から75.00点へ上昇し、メインランキングのスコアは72.28点から74.67点へと上昇した。
データの事実：単日における次元間の激しい逆方向変動
昨日と本日のスコアを比較すると、コード実行が20.2点下降、素材制約が30点上昇、エンジニアリング判断が31.4点上昇、タスク表現が6.6点上昇した。メインランキングの上昇はわずか2.4点にとどまり、誠実性評価はpassを維持した。Smokeテストは1日あたり10問のみで、各次元2問ずつのため、単日スコアの標準偏差は本質的に大きくなりやすい。
原因分析：問題の抽選による変動の可能性が高い
コード実行と素材制約で20点以上の逆方向の変動が生じた最も有力な原因は、当日抽選されたコード問題2問の難易度が昨日のサンプルより顕著に高かったこと、そして素材制約問題がモデルの得意分野と一致したことにある。エンジニアリング判断が同時に31.4点上昇していることも、モデル全体の能力低下ではなく抽選のランダム性を支持する根拠となっている。真の能力低下であれば、通常は複数の中核次元が同時に低下するはずであり、メインランキングが小幅に上昇するという結果とは矛盾する。
コード実行74.40点 vs 昨日94.60点、素材制約75.00点 vs 昨日45.00点——両次元の変動方向が完全に逆であり、問題分布の差異を示唆している。
利用者への示唆
コード実行に強く依存する開発チームにとって、本日のデータは重要タスクの前に複数回の独立した検証を実施すべきことを示唆しており、単回のSmokeテスト結果に誤導されないよう注意が必要だ。素材制約が重視されるシナリオ（長文テキストの忠実度が求められるドキュメント処理など）では、Grok 4の本日の75.00点という結果がより信頼性の高い参考値を提供する。企業がモデルを選定する際は、単日の次元別極値ではなく、複数日にわたるメインランキングの平均値を優先的に参照すべきである。
戦略的判断：メインランキングの安定性は継続的な追跡に値する
メインランキングが逆境下で2.4点上昇したことは、コード実行の急落が素材制約とエンジニアリング判断の改善によって完全に相殺されたことを示している。現時点のデータに基づけば、Grok 4に系統的な能力低下のシグナルは見られない。ただし、単日20.2点の変動は通常の抽選変動の範囲を超えており、次回以降の評価において3日連続のコード実行標準偏差が15点以内に収まるかを検証することを推奨する。標準偏差が高い状態が続く場合は、本番環境に冗長な検証メカニズムを追加する必要がある。
エンジニアリング判断が30.60点から62.00点へ上昇したことは、当日のエンジニアリング系問題がモデルの推論経路により適合していたことを示しており、コード実行の下降と補完関係を形成し、ランダム性が主導していることをさらに裏付けている。タスク表現は71.30点から77.90点へと緩やかに上昇しており、明確な出力を必要とするアプリケーションシナリオに安定したサポートを提供している。
全次元を総合すると、Grok 4の本日のパフォーマンスは能力低下よりも抽選に起因する通常の変動に近いと言える。コード実行を重視するチームは次回の評価でこの次元が90点台に回復するかを重点的に注視すべきであり、メインランキングの小幅上昇はモデル選定に一定の余裕をもたらしている。
データ出典：YZ Index | Run #399 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接