Grok 4は本日のSmokeベンチマーク評価において、主榜スコアが昨日の94.15点から76.65点へと下落し、降下幅は17.5点に達した。
スコア内訳と直接比較
コード実行次元は100.00点から86.10点へ13.9点下落、材料制約次元は87.00点から65.10点へ21.9点下落、エンジニアリング判断は88.90点から75.00点へ、タスク表現は100.00点から70.00点へそれぞれ下落した。誠実性評価はpassを維持した。
データの事実分解
Smokeベンチマークは毎日固定で10問出題され、各次元につき2問ずつ構成される。主榜はコード実行と材料制約の加重合算のみで構成されており、本日はこの2次元の合計が-17.5点という全降下幅をもたらした。材料制約の単日下落幅が最大であったことは、本日抽選された2問の材料制約問題のスコアが昨日の対応問題と比べて著しく低かったことを示している。
原因分析：抽選による変動か、真の性能低下か
日次10問の抽選によるランダム性が第一の可能性として挙げられる。Smokeベンチマークの問題は毎日入れ替わり、材料制約問題は引用の正確性と制約遵守に対して厳しい要件が課されるため、2問の難易度や落とし穴の分布の差異だけで20点以上の変動が生じ得る。コード実行の13.9点下落も同様に小サンプルの分散特性と一致する。現時点のデータでは同一次元における複数日連続の継続的下落は確認されておらず、モデルのパラメータレベルでの性能低下が発生したとは断定できない。
利用者への具体的な意味
材料制約に強く依存するRAGシステムおよびコンプライアンス審査シナリオでは警戒度を高める必要がある。本日の65.10点は、モデルが引用の忠実度において明らかなミスを犯したことを意味しており、開発者は重要なワークフローに人工による検証ステップを追加すべきである。コード実行シナリオへの影響は相対的に小さいが、86.10点は依然として昨日の満点を下回っており、自動テストスクリプトにはロールバック機能を残しておく必要がある。
戦略的判断
単日データに基づけば、Grok 4の今回のスコア下落はモデル能力の低下よりも問題の抽選によるものである可能性が高い。次回のSmokeベンチマーク結果が出た後に、材料制約とコード実行の両次元が回復しているかどうかを比較することを推奨する。材料制約が2日連続で75点を下回った場合に初めて、モデルの真の安定性に問題が生じた可能性を検討すべきである。現時点ではGrok 4のモデル選定における優先順位を直ちに引き下げる必要はないが、単日変動リスクを監視リストに加えておく必要がある。
データ出典：YZ Index | Run #235 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接