本日のSmoke評価において、Grok 4の材料制約スコアは75.00点から57.60点へと17.4点低下し、コード実行スコアは74.40点から82.30点へ上昇した。メインランキングの総合スコアは74.67点から71.19点へと低下した。
スコア比較と主要事実
前日から本日にかけての具体的な変化は以下の通り：コード実行 74.40点→82.30点（+7.9点）、材料制約 75.00点→57.60点（−17.4点）、エンジニアリング判断 62.00点→55.60点（−6.4点）、タスク表現 77.90点→85.00点（+7.1点）、メインランキング 74.67点→71.19点（−3.5点）。誠実性評価は「pass」を維持。
材料制約スコア急落の考えられる原因
Smoke評価は1日10問、各評価次元につき2問のみで構成されており、単日のスコア変動は正常な範囲内に属する。材料制約次元は主に、モデルが与えられた材料への忠実度と制約遵守を評価するものである。本日の57.60点は前日の75.00点から17.4点低下しており、その最も可能性の高い原因は、抽出された問題の中に厳格な材料制約を問う問題の比率が高かったことと考えられる。コード実行が同時に7.9点上昇していることから、モデルのコード関連タスクにおけるパフォーマンスが同時に低下したわけではなく、今回の材料制約スコアの下落は問題の抽選による変動に近く、モデルの実際の能力低下ではないとみられる。
利用者にとっての具体的な意味
契約審査、政策解釈、社内文書への質疑応答など、材料への忠実度を重視する企業ユースケースにおいては、Grok 4の本日のパフォーマンスを踏まえ、人手によるレビュー工程を追加することが推奨される。コード実行スコアは82.30点へ上昇しており、コード生成およびデバッグを主業務とする開発者チームにとっては、本日のデータはむしろ利用可能性の向上を示している。エンジニアリング判断は55.60点へ低下しており、複雑な意思決定チェーンを必要とするシナリオでは、依存ウェイトを一時的に下げることを推奨する。
戦略的見解
単日データに基づけば、メインランキングの3.5点低下は主に材料制約スコアの低迷によるものである。材料制約とコード実行が明確な逆相関の変動を示していることは、モデルが評価次元によって安定性に差があることを示している。安定性次元は同種の問題に対する複数回の回答スコアの標準偏差を測定するものであり、本日の材料制約の大幅な変動はこの次元の標準差を押し上げ、全体的な一貫性スコアを低下させる可能性がある。今後も継続的に注視すべきかどうかは、次回評価で材料制約スコアが70点以上の水準へ回復するかどうかにかかっている。材料制約スコアが2日連続で60点を下回った場合には、重点的にトラッキングすべきシグナルと判断できる。
今回の評価は改めて、Smokeテストが短期的な異常の検出には適しているものの、長期的な能力ランキングと直接同一視すべきではないことを裏付けている。Grok 4はタスク表現次元で85.00点へ上昇しており、タスクの分解と表現の明確さにおいて依然として優位性を持つことが示されている。企業がモデルを選定する際には、材料制約スコアの57.60点を材料依存度の高いシナリオにおける即時参考値として活用することができるが、最終的な結論とすべきではない。
データ出典：YZ Index | Run #401 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接