Grok 4は本日のSmoke評価テストにおいて、メインスコアが89.30点から78.01点へと低下し、下落幅は11.3点に達した。
スコア詳細と主要な変化
コード実行次元は97.80点から92.00点へと5.8点下落。資料制約次元は78.90点から60.90点へと18点下落。エンジニアリング判断次元は81.90点から94.50点へと12.6点上昇。タスク表現次元は75.80点から76.70点へと0.9点上昇した。メインスコアはコード実行と資料制約の加重平均のみで構成されるため、資料制約次元の単日18点下落がメインスコアの11.3点下落に直結した。
変動要因の分析
Smoke評価テストは1日あたりわずか10問で、2問が1つのメイン次元に対応する。サンプル数が少ないため、単日スコアの標準偏差が本質的に大きくなる。資料制約次元の今回の失点は集中的であり、当日抽出された2問の制約系問題において、指示への追従または出力範囲の制御に大きなずれが生じたためと推測される。コード実行次元の5.8点下落についても、問題の難易度やテストケースの無作為抽出に起因する可能性が高く、モデル自体の能力低下ではないと考えられる。エンジニアリング判断次元が逆に12.6点上昇したことは、今回の変化がモデルの実質的な劣化よりも問題抽選の変動に近いことをさらに裏付けている。
資料制約次元の単日18点下落が、今回のメインスコア下落の直接的な主因である。
利用者にとっての具体的な意味
資料制約に強く依存するシナリオ、たとえばフォーマット・文字数・禁止事項を厳守する必要がある文書生成タスクにおいて、Grok 4の本日のパフォーマンスは出力の一貫性に明らかな問題があることを示している。コード実行のシナリオでは92.00点は依然として高い水準にあるが、昨日の97.80点からは後退しており、精密なコード生成に依存するチームは人的レビュー工程を強化する必要がある。エンジニアリング判断次元が94.50点に上昇したことから、エンジニアリング上のトレードオフが求められるシナリオでは、Grok 4の今回のパフォーマンスが昨日を上回ったことがわかる。
戦略的判断
今回のスコア比較に基づくと、Grok 4のメインスコア下落は主に資料制約次元の単日大幅下落によって引き起こされており、コード実行の下落幅は相対的に軽微である。エンジニアリング判断が逆に大幅上昇したことは、モデルが次元間で明らかな不一致を示していることを意味する。現時点のデータはモデル能力の系統的な劣化という結論を支持せず、Smoke評価テストの少サンプル抽選による通常の変動である可能性が高い。次回のSmoke評価テストで資料制約次元が引き続き70点を下回る場合は注視の優先度を高める必要があり、同次元が75点以上に回復した場合は今回の下落を単発的な抽選異常と判定できる。
誠実性評価はpassを維持しており、参入基準に関わる問題は発生していない。安定性次元については今回新たなデータが提供されておらず、回答の一貫性の変化を直接判断することはできない。採用を検討する企業は、ランダムな変動と実質的な能力変化を区別するために、資料制約次元の連続3日間のパフォーマンスを引き続き追跡すべきである。
データ出典：YZ Index | Run #254 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接