Grok 4、マテリアル制約スコアが17.6点急落――総合ランキングは1.8点減にとどまる

Grok 4は本日のSmoke評価において、マテリアル制約スコアが82.60点から65.00点へと低下し、総合ランキング全体は82.99点から81.23点へと小幅な低下にとどまった。

スコア比較データ

コード実行は83.30点から94.50点へと上昇し、エンジニアリング判断は30.60点から100.00点へと大幅に上昇した。タスク表現は75.00点から70.00点へと低下し、誠実性評価はpassからwarnへと変化した。マテリアル制約という単一次元での17.6点の下落幅は、総合ランキングの1.8点の変化を大きく上回っている。

変動要因の分析

Smoke評価は1日あたり10問のみで、そのうち2問がマテリアル制約次元に対応している。65.00点という結果は、この次元の2問の平均スコアが前日を大きく下回ったことを意味する。コード実行が同期間に11.2点上昇したことは、コード関連タスクにおけるモデルのパフォーマンスがより安定していることを示している。マテリアル制約スコアの低下は、モデル全体の能力の退化によるものではなく、当日抽出された2問のマテリアル忠実度問題の難易度や制約条件がより厳しかったことに起因する可能性が最も高い。エンジニアリング判断の大幅な上昇も、サブランキングのタスクにおいてモデルに系統的な問題が生じていないことを裏付けている。

誠実性評価がpassからwarnへと変化したことは、今回の回答において軽微な事実のずれや制約違反が生じた可能性を示唆しており、これはマテリアル制約スコアと直接的に関連している。マテリアル制約次元は主に、与えられた資料に対するモデルの忠実度を評価するものであり、65.00点はモデルが少なくとも1問において明らかな逸脱または過度な推論を行ったことを示している。

利用者への具体的な影響

マテリアル制約に依存する開発者がレポート、契約概要、または技術文書を生成する際には、人手による検証工程を追加する必要がある。コード実行を重視するチームはGrok 4を引き続き利用可能であり、94.50点のパフォーマンスは前日を上回っている。法的文書の処理や学術引用の生成など、高いマテリアル忠実度が求められるシナリオでは、現在の65.00点という水準により出力が元の資料から逸脱し、手戻りリスクが増加する可能性がある。

戦略的判断

総合ランキングの低下が1.8点にとどまったことは、全体的な能力が崩壊していないことを示しているが、マテリアル制約単一次元での17.6点の下落と誠実性評価warnのシグナルが重なることで、次回評価での検証が必要な明確なシグナルを形成している。翌日のマテリアル制約スコアが80点以上に回復した場合、今回の変動は問題抽出のばらつきによる可能性が高い。一方、70点を下回る状態が続く場合には、マテリアル制約におけるモデルの実質的な安定性低下を検討する必要がある。現時点のデータは、Grok 4のマテリアル制約能力を系統的な退化と判断することを支持しないが、重点的に追跡すべき異常点を構成していることは確かである。

エンジニアリング判断が100.00点に上昇したことは、モデルがサブランキングのタスクにおいて依然として余力を持つことを示しており、タスク表現の5点の小幅な低下による影響は限定的である。総合スコア81.23点とマテリアル制約65.00点を総合すると、製品選定を行う企業はマテリアルの正確性が求められるシナリオにおいてGrok 4の優先度を一時的に引き下げ、今後のSmoke評価データでトレンドを確認することを待つべきである。

データソース：YZ Index | Run #266 | 元データを見る