Grok 4は本日のSmoke評価メインランキングで88.42点を記録し、昨日の86.25点から2.2点上昇した。しかし材料制約ディメンションは100.00点から82.20点へと17.8点下落した。
主要データ比較
コード実行ディメンションは75.00点から93.50点へ18.5点上昇。材料制約ディメンションは100.00点から82.20点へ17.8点下落。エンジニアリング判断は88.90点から86.10点へ2.8点下落。タスク表現は86.70点から90.80点へ4.1点上昇。誠実性評価は「warn（警告）」を維持。
各ディメンションスコア変動の事実
Smoke評価は1日あたり各ディメンション2問のみで、サンプル数が少ないため単日の変動は正常範囲内である。材料制約は昨日満点の100.00点だったが、本日82.20点へ下落しており、当日の2問のうち少なくとも1問で材料からの逸脱または制約違反が発生したことを示している。コード実行は昨日75.00点から本日93.50点となり、当日の2問においてコードの正答率または実行合格率が大幅に向上したことを示している。
材料制約82.20点とコード実行93.50点が同日に同時に出現したことは、今回の評価における最も顕著な内部的対照をなしている。
考えられる原因の分析
問題のランダム抽選による変動が最も有力な説明である。毎日2問をランダムに抽出しており、材料制約は昨日たまたま制約を完全に満たす2問が選ばれ、本日は素材への厳密な忠実性が求められる問題が1問または2問選ばれた結果、スコアが下落したと考えられる。コード実行については、昨日は難問またはエッジケースが選ばれ、本日は標準的なケースが選ばれたため、実行合格率が上昇したと推察される。
モデルの実質的な性能劣化の可能性は低い。材料制約が単日で-17.8点という系統的な劣化であれば、通常は他のディメンションも同時に下落するはずだが、エンジニアリング判断はわずか2.8点の下落にとどまり、タスク表現は逆に4.1点上昇し、メインランキング全体は依然として2.2点上昇しており、一貫した劣化のシグナルは見られない。
利用者への具体的な意味
法律契約の生成、製品仕様の抽出、研究文献の要約など、素材への忠実性を重視するシナリオでは、Grok 4の本日の結果から、単回の回答において素材からの逸脱リスクが生じる可能性が示唆される。開発者は人的確認フローの追加や複数ターンのプロンプトによる制約を設けることが推奨される。
スクリプト生成、データ処理パイプライン、アルゴリズム検証など、コード実行を重視するシナリオでは、Grok 4の本日の93.50点という結果が高い合格率を示しており、低リスクのタスクであれば直接利用可能である。
戦略的判断
今回の材料制約-17.8点は、モデル能力の劣化よりも2問の抽選による変動に起因する可能性が高い。メインランキングが依然として2.2点上昇しているという事実がこの判断を支持している。次回の評価では材料制約が90点以上に回復するかどうかを観察する必要があり、2日連続で85点を下回った場合は一貫性についてさらなる検証が必要となる。
エンジニアリング判断とタスク表現の小幅な変動はメインランキングに影響を与えておらず、コア能力に系統的なシフトが生じていないことを示している。導入検討企業は引き続きGrok 4をコード実行優先シナリオの候補として位置づけられるが、材料制約に敏感なシナリオでは追加の監視指標を設定することが必要である。
Smoke評価の1日あたりのサンプル数の制限により、単日における17.8点規模の変動は正常範囲内に属する。現時点のデータは「モデルの性能劣化」という結論を支持せず、「当日の問題の難易度分布が材料制約寄りに偏っていた」という観察のみを支持している。
データ出典：YZ Index | Run #315 | 生データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接