DeepSeek V4 Pro、メインランキングで11.9ポイント急落――コード実行は13.3ポイント低下

DeepSeek V4 Proは本日のSmoke評価において、メインランキングのスコアが昨日の93.84点から81.93点へと低下し、降下幅は11.9点に達した。

主要データの比較

コード実行次元は100.00点から86.70点へと13.3点低下し、材料制約次元は86.30点から76.10点へと10.2点低下した。エンジニアリング判断次元は75.00点で変わらず、タスク表現次元は95.00点で変わらず、誠実性評価はpassを維持した。

スコア変動の考えられる原因

Smoke評価は1日あたり10問のみで、各次元2問ずつ出題されるため、1日単位の抽選による変動は正常範囲内に含まれる。今回はコード実行と材料制約が同時に顕著な低下を示した一方、サイドランキングの2次元はまったく変動しなかった。これはメインランキングの監査可能な次元に問題が集中していることを示している。コード実行の失点は、本日抽選された2問がより複雑な多段階推論やエッジケースを含んでいたことに起因する可能性があり、材料制約の失点は問題に含まれる長いコンテキストの参照や書式制限に関連している可能性がある。現状のデータはモデルのパラメータや学習に変化が生じたことを示しておらず、モデルの真の劣化ではなく、出題抽選によるスコア変動である可能性が高い。

利用者への具体的な意味

コード実行に強く依存しているチームは、特に自動化テストや本番スクリプトのシナリオにおいて、本日以降数日間はDeepSeek V4 Proが生成したコードに対して追加の人的レビューを実施する必要がある。材料制約に敏感なシナリオ（法的契約書の生成や長文ドキュメントの要約など）においても、書式や引用のずれによる下流エラーを防ぐため、検証頻度を高めるべきである。エンジニアリング判断とタスク表現が安定しているチームは、当面は従来の計画どおりにモデルを使用し続けることができ、ワークフローをすぐに調整する必要はない。

戦略的判断

1日あたり11.9点の下落はSmoke評価の過去の変動範囲内ではあるが、メインランキングのコア次元が2日以上連続して同時に失点する状況は、次回の検証において重点的に確認する価値がある。明日コード実行と材料制約が90点以上に回復した場合、今回の変動は抽選のランダム性に帰因する可能性が高い。85点を下回る状態が続く場合は、特定の問題タイプにおけるモデルの安定性の問題を考慮する必要がある。現時点のデータはDeepSeek V4 Proの全面的な格下げ判断を支持するものではないが、そのコード実行能力に依存するユーザーに対しては、短期的に冗長な検証を強化することを推奨する。

データ出典：YZ Index | Run #235 | 元データを見る