DeepSeek V4 Pro、Smoke評価のメインランキングで16.9点急落――コード実行が1日で28点下落

DeepSeek V4 Pro は本日の Smoke 評価において、メインランキングのスコアが 96.99 点から 80.10 点へと下落し、降下幅は 16.9 点となった。

スコアの内訳と直接的な要因

コード実行次元が 100.00 点から 72.00 点へと下落し、メインランキング全体の下落幅のほぼすべてに寄与した。素材制約は 93.30 点から 90.00 点へと 3.3 点のみの低下にとどまった。エンジニアリング判断は 75.00 点から 100.00 点へと上昇し、タスク表現は 91.70 点から 79.70 点へと下落した。メインランキングはコード実行と素材制約の加重値のみで構成されているため、コード実行における 1 日 28 点の損失が全体順位の下落を直接決定づけた。

問題抽選による変動か、モデルの真の劣化か

Smoke 評価は 1 日あたり各次元につき 2 問のみで、サンプル数は極めて少なく、1 問のミスだけで 28 点規模の変動が生じうる。コード実行は前日満点、本日 72 点という結果は、2 問のうち少なくとも 1 問で明らかなエラーまたは未完了が発生したことを示している。素材制約が同期間でわずか 3.3 点しか下落していないことは、モデルの素材忠実度に関する基礎能力に系統的な低下が生じていないことを示している。エンジニアリング判断が逆に満点まで上昇していることも、モデルが異なる能力軸において同時に劣化しているわけではないことをさらに示している。したがって、現時点のデータは問題抽選による変動を支持しており、モデルのパラメータや学習後の能力における継続的な劣化を示すものではない。

ユーザーへの具体的な意味

コード生成に強く依存するチームは、本日および今後数日間、特に多段階推論や API 呼び出しを伴うシナリオにおいて、人手による複数確認のプロセスを追加する必要がある。素材制約は引き続き 90 点以上を維持しており、原文の厳密な引用や書式制限を必要とする RAG 系アプリケーションへの影響は限定的である。エンジニアリング判断が満点に上昇したことは、システム設計やトレードオフの判断を要するタスクにおいてモデルがより優れた出力を提供することを意味しており、プロトタイプ段階での優先的な活用が期待できる。

戦略的判断

2 問のサンプルにおける 1 日 28 点のコード実行変動は説明可能な範囲内であるが、次回の評価でもコード実行が 85 点を下回り続けた場合は、真の劣化が存在するかどうかを確認するために複数日にわたる連続追跡を開始する必要がある。現時点のデータは DeepSeek V4 Pro の総合能力について結論を下す根拠にはならず、コード実行次元が小規模サンプルの変動に敏感であることを示唆するにとどまる。モデル選定を行う企業は Smoke 評価を最終的な能力証明としてではなく、早期警戒シグナルとして位置づけるべきである。

データソース：YZ Index | Run #229 | 生データを見る