DeepSeek V4 ProはSmoke評価の本日分において、メインランキングスコアが68.16点から49.52点へと18.6ポイント下落した。
スコア変動の詳細
コード実行ディメンションは58.30点から47.00点へ11.3ポイント下落。材料制約ディメンションは80.20点から52.60点へ27.6ポイント下落。エンジニアリング判断は100.00点から75.00点へ25ポイント下落。タスク表現は66.70点から75.00点へ8.3ポイント上昇。誠実性評価は「pass」を維持した。
データの事実分解
材料制約ディメンションは単日下落幅が最大で、メインランキング全体の下落に最も大きく寄与した。コード実行ディメンションも同時に11.3ポイント後退した。この2つのメインランキングディメンションの合計下落幅は38.9ポイントに達し、メインランキング全体の下落幅を大きく上回っており、メインランキングスコアが主としてこの2ディメンションの加重合計で構成されていることを示している。タスク表現ディメンションには正方向の変化が見られたが、ウェイトが低くメインランキング全体の下落を打ち消すには至らなかった。
要因分析
材料制約ディメンションの大幅な後退は、当日抽出された問題がモデル出力と提示材料との一致性に対してより高い要求を課していたことが最も有力な原因と考えられる。コード実行ディメンションが同時に下落していることは、当日の問題がコード生成と材料参照の二重の制約を同時に含んでいた可能性を示唆する。サブランキング（AI補助評価）であるエンジニアリング判断が25ポイント下落したことも、多制約シナリオにおけるモデルのパフォーマンス変動を裏付けている。タスク表現ディメンションが小幅上昇したことは、モデルのタスク記述の明確さに系統的な問題は生じていないことを示している。
Smoke評価は1日あたり10問のみであり、単日の変動それ自体は正常範囲内に属する。ただし、材料制約ディメンションの27.6ポイント下落は典型的なサンプリング変動の範囲を超えており、問題難易度の変化とモデルの実質的な能力低下を区別して評価する必要がある。現時点のデータは単日結果のみを示しており、モデルのパラメータや学習に変化が生じたと直接判断することはできない。
利用者への示唆
材料への忠実性を重視するシナリオの開発者は、本番環境に出力検証ステップを追加する必要がある。コード実行と材料制約の両方に同時に依存するチームは、単日の評価結果を根拠にデプロイ戦略を変更することを避けるべきである。エンジニアリング判断サブランキング（AI補助評価）の75点という水準は、複雑な制約下におけるモデルの判断一貫性がすでに低下していることを示しており、このモデルを用いた多段階推論を行うワークフローはリトライコストの上昇に直面する可能性がある。
戦略的判断
材料制約ディメンションの単日27.6ポイント下落は最も直接的な警戒シグナルであり、このモデルが制約型問題に対して高い感度を持っていることを示している。メインランキングの49.52点はすでに昨日の68.16点を大幅に下回っており、短期的には次回のSmoke評価において材料制約とコード実行の両ディメンションが同時に回復するかどうかを注視する必要がある。両ディメンションが継続して55点未満にとどまる場合、二重制約タスクにおけるモデルのパフォーマンスは新たな水準に移行した可能性がある。
タスク表現ディメンションの小幅上昇はメインランキング全体のトレンドを変えるには至らず、現在の問題が材料とコードという2つのコアディメンションに集中していることを示している。現在のスコア比較に基づけば、材料制約シナリオにおけるDeepSeek V4 Proの安定性は次回評価での重点的な検証に値する。
データ出典：YZ Index | Run #385 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接