DeepSeek V4 ProはSmokeベンチマークの本日評価において、コード実行スコアが94.50点から72.00点に低下し、総合スコアも92.39点から84.60点に下落した。
スコア比較データ
資料制約スコアは89.80点から100.00点に上昇、タスク表現スコアは65.00点から87.50点に上昇、エンジニアリング判断は100.00点を維持、誠実性評価もpassを維持した。
データの詳細分析
Smokeベンチマークは1日10問のみで、各評価軸2問ずつ出題されるため、単日の変動は正常範囲内に収まる。コード実行の−22.5点と、資料制約の+10.2点およびタスク表現の+22.5点が同時に発生しており、評価軸間でモデルのパフォーマンスに明確な分化が生じていることを示している。
原因の考察
出題抽選の偏りが最も有力な説明となる。コード実行は1日2問という極めて少ないサンプル数であるため、複雑な多段階推論問題が1問含まれるか、あるいは単純な計算問題が出るかだけで20点以上のスウィングが生じ得る。資料制約とタスク表現が同時に向上していることは、モデル全体の出力能力に系統的な退化が生じていないことを示しており、今回はたまたまコード実行分野の特定の弱点が露出した可能性が高い。
真の性能劣化の可能性は低い。エンジニアリング判断が満点を維持し、資料制約も満点に達していることは、制約遵守と判断ロジックの安定性を示している。パラメータレベルの劣化であれば、通常は複数の評価軸が同時に低下するはずであり、今回のように一方が下がれば他方が上がるという動きとは異なる。
利用者への示唆
コード実行に重く依存しているチームは、本日の出力を追加で検証する必要がある。金融モデリングやデータ処理スクリプト生成などのシナリオでは、72.00点という水準はエラー率の上昇を意味する可能性があるため、手動での確認工程を追加することを推奨する。
資料の忠実性が重要なシナリオでは引き続き安心して使用できる。資料制約の100.00点は、引用と制約遵守の面でモデルが最高水準に達していることを示しており、文書生成やコンプライアンスチェック等のタスクに適している。
戦略的判断
今回の変動はモデル劣化ではなく出題抽選によるものである可能性が高い。単日のSmokeデータのみでは長期的なトレンドを判断するには不十分であり、3日間連続でコード実行スコアが90点以上に回復するかどうかを観察することを推奨する。80点を継続的に下回る場合は、正式な長期ベンチマークによる再評価を実施する必要がある。
総合スコア84.60点は依然として大多数の競合製品の通常水準を上回っており、DeepSeek V4 Proの総合的な競争力への根本的な影響はない。開発者は引き続き利用可能だが、コード実行タスクについてはユニットテストのカバレッジを高めることが望ましい。
コード実行72.00点と資料制約100.00点が同時に出現していることは、モデル劣化ではなく出題抽選の影響を示している。
エンジニアリング判断と誠実性評価が満点とpassを維持していることから、系統的な能力低下は排除される。次回のSmokeでコード実行スコアが回復すれば、今回の事象は通常の統計的ノイズとして分類できる。
モデル選定を検討する企業は、Smokeの単日変動を監視体制に組み込むべきであり、単日データのみで結論を出すべきではない。DeepSeek V4 Proの資料制約とエンジニアリング判断における安定したパフォーマンスは、依然としてその中核的な優位性である。
データ出典：YZ Index | Run #380 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接