DeepSeek V4 Pro、材料制約スコアが18.1点急落——コード実行は満点100点を記録

DeepSeek V4 Pro は本日のSmokeテストにおいて、材料制約スコアが88.10点から70.00点へ18.1点下落した一方、コード実行スコアは72.00点から100.00点へ上昇し、主要スコアは79.25点から86.50点へ改善した。

スコアの詳細分析

今回のテストは1日あたり10問、各評価軸につき2問のみで構成される。材料制約の本日スコアは70.00点で、昨日の88.10点から18.1点下落。コード実行は72.00点から満点100.00点へ急伸。エンジニアリング判断は100.00点を維持。タスク表現は75.00点から81.70点へ上昇。誠実性評価は「pass」を維持した。

原因分析：問題抽選による変動であり、モデルの劣化ではない

材料制約とコード実行の両評価軸で同時に大きな逆方向の変動が生じた原因は、問題抽選のランダム性によるものと考えられる。Smokeテストでは各評価軸につき2問のみのため、1問のミスで約15〜20点の変動が生じる。本日の材料制約での失点は、与えられた材料への忠実度判定に集中しており、一方でコード実行の問題はモデルが得意とする実行パターンに偶然合致した可能性が高い。エンジニアリング判断とタスク表現のスコアが安定または小幅上昇したことも、総合的な能力に系統的な劣化が生じていないことを裏付けている。

モデルが真に劣化している場合、通常は複数の評価軸が同時に低下するはずであり、単一軸の急落と別軸の満点が同時に起きることはない。

ユーザーへの具体的な示唆

契約条項の抽出、政策文書の照合、長文ドキュメントの忠実な要約など、材料制約に大きく依存するシナリオを扱うチームは、本日のデータを踏まえ、人的レビューのプロセスを追加することが推奨される。コード実行のパフォーマンスが安定しているチームは引き続き本モデルをスクリプト生成・デバッグ作業に活用できるが、材料制約に関連するワークフローには二次チェックを設けるべきである。

• 材料制約が重要なシナリオ：重要な出力を元の材料と一文ずつ照合し、18.1点規模の局所的なミスの蓄積を防ぐことを推奨する。
• コード実行が主要なシナリオ：100.00点のパフォーマンスはそのまま本番環境のパイプラインへ投入可能である。

戦略的判断

今回の単一Smokeデータに基づけば、DeepSeek V4 Proの材料制約における18.1点の下落は、能力劣化のシグナルではなく抽選による変動である可能性が高い。主要スコアは依然として7.3点上昇しており、全体的な実用性への影響はない。次回テストで材料制約が引き続き75点を下回る場合はさらなる検証が必要となるが、85点以上に回復した場合は本日の結果がランダムな変動であったと確認できる。現時点のデータは、モデルの総合能力を下方修正する根拠にはならない。

企業の導入選定においては、DeepSeek V4 Pro をコード実行の主要モデルとして採用しつつ、材料制約のプロセスでは人的確認または複数モデルによる相互検証を維持することが望ましい。安定性評価軸については今回のデータが提供されていないため、複数日にわたる標準偏差を継続的に観察し、一貫性を確認する必要がある。

データ出典：YZ Index | Run #382 | 元データを見る