Doubao Proのコード実行スコアが16.7点急落、素材制約は30.6点上昇

Doubao ProはSmoke評価の本日テストにおいて、コード実行スコアが昨日の91.70点から75.00点に下落し、16.7点の降下を記録した。一方、素材制約スコアは69.40点から100.00点に上昇し、30.6点の増加となった。総合スコアは81.67点から86.25点に上昇し、4.6点のプラスとなった。

スコア比較の直接的な事実

エンジニアリング判断スコアは63.90点から100.00点に上昇し、36.1点増加した。タスク表現スコアは100.00点から91.70点に低下し、8.3点の降下となった。誠実性評価は「pass」を維持している。Smoke評価は1日あたり10問のみで、各スコア軸につき2問ずつとなっているため、単日の変動は正常範囲内とされる。

原因分析：出題抽選の変動であり、モデルの実質的な性能劣化ではない

総合評価の2つのスコア軸であるコード実行と素材制約が、まったく逆方向の大幅な変動を示した。コード実行が16.7点下落する一方、素材制約は30.6点上昇し、エンジニアリング判断も同時に36.1点上昇した。このような対照的な動きは、日次の出題抽選における難易度と問題タイプの差異に起因する可能性が最も高い。Smoke評価の問題数は限られており、1日10問のランダムな組み合わせにより、あるスコア軸では難易度の高いコード実行問題が出題され、同時に素材制約やエンジニアリング判断では得点しやすい問題が出題されることは十分ありうる。

モデルの実質的な能力劣化であれば、通常は複数のスコア軸が同時または同方向に低下するはずであり、エンジニアリング判断と素材制約が同時に大幅上昇するような状況は起こらない。タスク表現の低下が8.3点にとどまっていることも、全体的な能力に系統的な低下が生じていないことを裏付けている。また、総合スコアがむしろ4.6点上昇していることも、コード実行という単一スコア軸の急落との対比を示しており、素材制約の満点上昇効果がコード実行の損失を上回ったことを示している。

利用者への具体的な意味

コード実行に強く依存する開発チームは注意が必要だ。本日の75.00点という水準は、Smoke評価の同種コードタスクにおいて、Doubao Proの完了率または正確率が明確に低下したことを意味する。重要なコード生成タスクには人的レビューの工程を追加する必要があり、特に複数ステップにわたるデバッグや複雑なアルゴリズムの実装が求められる場面での注意が必要だ。

素材への忠実度が重視されるシナリオにおいては、本日の100.00点という結果はポジティブなシグナルを提供している。モデルは与えられた素材に従い、ハルシネーション出力を回避する点で満点水準に達している。エンジニアリング判断の100.00点もまた、工学的なトレードオフを要する意思決定問題において、本日の出題がDoubao Proの優れたパフォーマンスを引き出したことを示している。

戦略的判断

本日のスコア比較に基づけば、Doubao ProのSmoke評価結果は、モデルの実質的な劣化ではなく、主に出題抽選の変動によって左右されたと言える。総合スコアが4.6点上昇したという事実は、単一スコア軸の急落が全体的な順位に影響を与えていないことを示している。次回以降で検証すべきシグナルは、コード実行スコアが連続して複数日にわたり75点付近にとどまるかどうかであり、その場合はそのスコア軸における安定性の再評価が必要となる。

現時点のデータは、今回の急落を能力の永続的な低下として解釈することを支持しない。モデル選定を検討する企業は、引き続き後続のSmoke評価におけるコード実行と素材制約の推移を観察し、変動が収束するかどうかを確認することが望ましい。

データソース：YZ Index | Run #295 | 元データを見る