Doubao Pro のコード実行スコアが26.2点急落、メインランキングはわずか0.03点増にとどまる

Doubao Pro は本日のSmokeテストにおいて、コード実行スコアが昨日の75.00点から48.80点に下落し、26.2点のマイナスとなった。資料制約スコアは67.90点から100.00点に上昇し、32.1点のプラスとなった。メインランキングのスコアは71.81点から71.84点に上昇し、増加幅はわずか0.03点にとどまった。

データの事実:各次元スコアが逆方向に大きく変動

今回のSmokeテストは全10問で、各次元2問ずつの構成となっている。コード実行次元のスコアはメインランキングの重みの50%を直接決定し、資料制約次元も同様に50%の重みを占める。二つの中核次元で26.2点と32.1点の逆方向の変動が生じたことにより、メインランキングのスコアはほぼ変化しなかった。エンジニアリング判断次元は75.00点で変化なし、タスク表現次元は95.00点から85.00点に下落し、誠実性評価はpassを維持した。

原因分析:問題の抽選によるランダム変動の可能性が高い

Smokeテストでは1日あたりコード実行次元をカバーする問題はわずか2問であり、1問あたりのスコアの重みが非常に高い。昨日の75.00点と本日の48.80点の差は、本日抽選された2問がコード実行の要件がより高かったか、あるいは特定の構文やライブラリ呼び出しにおいてモデルが誤りを犯したことによる可能性が最も高い。資料制約次元が同時に満点に達したことは、本日の問題が資料への忠実度をより重視する内容であった可能性を示しており、Doubao Pro はこの次元において安定したパフォーマンスを発揮している。メインランキングのスコアの増加がわずか0.03点にとどまったことは、二つの次元の逆方向の変動が相殺し合ったことを示しており、モデル全体の能力に系統的な低下が生じたわけではない。

モデルの真の性能劣化であれば、通常は複数の次元が同時に下落を伴うものである。しかし今回はエンジニアリング判断次元に変化はなく、タスク表現次元もわずか10点の下落にとどまり、コード実行の変動幅より小さい。現在のスコア比較を総合すると、問題の抽選によるランダム変動がより合理的な説明となる。

利用者への示唆

コード実行に強く依存するチームがDoubao Proを選択する際は、特に複雑なアルゴリズムや複数ファイルのプロジェクトを処理する場合に、冗長な検証ステップを追加する必要がある。資料制約次元が100.00点に上昇したことは、入力資料を厳密に遵守する必要があるシナリオ(契約審査やコードコメント生成など)において、このモデルがより信頼性の高いパフォーマンスを発揮することを示している。タスク表現次元が85.00点に下落したことから、出力フォーマットに厳格な要件を持つ開発者は追加の確認を行うべきである。

戦略的判断

本日のスコア比較に基づくと、メインランキングがほぼ変化しなかったことはDoubao Pro の全体的な能力に顕著な低下が生じていないことを示している。コード実行における26.2点の1日の下落幅は、Smokeテストにおける既知の通常変動範囲内に収まる。次回以降も同一次元のスコアを継続して追跡することを推奨し、コード実行スコアが2日連続で55点を下回った場合に、モデルの真の性能劣化の可能性を検討すべきである。現時点ではDoubao Pro の評価を引き下げる必要はない。


データ出典:YZ Index | Run #435 | 元データを見る