DoubaoProは本日のSmokeテストにおいて、材料制約スコアが昨日の100.00から79.50へと20.5点下落した一方、主要ランキングスコアは86.25から90.78へと上昇した。
スコア変動の詳細
コード実行は75.00から100.00へと25点上昇。エンジニアリング判断は100.00から75.00へと25点下落。タスク表現は91.70から95.00へと3.3点上昇。誠実性評価はpassを維持した。
データファクト分析
Smokeテストは1日あたり10問、各次元2問で構成される。材料制約は1日で20.5点、エンジニアリング判断は25点の損失となり、両者合計でサイドランキングの成績を押し下げた。ただしコード実行の満点が主要ランキングを4.5点直接押し上げており、次元間でスコアが明確に相殺し合っていることが示された。
考えられる原因の分析
問題の抽選による変動が最も有力な説明である。材料制約の1日2問の出題において、難易度が高かったり引用要件が厳格だったりする問題が当たった場合、忠実度における失点が拡大しやすい。エンジニアリング判断でも同様に25点の下落が見られたことから、当日の問題が多段階推論と制約遵守を組み合わせたシナリオを同時に試した可能性が示唆される。
モデルの実質的な性能劣化の可能性は低い。コード実行が75.00から一気に満点となっていることは、コア能力に系統的な低下が生じていないことを示している。タスク表現もわずかに上昇しており、主要ランキングスコア全体としても依然プラスとなっている。
利用者への示唆
コード実行を重視するチームはDoubaoProを引き続き利用できる。本日の100.00点という結果は、この次元において満点水準に達していることを示している。契約書の抽出・政策の引用・学術執筆など、材料の忠実度が重要なシーンでは、79.50点という水準は人手による検証工程の追加が必要であることを意味する。
エンジニアリング判断の75.00点は、複雑な意思決定チェーンを伴うタスクにおいて、制約条件下でモデルが判断の偏りを示す可能性があることを示唆している。この能力に依存する開発者は代替案または二重検証フローを準備しておくべきである。
戦略的判断
材料制約とエンジニアリング判断が同日に同時下落し、コード実行が大幅に上昇したことは、モデル能力の劣化よりも問題の抽選による変動の確率が高いことを示している。主要ランキングスコアの上昇がサイドランキングの問題を覆い隠しており、次回も材料制約が85点を下回る場合は一貫性の検証を重点的に行う必要がある。
現時点のデータは「継続的な劣化」という結論を支持しないが、エンジニアリング判断25点の下落と材料制約20.5点の下落が同時に発生したことは、次回以降で追跡すべきシグナルである。Smokeテスト3回連続で材料制約の標準偏差を観察し、15点を超えるようであれば利用戦略の見直しを検討することを推奨する。
総じて、DoubaoProの本日の結果は次元間で明確な分化を示している。主要ランキングはコード実行の満点に恩恵を受けた一方、材料制約とエンジニアリング判断の下落は抽選による可能性が高い。材料制約を重視するユーザーは警戒を高め、偶発的な変動かどうかを確認するために後続スコアを継続的に追跡する必要がある。
データ出典：YZ Index | Run #297 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接