Doubao Pro は本日のSmokeベンチマークにおいて、主要スコアが79.18点から68.54点へと10.6点下落した。
データファクト
コード実行ディメンションは昨日の78.50点から68.40点へ10.1点低下、素材制約は80.00点から68.70点へ11.3点低下した。エンジニアリング判断は100.00点から63.60点へ36.4点低下、タスク表現は87.90点から86.70点へ1.2点低下した。誠実性評価はpassを維持した。
原因分析
エンジニアリング判断で36.4点という大幅な変動が生じた最も可能性の高い原因は、当日の抽選問題がサブスコアディメンションの感度に影響したことにある。Smokeベンチマークは1日あたりわずか10問・2問／ディメンションであり、1日あたりのサンプル数が限られているため、エンジニアリング判断のようなサブスコアディメンションは具体的な問題の影響を受けやすい。主要スコアを構成するコア2ディメンション——コード実行と素材制約——が同時に約10〜11点低下したことは、今回の変動が単一のサブスコア異常ではなく、全体的な回答一致性に問題が生じていることを示している。
タスク表現がわずか1.2点の低下にとどまったことと対比すると、モデルはタスク表現における出力スタイルが比較的安定している一方で、素材への厳密な準拠やコード実行を要するシナリオで顕著な劣化が生じていることが分かる。現時点のデータでは、問題の抽選による無作為な変動なのか、モデルの実際の能力低下なのかを判別できず、今後複数日にわたるデータによる検証が必要である。
利用者への示唆
コード実行を重視するチームがDoubao Proを採用する際は、人手によるチェック工程を追加する必要がある。コード実行スコア68.40点は、10問中3問以上で実行エラーが発生しうることを意味するからである。素材制約スコア68.70点も同様に、契約レビューやデータ抽出など素材への忠実度が求められるシナリオでは、モデルが情報を見落としたり書き換えたりする可能性があることを示唆している。
エンジニアリング判断スコア63.60点は、アーキテクチャ決定やソリューション評価にモデルを活用する開発者への影響が大きく、こうしたタスクはエンジニアリング判断スコアのより高いモデルに委ねることを推奨する。タスク表現スコア86.70点は依然として実用範囲内にあり、日常的な対話やコンテンツ生成のシナリオへの影響は小さい。
戦略的判断
今回の主要スコア10.6点の下落は、主にコード実行と素材制約の2つのコアディメンションが共同で牽引したものであり、エンジニアリング判断の36.4点という急激な変動が全体の下落幅をさらに拡大させた。誠実性評価はpassを維持しており、モデルに顕著なハルシネーションや虚偽情報の問題は生じていない。
現時点のデータは、Doubao Proを観察リストに加え、次回のコード実行と素材制約が回復するかどうかを重点的に追跡することを支持している。両ディメンションが70点を継続して下回る場合は、本番環境での使用比重を引き下げることを検討すべきである。安定性ディメンションのスコアは31.7点であり、このモデルが1日あたりのスコア変動が大きいことをすでに示している。モデル選定にあたっては、単日の結果ではなく複数日の平均スコアを参照すべきである。
データ出典：YZ Index | Run #423 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接