Doubao Pro は本日のSmoke評価テストにおいて、メインランキングが86.25点から71.22点に下落し、コード実行次元は75.00点から58.30点に、材料制約は100.00点から87.00点に低下した。
スコア変化データの詳細分析
コード実行次元は1日で16.7点を失い、材料制約は13点を失い、両者が合わさってメインランキングを15.03点押し下げた。エンジニアリング判断のサイドランキングは100.00点から50.00点に急落し、タスク表現のサイドランキングは3.3点小幅上昇して95.00点となった。誠実性評価はpassを維持した。
変動要因の分析
Smoke評価テストは1日あたり各次元2問のみであり、1問あたりの得点ウェイトが高い。コード実行次元が75点から58.3点に下落したのは、より難易度の高いコード問題が抽選されたか、特定の制約下でモデルが誤った出力をしたことが最も有力な原因と考えられる。材料制約が満点から87点に下落したことは、少なくとも1問で材料からの逸脱が生じたことを示している。エンジニアリング判断サイドランキングの50点への大幅な下落も、モデルのパラメータレベルの劣化ではなく、問題の抽選によるランダム性を示唆している。
タスク表現のサイドランキングはむしろ上昇しており、今回の抽選において表現系タスクでのモデルのパフォーマンスが安定していたことを示している。全体的な変動は1日10問の速報テストの統計的特性に合致しているが、連続する2つのコア次元が同時に低下したことは、典型的な1問あたりの誤差範囲を超えている。
利用者への具体的な意味
コード生成に大きく依存するチームは、本日Doubao Proの出力に対して追加的な検証を行う必要がある。58.3点というレベルは、コード実行タスクの約41.7%でエラーが発生する可能性があることを意味する。材料の忠実度に敏感なシナリオ（契約書の抽出やレポート生成など）においても、人手によるレビュー工程を追加すべきであり、87点は13%の材料逸脱リスクに相当する。
エンジニアリング判断サイドランキングの50点は、複数ステップの推論とトレードオフが必要なシナリオにおいて今回のモデルのパフォーマンスが不安定であることを示しており、アーキテクチャや方針の判断にこのモデルを依存している開発者は、他のモデルに切り替えるか、人手による検証を追加するべきである。
戦略的判断
今回のメインランキング15点下落は主に問題抽選の変動によって引き起こされており、モデルの真の劣化を示す十分な証拠にはまだ至っていない。ただし、エンジニアリング判断サイドランキングの50点とコード実行の16.7点の同時下落はシグナルの強度が通常の1日の変動を超えており、次回のSmoke評価テストで一貫性を重点的に検証する価値がある。次回のテストでコード実行と材料制約が同時に80点以上に回復すれば今回はランダムなイベントであり、引き続き70点を下回るようであれば、コードと材料の双方において高い要件が求められるシナリオにおけるDoubao Proの適用性を改めて評価する必要がある。
データソース：YZ Index | Run #234 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接