Doubao ProのSmokeベンチマーク本日評価において、メインランキングスコアが昨日の73.40点から65.38点へ8.02点下落した。コード実行ディメンションは94.50点から45.80点へ48.70点降下し、資料制約ディメンションは47.60点から89.30点へ41.70点上昇した。エンジニアリング判断は75.00点から95.50点へ20.50点上昇、タスク表現は100.00点を維持し、誠実性評価はpassを継続している。
データファクト分析
メインランキングはコード実行と資料制約の2ディメンションを加重して構成される。本日はコード実行スコアの低下がメインランキングを直接押し下げており、資料制約の同時上昇では降落幅を部分的にしか補えなかった。エンジニアリング判断とタスク表現はメインランキングに算入されないが、その変化はサブランキングディメンションでモデルのパフォーマンスが分化していることを示している。すべての数値は当日の10問クイックテスト（各ディメンション2問）から得られたものである。
原因分析：サンプリング変動か真の劣化か
Smokeベンチマークは各ディメンション1日2問のみのサンプルであり、サンプル数が極めて少なく、1問あたりのスコアウェイトが高い。コード実行ディメンションが94.50点から45.80点へ急落した最も可能性の高い原因は、本日抽出された2問のコード問題がたまたまモデルの弱点を突き、1問あたりの失点が大きくなったことである。同期間に資料制約ディメンションが41.70点上昇したことは、同じ問題セットにおいてモデルの資料への忠実度は逆により良好だったことを示している。エンジニアリング判断が20.50点上昇したことも、問題抽出の無作為性を示唆しており、モデル能力全体の劣化ではない。タスク表現が2日連続満点であることも、変動が特定ディメンションに集中していることを裏付けている。
真の劣化であれば、通常は複数ディメンションの同時下落や誠実性評価の変化を伴うが、本日の誠実性評価は依然passであり、資料制約とエンジニアリング判断はいずれも明確な上昇を示している。したがって、現在のデータは問題抽出による変動という説明をより強く支持している。
利用者への具体的な意味
コード実行に強く依存するチームは注意が必要である。本日の45.80点は、特定のプログラミングタスクにおいてDoubao Proが大きな誤りを起こす可能性があることを示している。本番環境へのデプロイ前にローカルでのコードテスト工程を追加し、一度の出力をそのまま信頼することは避けるべきである。一方、資料制約スコア89.30点は、入力文書への厳密な準拠が求められるシナリオ（契約審査、レポート生成など）においてモデルがより安定したパフォーマンスを発揮することを示しており、この種のタスクへの優先採用が適している。
エンジニアリング判断95.50点は、モデルによるアーキテクチャ意思決定支援を必要とする開発者にとって有利だが、サブランキング属性のため実際の利用では引き続き人間によるレビューが必要である。タスク表現満点は、日常的な対話や要件記述のシナリオでリスクが低いことを意味する。
戦略的判断
1日あたり8点のメインランキング変動は少サンプルのクイックテストでは正常範囲内だが、コード実行における48.70点という極端な降落幅は次回以降の継続検証に値する。翌日のコード実行スコアが80点以上に回復すれば、サンプリングの偶然と判断できる。一方、2日連続で60点を下回る場合は、コード関連の学習データにおけるモデルの潜在的な問題を考慮する必要がある。資料制約とコード実行の逆方向の変動は、今後の評価において両ディメンションの問題難易度の相関性に注目する必要があることも示唆している。
現在のデータに基づけば、Doubao Proのメインランキング短期的な下落は主にコード実行問題の抽出不運によるものであり、全体的な能力低下ではない。採用を検討する企業はコード重点シナリオでは冗長な検証を追加し、資料忠実性シナリオでは利用優先度を適度に引き上げることを検討すべきである。
データ出典：YZ Index | Run #427 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接