Doubao Pro、材料制約スコアが1日で40.9点下落——コード実行は25点上昇、総合ランキングは4.7点低下

Doubao Proは本日のSmokeテストにおいて、材料制約スコアが90.90点から50.00点へ低下し、コード実行スコアが75.00点から100.00点へ上昇した。総合ランキングは82.16点から77.50点へ下落した。

データファクトの分解

今回のSmokeテストは計10問で、各次元2問ずつの構成となっている。材料制約次元は本日50.00点を記録し、昨日の90.90点から40.9点低下した。コード実行次元は本日100.00点を記録し、昨日の75.00点から25点上昇した。エンジニアリング判断は75.00点で変化なし、タスク表現はわずかに上昇し91.70点となった。総合ランキングはコード実行と材料制約の加重のみで構成されているため、材料制約の大幅な下落が全体順位を直接押し下げる結果となった。

原因分析：抽選による変動か、それとも能力の劣化か

Smokeテストは毎日問題がランダムに抽選され、2問というサンプル数は極めて少ない。1問の失敗だけで次元スコアに激しい変動が生じ得る。材料制約は昨日90.90点と比較的高い材料忠実度を示していたが、本日の50.00点は、2問の参照問題においてモデルが明らかな逸脱や欠落を起こした可能性を示している。コード実行が同時に満点へ上昇していることは、本日抽選されたコード問題の難易度や種類がモデルの現在の能力により適合していたことを示す。エンジニアリング判断とタスク表現の変動が軽微であることは、変動が主に材料制約という検証可能な次元に集中していることをさらに裏付けている。

真の能力劣化であれば、通常は複数次元の同時下落や誠実性評価の変化を伴う。しかし本日の誠実性評価は依然として「pass」であり、エンジニアリング判断にも変動はない。したがって、材料制約における40.9点の下落は、モデルパラメータレベルの劣化よりも、問題抽選によるサンプル分散に起因する可能性が高い。

利用者への具体的な示唆

材料制約に強く依存するRAG検索、企業文書Q&A、契約審査といったシナリオでは、本日のデータは人手によるレビュー工程の追加を示唆している。コード実行の満点は、純粋なプログラミングタスクにおいて当日モデルが安定したパフォーマンスを発揮していることを示しており、一時的なコード生成ニーズに適している。参照能力とコード能力の両方を必要とする混合ワークフローに対しては、モデル呼び出しの分離または多段階検証の追加を推奨する。

戦略的判断

1日間の比較に基づくと、Doubao Pro総合ランキングの4.7点低下は主に材料制約の変動によって引き起こされており、継続的な劣化を支持する根拠は現時点では存在しない。次回のSmokeテストで材料制約が依然70点を下回る場合は注視の優先度を上げる必要があるが、80点以上に回復した場合は偶発的な抽選イベントと判断できる。現在のデータはモデル全体の能力に関する評価引き下げを支持するものではないが、材料制約に依存するチームに対しては、重要プロジェクトにおいて複数モデルのバックアップを確保しておくよう注意を促す。

データ出典：YZ Index | Run #284 | 原始データを見る