DoubaoがSmokeテストで主要スコア8点急落——材料制約スコアが1日で25.8点下落

Doubao Proは本日のSmokeテストにおいて、主要スコアが昨日の87.60から79.57へと8点下落した。主な原因は、材料制約スコアが84.30から58.50へと急落したことにある。

データの詳細分析

コード実行スコアは90.30から96.80へと上昇し、エンジニアリング判断は69.50から63.60へと低下、タスク表現は95.00で変わらず、誠実性評価はpassを維持した。主要スコアはコード実行と材料制約の加重平均のみで構成されているため、材料制約の25.8点の下落が直接的に全体スコアを8点引き下げた。

原因分析：抽選による変動か、実質的な性能低下か

Smokeテストは各スコア次元につき1日2問のみで、1問あたりの得点ウェイトが非常に高い。材料制約の2問が同時に原文の厳密な引用や幻覚の拒否を求める問題であった場合、モデルが1回でも大きく逸脱すると20点以上失う可能性がある。コード実行が逆に6.5点上昇したことは、コード処理において系統的な問題が生じていないことを示している。エンジニアリング判断の小幅な下落（5.9点）は材料制約の下落幅よりはるかに小さく、最も可能性の高い原因は材料制約次元の出題が忠実度制御における一貫性の低さを集中的に露わにしたことであり、全体的な性能低下ではないと考えられる。

材料制約スコア58.50と昨日の84.30との差は通常の1日標準偏差の範囲を超えており、この次元における現在の一貫性の低さを示している。

利用者への具体的な意味

材料制約に強く依存するシナリオ（法律契約の審査、財務諸表の照合、技術文書の整合確認など）では、人手によるチェックの比率を高める必要がある。コード実行スコア96.80は純粋なプログラミング補助タスクにおいて依然として参考価値があるが、「指定された資料に基づいて回答する」ことが同時に求められるタスクでは、材料制約スコア58.50が出力誤差のリスクを大幅に高める。開発者がRAGパイプラインでDoubao Proを使用する際には、出典検証レイヤーを追加することを推奨する。

戦略的判断

現在のスコア比較に基づくと、Doubao Proの材料制約スコアの1日あたりの急激な変動は、次回以降のSmokeテストで引き続き追跡する価値がある。材料制約スコアが2日連続で65点を下回った場合、この次元に安定性の問題があると初歩的に判断できる。次回のスコアが80点以上に回復した場合、今回の下落は出題の抽選によるものである可能性が高い。現在のデータは「モデル全体の性能低下」という結論を支持しないが、「材料制約の一貫性不足」という観察を支持する。

エンジニアリング判断とタスク表現のサブスコアの変動幅はいずれも主要スコアの核心次元より小さく、主要スコアの下落が主に材料制約によって引き起こされたことを裏付けている。企業の採用選定において、材料の忠実度が核心要件である場合は、少なくとも3日分のSmokeデータを待ってから決定することを推奨する。主な用途がコード生成であれば、現在の96.80点は依然として実用範囲内にある。

データ出典：YZ Index | Run #415 | 原データを見る