Doubao Pro の材料制約スコアが15.9ポイント急落、総合ランキングも7.2ポイント低下

Doubao Pro は本日のSmokeテストにおいて材料制約スコアが80.20点から64.30点へと15.9ポイント下落し、総合ランキング全体のスコアも91.09点から83.94点へと低下した。

スコア比較データ

コード実行ディメンションは100.00点で変化なし。材料制約ディメンションは80.20点から64.30点に低下。エンジニアリング判断ディメンションは100.00点で変化なし。タスク表現ディメンションは100.00点から91.70点に低下。誠実性評価はpassを維持。

データの詳細分析

総合スコアはコード実行と材料制約という2つの監査可能なディメンションを加重して算出される。本日の材料制約ディメンションが単独で15.9ポイント低下したことが、総合スコアを直接7.2ポイント押し下げた。コード実行は満点を維持しており、モデルはコード関連タスクで引き続き満点のパフォーマンスを発揮できていることを示している。

タスク表現ディメンションでも8.3ポイントの低下が見られ、材料制約ディメンションと同時に下落したことから、今回抽出された問題においてモデルの指示への追従と出力フォーマットの制御に揺らぎが生じていることが示される。

考えられる原因の分析

Smokeテストは1日あたり10問・ディメンションごとに2問のみで、問題の抽選にランダム性があるため、単日のスコアに変動が生じる可能性がある。今回の材料制約ディメンションの低下幅は15.9ポイントに達しており、典型的な抽選による変動範囲を超えていることから、問題の難易度変化とモデルの実際の能力低下を区別して考える必要がある。

現在のスコアを見ると、コード実行とエンジニアリング判断の2ディメンションが満点を維持しており、モデルの基礎能力に体系的な低下は生じていないことを示している。材料制約とタスク表現が同時に影響を受けている点は、今回抽出された材料忠実度関連問題の特性との関連がより高いと考えられる。

利用者への示唆

コード実行を重視するチームはDoubao Pro を引き続き利用可能であり、コード実行ディメンションは100.00点を維持しており、今回の変動の影響を受けていない。

文書要約・契約情報抽出・ナレッジベースQ&Aなど、材料忠実度が重要なシナリオでは、追加の人工確認プロセスを設けることが必要である。材料制約が80.20点から64.30点に低下したことは、今回のテストにおいてモデルが材料外の情報を出力したり、重要な制約を見落とす傾向が強まっていることを意味する。

タスク表現ディメンションが91.70点に低下したため、厳格なフォーマット出力に依存する自動化フローでフォーマットエラーが発生する可能性があり、本番環境での出力検証ステップの追加を推奨する。

戦略的判断

材料制約ディメンションが単日で15.9ポイント低下したことは、通常の抽選変動範囲を超えており、次回のSmokeテストで同ディメンションのスコアを引き続き追跡する価値がある。次回の材料制約スコアが75点以上に回復した場合は、今回の低下が問題抽選によるものである可能性が高く、70点を継続的に下回る場合は材料制約方向におけるモデルの実際の安定性を検討する必要がある。

コード実行ディメンションは満点を維持しており、Doubao Pro がその方向において競争力を持ち続けていることを示している。総合スコア83.94点は昨日の水準を下回っており、モデル選定にあたっては総合ランキングのみを参照するのではなく、材料制約を独立した評価項目として考慮する必要がある。

誠実性評価はpassを維持しており、今回のテストでモデルに誠実性の問題は見られなかったため、引き続き候補として検討可能であるが、材料制約のパフォーマンスを重点的な検証指標とする必要がある。

データ出典：YZ Index | Run #324 | 元データを見る