Doubao Pro のSmoke評価で5次元全スコアゼロの異常——APIタイムアウトが主因

Doubao Pro は本日のSmoke評価において、execution・grounding・judgment・integrity・communicationの5次元のデータが完全に欠落し、メインランキングのランキング資格が直接取り消された。

データの事実：5次元が同時にスコアなし

スコア比較によると、コード実行・資料制約・エンジニアリング判断・タスク表現・メインランキングのすべてが「- → -（-）」と記録されている。Smoke評価は毎日固定で10問（各次元2問）を実施するが、今回の実行中にAPIがタイムアウトを返したため、監査可能なすべての次元およびサイドランキングの次元で有効なスコアが生成されなかった。

原因分析：題目のばらつきではなくAPIタイムアウト

1日10問の簡易テスト自体には抽選によるばらつきが存在するが、5次元が同時に欠落する状況は正常範囲を超えている。通常のばらつきは単一問題のスコアの上下として現れるのであって、インターフェース全体のタイムアウトとして現れるものではない。提供された比較データにはAPIの障害・タイムアウトのみが記録されており、問題への回答記録は一切示されていないため、最も可能性の高い原因は呼び出しチェーンの断絶であり、特定の問題に対するモデルの回答能力の低下ではない。

メインランキングの2次元であるコード実行と資料制約が同時にスコアなしとなっている点は、エンジニアリング判断やタスク表現の局所的な問題ではなく、基盤となるAPIの応答失敗を示している。

利用者への示唆：コード実行に依存するチームは直ちに切り替えを

Doubao Pro を用いてコード実行を行っているチームは、今回の評価でexecutionスコアを取得できなかったため、Smoke結果を通じて当日の一貫性を検証することができない。資料制約が重要なシナリオも同様に参照根拠を失っている。開発者は補足実行の結果が出るまでの間、重要なタスクを評価が完了している他のモデルに一時的に移行し、インターフェースの不安定によって本番環境でタスクが中断されるリスクを回避すべきである。

• コード実行シナリオ：本日の実行正確率を確認できないため、自動化スクリプトの呼び出しを一時停止することを推奨。
• 資料制約シナリオ：長文テキストや指示追従タスクは、利用可能な他のモデルへの切り替えが必要。

戦略的判断：今回の異常は能力低下のシグナルではない

現在のスコア比較に基づくと、Doubao Pro の今回のスコア欠落はインターフェースレベルの事象であり、モデル能力の低下ではない。安定性次元は同類の問題に対する複数回の回答スコアの標準偏差を測定するものだが、今回はスコアが存在しないため算出できず、スコアの欠落を安定性の低下と解釈することはできない。次回のSmoke補足実行で正常なスコアが回復すれば、今回の事象は単発的な偶発事故とみなすことができる。補足実行でも欠落が続く場合は、APIの可用性に注意を払う必要がある。

現在モデルを選定中の

データソース：YZ Index | Run #260 | 元データを見る