Doubao Pro、Smoke評価でAPI障害により全5次元データ欠損―メインランキング不参加

Doubao Pro は本日の Smoke 評価において、API 障害／タイムアウトにより、コード実行・グラウンディング・判断・整合性・コミュニケーションの5次元データが完全に欠損した。現在、自動再実行プロセスに移行しており、今回はメインランキングへの参加を見送る。

データの事実：5次元すべてが「-」

スコア比較表では、コード実行・素材制約・エンジニアリング判断・タスク表現・メインランキングのすべてが「-」から「-」となっており、数値が一切出力されていない。これは Smoke 評価の通常フローである1日10問（次元あたり2問）と直接矛盾しており、リクエストが実行フェーズの段階で中断されたことを示している。

原因分析：明確にAPIレベルの障害を示す

出題サンプリングの変動は通常、単問のスコアの上下に留まり、次元全体の記録が空白になることはない。モデルの実際の性能劣化であれば、スコア自体は存在した上で数値が低下するはずだが、今回の記録ではスコアそのものが存在しない。システムは「API障害／タイムアウト」と明確に記録しており、これはネットワーク接続・認証、またはサーバー側のレスポンスタイムアウトを指しており、モデル能力の変化とは無関係である。

Smoke 評価は毎日実施される簡易テストであり、1日の変動は正常範囲内だが、次元全体の欠損は別種のシグナルである。「サンプリング運が悪かった」や「モデルが突然弱体化した」という可能性は排除され、外部呼び出しチェーンの中断を直接示している。

利用者への示唆

コード実行を重視するチームが Doubao Pro を統合する際には、APIヘルスチェックとリトライ機構を追加し、単発のタイムアウトによってパイプライン全体が停止するリスクを回避する必要がある。素材への忠実性が求められるシナリオでは、開発者は呼び出し層にタイムアウト閾値とフォールバックモデル切り替えロジックを設定し、サービス利用不能による重要タスクの中断を防ぐべきである。

このモデルに依存する開発者は自動再実行の結果に注目する必要がある。再実行も失敗した場合は、本番環境のタイムアウト設定の見直しやマルチリージョンデプロイの追加を検討すべきである。

戦略的判断

今回の異常はAPI障害によるものであり、モデル能力の劣化とは無関係であるため、Doubao Pro のコアパフォーマンスを疑う必要はない。次回の Smoke 評価で再実行が成功しスコアが正常に戻れば、今回の事象は孤立した技術的問題と確認できる。再実行後も同様の欠損が発生した場合は、呼び出しチェーンの安定性を検証する必要がある。

現在のスコア比較に基づくと、Doubao Pro の今回のメインランキング不参加は技術的な記録上の問題に過ぎず、能力評価の根拠にはならない。企業の導入検討においては引き続き過去の完全な評価データを参照しつつ、統合フェーズにおいてAPIのフォールトトレランス設計を強化することを推奨する。

データソース：YZ Index | Run #274 | 元データを見る