Doubao Pro、Smokeテスト全次元データ欠損――API障害により今回のメインランキング不参加

Doubao Proは本日のSmokeテストにおいて、コード実行・情報制約・エンジニアリング判断・タスク表現・コミュニケーションの5つの評価次元すべてのデータが欠損した。API障害またはタイムアウトが直接原因であり、今回はメインランキングの順位付けに参加しない。

スコア比較は完全に空白

前日から本日にかけてのスコア比較はすべて「-」となっており、コード実行・資料制約・エンジニアリング判断・タスク表現・メインランキングの5項目すべてに具体的な数値がない。これは、評価プロセスがデータ収集段階で中断したことを示しており、モデルが問題に回答した後に低スコアを出したわけではない。

考えられる原因の分析

問題抽選のばらつきは通常、単一次元のわずかな変動として現れるが、今回はすべての次元で同時にデータが存在しないため、API接続または応答タイムアウトを示唆している。モデルの実際の性能劣化は特定の問題のスコア低下として現れるはずだが、今回の記録には回答の証跡がまったく存在しないため、性能劣化の判断を支持することはできない。

API障害によるデータ欠損はモデル自体の能力とは無関係であり、自動再実行メカニズムはすでに起動済みである。

利用者への意味

コード実行を重視するチームがDoubao Proを呼び出す際は、タイムアウト時のリトライロジックを追加し、単発のAPIコール失敗が業務フローに影響しないようにする必要がある。資料への忠実度を重視するシナリオでは、正式なデプロイ前に再実行結果を待ち、情報制約次元が正常に回復しているかどうかを確認することを推奨する。

• 企業がモデル選定を行う際は、Doubao Proをウォッチリストに入れ、再実行データが公開された後に最終判断を下すとよい。
• このモデルの継続的なサービスに依存する開発者は、突発的なAPIタイムアウトに備えてバックアップモデルを用意しておくべきである。

戦略的判断

今回の異常は技術レベルのシグナルであり、モデル能力の劣化を示す証拠にはならない。次回の再実行データで全次元の記録が回復すれば、追加の注目は不要である。再びデータ欠損が発生した場合は、APIの安定性が持続的なボトルネックになっていないかを検証する必要がある。

安定性次元はモデルの回答の一貫性を測定するもので、スコアの標準偏差に基づいて算出される。今回の事象ではスコア自体が存在しないため標準偏差を計算できず、安定性に関する結論を導き出すことはできない。

データの規律上、すべての判断は提示済みの比較データのみに基づく。今回の比較データは空白であるため、結論は技術的障害そのものに限定される。利用者は自動再実行の結果を引き続き追跡し、監査可能なコード実行および情報制約の数値を取得することができる。

エンジニアリング判断とタスク表現はサイドランキングの次元として今回同様に欠損しているが、メインランキングのロジックには影響しない。誠実性評価のpassはランキング参加の前提条件であり続けており、今回の事象はその条件に抵触していない。

可用性は稼働シグナルとして機能しており、今回の障害はAPIエンドポイントに瞬間的な利用不可状態が存在することを示している。本番環境ではヘルスチェックの設定を推奨する。

以上を総合すると、Doubao Proの今回のSmokeテスト異常はAPI障害によるものであり、モデルの実際の能力に劣化の兆候は見られない。再実行データを待つことが、現時点の記録に基づく唯一の合理的な対応である。

データ出典：YZ Index | Run #264 | 元データを見る