Qwen3 Max、Smoke評価で5次元すべて欠損――API障害により主要ランキングに記録なし

Qwen3 Maxは本日のSmoke評価において、実行（execution）・情報参照（grounding）・判断（judgment）・整合性（integrity）・コミュニケーション（communication）の5次元すべてが欠損し、主要ランキングのスコア記録は「- → -（-）」となり、今回は順位付けの対象外となった。

データの事実：完全な記録の中断

スコア比較表では、コード実行・資料制約・エンジニアリング判断・タスク表現・主要ランキングの5項目すべてが空白となっている。Smoke評価は1日10問・次元ごとに2問の構成であり、今回の結果はAPI障害／タイムアウトに直接起因するものとして、自動再実行が起動済みである。

原因分析：モデル層ではなくAPI層の問題

5次元が同時に欠損していることは、個別問題の抽選によるばらつきではなく、呼び出しチェーンの中断を示している。問題の抽選によるばらつきは通常、個別次元のスコアにのみ影響するが、今回は全次元でレスポンスが返らず、APIタイムアウトの特徴に合致する。モデルの実際の能力低下はスコアの下落として現れるのに対し、記録自体が空白になることはないため、今回の事象はサーバー側のレスポンス失敗である可能性が高い。

実行および資料制約の主要ランキング次元いずれもデータが存在しないことは、問題がモデル内部の推論ではなく、リクエストのレスポンス段階で発生したことを示している。

利用者への影響

コード実行を重視するチームがQwen3 Maxを用いて日次Smokeレベルの検証を行っている場合、本日の事象は重要な時間帯においてこのモデルが利用不能であったことを意味する。資料制約に敏感なシナリオも同様に影響を受けており、情報参照次元の欠損が忠実度チェックのプロセスを直接遮断した。

• 企業の技術選定においては、API可用性をSLA評価項目に含める必要があり、本日のゼロ記録はその実例となった。
• 開発者は本番環境での呼び出し前にタイムアウトリトライとフォールバックロジックを追加し、単一障害点がプロセス全体に影響することを防ぐべきである。

戦略的判断：可用性シグナルの継続的なモニタリングが必要

現在のスコア比較に基づくと、今回の事象はモデル能力の低下ではなくAPI障害によるものであるため、Qwen3 Maxのコア能力評価を引き下げる必要はない。ただし、同一モデルでAPIタイムアウトが連続して発生した場合は可用性次元を直接押し下げることになるため、次回の評価で再現するかどうかを検証する価値がある。

自動再実行メカニズムはすでに起動されており、その後の完全なデータがランキング復帰の可否を決定する。現時点で確認できる唯一の事実は、本日のSmoke評価においてQwen3 MaxがAPI障害により主要ランキングの次元スコアをいずれも提供できなかったということである。

データ出典：YZ Index | Run #387 | 元データを見る