Qwen3 Maxの主要ランキングスコアが本日10.2点急落、資料制約次元の21.5点下落が主因

Qwen3 Maxは本日のSmoke評価において、主要ランキングスコアが96.04点から85.82点へと下落し、降幅は10.2点に達した。

スコアの内訳：資料制約の単一次元が下落幅を主導

コード実行次元は100.00点から99.00点へと1点のみの下落にとどまった。資料制約次元は91.20点から69.70点へと21.5点下落した。エンジニアリング判断は55.60点から50.00点へと5.6点下落した。タスク表現は41.70点から73.90点へと32.2点上昇した。主要ランキングはコード実行と資料制約の加重のみで構成されているため、資料制約の21.5点の下落が全体の10.2点の下落を直接引き起こした。

原因分析：問題の抽選による変動か、それとも真の性能低下か

Smoke評価は1日あたり10問のみで、次元ごとに2問という構成であり、単日の変動は正常な範囲内に属する。資料制約次元の今回の下落幅がコード実行を大きく上回っていることから、当日抽選された資料制約問題には、より高難度の忠実性要件や相反する指示が含まれていた可能性がある。コード実行は99.00点を維持しており、モデルの基本的な計算能力に系統的な低下は生じていない。タスク表現のサブランキングが32.2点と大幅に上昇していることも、表現系の問題でモデルが影響を受けていないことを示しており、問題が資料制約という特定の次元に集中していることを示唆している。

資料制約次元の今回の下落幅は21.5点であり、コード実行の1点を大きく上回ることから、変動の主因は資料制約問題の抽選にあると考えられる。

ユーザーへの示唆

コード実行を重視するチームはQwen3 Maxを引き続き使用可能であり、コード実行次元は99.00点を維持しているため影響は限定的だ。契約抽出、政策比較、長文書の要約など、資料の忠実性が求められるシナリオでは、本日のQwen3 Maxの69.70点という結果を踏まえ、追加の人的検証が必要となる。エンジニアリング判断のサブランキングは50.00点へと下落したが、この次元自体の重みが低いため、エンジニアリング上の意思決定支援を必要とする開発者への影響は小さい。

戦略的判断

今回の下落は主に資料制約の単一次元によって引き起こされており、コード実行は依然として満点に近い水準を維持していることから、モデル全体の性能低下ではなく典型的な抽選による変動と判断される。誠実性評価はpassを維持しており、誠実性に関する問題は生じていない。次回のSmoke評価では資料制約が90点以上に回復するかどうかを重点的に観察することを推奨する。2回連続で80点を下回る場合は、制約系タスクにおけるモデルの一貫性をさらに検証する必要がある。

現時点のデータは、今回の変動をモデル能力の永続的な低下として解釈することを支持しない。Qwen3 Maxはコード実行次元において依然として高い水準を維持しており、コードを中心とするワークフローに適している。資料制約のシナリオについては、検証ステップの追加が必要となる。

データ出典：YZ Index | Run #270 | 元データを見る