Qwen3 Max、材料制約スコアが15.1点急落——コード実行は18.4点上昇

Qwen3 Maxは本日のSmoke評価において、材料制約スコアが83.60点から68.50点へ下落し、降幅は15.1点に達した。一方、コード実行スコアは73.10点から91.50点へ上昇し、主要ランキングスコアは77.83点から81.15点へ上昇した。

データの事実：コア次元で逆方向の激しい変動

材料制約とコード実行は、主要ランキングにおける唯一の2つの監査可能な次元である。昨日は材料制約83.60点・コード実行73.10点、本日は材料制約68.50点・コード実行91.50点となり、それぞれの変動幅は-15.1点および+18.4点となった。エンジニアリング判断は11.10点から66.70点へ、タスク表現は65.00点から66.70点へそれぞれ上昇した。誠実性評価はpassを維持している。

Smoke評価は1日あたり10問のみで、各次元2問ずつとなっている。1日あたりのスコアの標準偏差は問題の抽選に大きく左右されるため、材料制約とコード実行で同時に15点超の逆方向変動が生じることは、小サンプル抽出による変動の特徴と一致する。

原因分析：問題抽選による変動の可能性が高い

材料制約次元は主に、与えられた素材に対するモデルの忠実度と境界遵守を評価する。本日の68.50点は昨日比15.1点の下落となったが、最も可能性の高い原因は、素材への忠実度要求がより厳しい2問が抽選された点にある。コード実行次元が同時に18.4点上昇していることは、同じ問題セット内のコード関連タスクの難易度や種類が昨日と明らかに異なることを示している。

モデルに真の劣化が生じている場合、通常は複数の次元が同時または同方向に下落する形で現れるのであって、主要ランキングの2つのコア次元がほぼ鏡像のような逆方向の動きを示すことはない。エンジニアリング判断が+55.6点という極端な上昇を示していることも、当日の問題分布が昨日と系統的に異なることを裏付けている。

したがって、現在のデータは「問題抽選による変動」の解釈を「モデルの真の劣化」よりも強く支持している。

利用者への示唆

材料制約への依存度が高いシナリオ（契約審査、政策解釈、長文書の要約など）においては、Qwen3 Maxの本日の68.50点という結果から、人手による検証プロセスの追加が必要であることが示唆される。一方、コード実行スコアの91.50点は、純粋なコード生成・デバッグタスクにおいては、同モデルの本日の実用性が昨日を上回ることを示している。

主要ランキングスコアの81.15点は依然として昨日を上回っており、総合的な能力に全体的な低下は見られない。Qwen3 Maxに依存する開発者は引き続き利用可能だが、材料制約に敏感なタスクに対しては追加の検証プロセスを設けるべきである。

戦略的判断

現在のスコア比較に基づけば、Qwen3 Maxの材料制約における15.1点の下落は、能力劣化のシグナルではなく抽出ノイズである可能性が高い。主要ランキングは依然として+3.3点を実現しており、モデル全体が過大評価されていないことを示している。

次回のSmoke評価で材料制約が引き続き75点を下回り、かつコード実行が反落する場合は注目レベルを引き上げる必要がある。一方、材料制約が80点以上に回復した場合は、本日の結果が典型的な抽出変動であると確認できる。現段階では、Qwen3 Maxの主要ランキング順位を引き下げる判断を下す必要はない。

データ出典：YZ Index | Run #222 | 元データを見る