Qwen3 Max、材料制約スコアが16.9点急落、コード実行は64.3点急騰

Qwen3 MaxはSmoke評価の本日テストにおいて、材料制約スコアが昨日の90.90点から74.00点に低下し、16.9点の下落を記録した。一方、コード実行スコアは25.00点から89.30点に上昇し、64.3点の増加となった。メインランキング総合スコアは54.66点から82.42点に上昇した。

得点詳細と各スコアの構成

Smoke評価は毎日固定で10問出題され、コード実行と材料制約がそれぞれ2問を占める。本日の材料制約2問の合計スコアは74.00点で、昨日の90.90点より16.9点減少した。コード実行2問の合計スコアは89.30点で、昨日の25.00点より64.3点増加した。エンジニアリング判断スコアは36.10点で変化なく、タスク表現は33.90点から38.90点に上昇した。誠実性評価は「pass」を維持した。

スコア変動の原因分析

材料制約とコード実行が同時に大幅な逆方向の変動を示した最も考えられる原因は、出題抽選のランダム性である。Smoke評価では1日あたりのメインランキング問題が4問のみであるため、1問あたりの比重が高く、難易度や種類の異なる問題が抽選されれば、スコアが大きく変動しうる。コード実行が低水準から大幅に回復したことは、本日抽選されたコード問題がモデルの現在の強みにより合致していた可能性を示唆している。一方、材料制約が同時に低下したのは、原文への厳密な忠実性やフォーマット制約が求められる問題が抽選された可能性がある。両スコアが同時に逆方向に変化したことは、モデル能力の系統的な低下ではなく、問題のばらつきによるものと考えられる。

利用者への具体的な意味

契約情報の抽出、法規Q&A、長文の忠実な書き換えなど、材料制約への依存度が高い用途においては、本日の74.00点は単日の出力においてフォーマットや内容の逸脱が生じる可能性を意味しており、開発者は手動での検証工程を追加する必要がある。コード実行を重視するチームは、本日の89.30点の実績を活かして、スクリプト生成やデータ処理タスクでより高い成功率を得られる可能性がある。メインランキングの82.42点は導入を検討する企業にとって当日のスナップショットに過ぎず、長期的な展開の根拠として直接用いることは適切でない。

戦略的判断

現在の単日データに基づくと、材料制約の16.9点の低下とコード実行の64.3点の上昇の最も合理的な説明は出題抽選の変動であり、モデル能力の実質的な低下ではない。安定性スコアの31.7点は、このモデルの単日スコアの分散が大きいことをすでに示しており、今回の逆方向の変動はさらに一貫性の不足を裏付けている。次回以降も材料制約スコアが90点台に回復するかどうかを継続的に追跡し、2日連続で80点を下回った場合に初めて能力の変化と判断することを推奨する。現時点では、Qwen3 Maxのメインランキングにおける能力評価を引き下げる必要はない。

データ出典：YZ Index | Run #328 | 元データを確認する