GLM-4.6、材料制約スコアが30.2点急落、コード実行は22点上昇

GLM-4.6は本日のSmokeベンチマークにおいて、材料制約スコアが昨日の80.20点から50.00点へ低下し、降幅は30.2点に達した。一方、コード実行は25.00点から47.00点へ上昇し、主要ランキングスコアは49.84点から48.35点へ変化した。

スコア変化の直接データ比較

材料制約の次元では−30.2点の変化が生じ、コード実行の次元では+22点の変化が見られた。エンジニアリング判断は75.00点から0.00点へ低下し、タスク表現は25.00点のまま変化なし。主要ランキングスコアはコード実行と材料制約の2次元の加重平均から算出されており、最終的な低下はわずか1.5点にとどまった。

設問抽選による変動とモデル真の劣化の区別

Smokeベンチマークは1日10問のみで、各次元につき2問を抽出するため、単日スコアは抽選された設問の内容に大きく左右される。材料制約が80.20点から50.00点へ低下し、エンジニアリング判断がゼロになったのは、当日抽選された材料忠実度問題の難易度が集中して高かったか、あるいは回答フォーマット要件がより厳格であったことが原因として考えられる。コード実行スコアが22点上昇したことは、当日抽選されたコード問題でモデルがより良いパフォーマンスを示したことを示しており、2つの次元が逆方向に変化したことは、全体的な能力の劣化ではなく設問抽選による変動を示唆している。

モデルの真の劣化であれば、通常は複数の次元が同時に低下する。しかし今回はタスク表現次元が変化せず、コード実行がむしろ向上しており、抽選変動という解釈をさらに支持する。誠実性評価は「pass」を維持しており、新たな問題は発生していない。

利用者にとっての具体的な意味

材料制約に依存するチームにとって、本日の50.00点は、入力材料に厳密に従って回答を生成する必要のある場面で、モデルのエラー確率が上昇していることを意味する。コード実行を重視する開発者は47.00点から一定の信頼を得られるものの、単日データの不安定性には注意が必要だ。

エンジニアリング判断がゼロになったことは、エンジニアリング意思決定の補助を必要とする場面に最も大きな影響を与える。利用者は重要なプロセスにおいて人によるレビュー工程を追加すべきである。

戦略的判断

現在のスコア対比に基づけば、材料制約とエンジニアリング判断の極端な変動は、モデル能力の系統的な劣化よりも設問抽選によるものである可能性が高い。主要ランキングスコアがわずか1.5点しか低下しなかった事実も、2つの主要次元の相殺効果を裏付けている。

次回のSmokeベンチマークでも引き続き材料制約が70点以上の区間に回復するかどうかを観察することを推奨する。材料制約が2日連続で50点前後にとどまる場合に初めて、モデルの真の劣化の可能性を検討すべきである。現時点では、GLM-4.6の全体的な能力評価を引き下げる必要はない。

データ出典：YZ Index | Run #385 | 元データを見る