GLM-4.6、コード実行で12.5点下落――資料制約で満点取得しメインランキングは5.4点上昇

GLM-4.6は本日のSmoke評価においてメインランキング79.38点を記録し、コード実行次元62.50点、資料制約次元100.00点、誠実性評価はfailからpassへと転換した。

スコア比較の事実

昨日はコード実行75.00点・資料制約78.30点・エンジニアリング判断75.00点・タスク表現20.00点、メインランキング74.00点だった。本日はコード実行62.50点・資料制約100.00点・エンジニアリング判断75.00点・タスク表現41.70点、メインランキング79.38点となった。コード実行は1日で12.5点下落、資料制約は21.7点上昇、タスク表現は21.7点上昇した。

変動要因の分析

Smoke評価は1日あたりわずか10問で、各次元2問ずつ出題され、問題の抽選によるランダム性がスコアに直接影響する。コード実行が75.00から62.50に低下した最も有力な原因は、本日の抽選でコードの正確性要件がより高い問題が選ばれたことであり、資料制約については制約を満たしやすい問題が抽選された結果とみられる。エンジニアリング判断が75.00点のまま変動しなかったことは、この次元の問題難易度が比較的安定していることを示している。誠実性評価がfailからpassへ転換した点も、モデルのパラメータや学習データに系統的な問題が生じたのではなく、単日の問題抽選の変化によるものと考えられる。

モデルに真の劣化が生じた場合、通常は複数の次元で継続的な低下が同時に現れる。本日はコード実行が下落した一方で、資料制約とタスク表現がともに大幅に上昇し、メインランキング全体も5.4点改善しており、このパターンはモデル能力の劣化ではなくランダムな抽選結果に合致する。

利用者への具体的な意味

コード実行を重視するチームがGLM-4.6を採用する際は、1回の回答における変動に備えて検証ステップを設ける必要がある。資料制約シナリオでは、本日の100.00点という結果が入力資料への厳密な準拠においてこのモデルが優位性を持つことを示しており、高い忠実度が求められる文書処理タスクに適している。タスク表現が20.00から41.70に上昇したことは、明確な出力構造が求められるシナリオにおいて、本日の抽選問題のもとでパフォーマンスが改善したことを示している。

GLM-4.6をコード生成に活用する開発者は、コード実行次元で生じ得る単日の変動に対応するため、ユニットテストのカバレッジを高めるべきである。企業が採用を検討する場合、誠実性評価がpassに転換したことはこのモデルが基本的な誠実性の基準を通過したことを意味し、次の評価フェーズへ進むことができる。

戦略的判断

本日のデータに基づくと、GLM-4.6のコード実行62.50点と資料制約100.00点という逆方向の変化は、モデルの真の劣化ではなく問題抽選の変動によって生じた可能性が最も高い。メインランキング79.38点が昨日より上昇していることは、総合的な能力に系統的な低下が生じていないことを示している。次回の評価では、コード実行が75.00付近まで回復するかどうかを観察し、2日連続して低位にとどまる場合に初めてさらなる検証を検討すべきである。

現時点ではGLM-4.6に対して追加の安定性テストを実施する必要はなく、通常の監視を維持すれば十分である。エンジニアリング判断が75.00点を維持し、誠実性評価がpassに転換したという二つのシグナルはいずれも、モデル能力が低下しているという結論を支持しない。

データ出典：YZ Index | Run #275 | 元データを見る