GLM-4.6のSmokeテスト：コード実行25分、API障害によりコミュニケーション次元欠損で主榜36.25点

GLM-4.6は本日のSmokeテストにおいて主榜スコア36.25点を記録した。コード実行次元25.00点、材料制約次元50.00点、工程判断次元25.00点となった一方、communication次元のデータ欠損により正式ランキングには参入していない。

データの事実：次元別スコアと欠損状況

今回のSmokeテストは1日10問の速報評価であり、各次元につき2問が出題される。GLM-4.6のコード実行スコアは25.00点、材料制約スコアは50.00点、工程判断スコアは25.00点で、主榜平均は36.25点となった。communication次元はAPI障害・タイムアウトにより完全に欠損しており、タスク表現次元も有効な記録がない。前日の比較では全次元が「-」であったが、本日初めて具体的な数値が出現した。

原因分析：問題の抽選ばらつきかAPI障害が主因か

Smokeテストの1日あたりの変動は通常の範囲内であるが、今回のcommunication次元の完全欠損は、単純な問題難度の変化ではなくAPI障害・タイムアウトを直接示している。コード実行と工程判断がいずれも25.00点、材料制約が相対的に高い50.00点という結果は、安定したAPIレスポンスを必要とするタスクでモデルに断絶が生じたことを示す。問題の抽選ばらつきは通常40〜60点の範囲での小幅な変動をもたらすに過ぎないが、25.00点という低水準に加え次元の欠損を伴っていることから、モデル能力の突然の低下よりも技術的な接続断絶が原因である可能性が高い。

GLM-4.6は今回のSmokeテストにおいてcommunication次元がAPI障害・タイムアウトにより欠損し、主榜36.25点でランキングには参入していない。

利用者への示唆

コード実行を重視するチームがGLM-4.6をプログラミングタスクに活用する際は、APIリトライ機構を事前に確保しておく必要がある。25.00点という結果は、このモデルがSmokeの速報テストにおいてすでに応答の不安定性を示しているためだ。材料への忠実性を重視するシナリオでは50.00点は許容範囲内だが、工程判断の25.00点は、多段階推論を要する開発フローにおいてモデル出力の一貫性が期待値を下回る可能性を示唆している。このモデルに依存する開発者は、本番環境においてタイムアウト監視を追加し、単発のAPI障害によってタスクチェーン全体が中断するリスクを回避すべきである。

戦略的判断：継続的な注視が必要か

現在のスコア比較に基づくと、GLM-4.6の今回の異常はモデルの実質的な性能低下ではなく、主にAPI障害によるものである。1日10問の速報テスト固有のばらつきだけでは次元の完全欠損を説明できないため、今回の36.25点は代表性を持たない。次回のSmokeテストでcommunication次元が復旧した上でコード実行が依然25.00点前後にとどまる場合は、このモデルを重点監視リストに加える必要がある。50点以上に回復した場合は、今回の事象は孤立した技術的問題と見なせ、採用戦略の見直しは不要である。

企業が採用選定を行う際は、GLM-4.6のSmokeスコアと完全な次元記録を併せて参照することを推奨する。36.25点のみを見ると実際の利用可能性を過小評価する恐れがある。開発者は統合時に、単日の速報スコアに頼るのではなく、まずAPIの安定性を優先的に検証すべきである。

データ出典：YZ Index | Run #418 | 元データを見る