GLM-4.6は本日のSmokeテスト評価においてデータ不完整な状況が発生し、情報根拠と工学的判断の2次元が欠損した。APIの障害またはタイムアウトにより、当該モデルは自動再実行プロセスに入っており、今回は主要ランキングへの参加対象外となっている。
スコア比較データ
昨日から本日にかけて、コード実行次元はデータなしから19.50点に変化し、材料制約次元は引き続き欠損、工学的判断次元も欠損、タスク表現次元は50.00点を記録した。主要ランキング全体ではスコアなしとなっている。
データ事実の整理
Smokeテスト評価は1日あたり10問のみで、2問ごとに1次元に対応しており、1日単位の変動は通常の範囲内である。GLM-4.6は今回、コード実行とタスク表現の2次元のみに数値があり、その他の次元はAPI上の問題により取得できなかったため、主要ランキングのスコア算出が不可能となった。
原因分析
問題の抽選による変動が一部次元のスコア低下をもたらす可能性はあるが、今回の情報根拠と工学的判断の両次元の完全欠損は、モデル自体の能力低下よりも、API呼び出しのタイムアウトまたはサーバー側の応答異常に起因する可能性が高い。タスク表現次元が50.00点を獲得しており、モデルが当該サイドランキングのタスクにおいて出力能力を維持していることが示されている。
利用者への示唆
コード実行を重視するチームがGLM-4.6に依存する際には、今回の19.50点という低スコアに注意が必要であり、コード生成系アプリケーションの安定性評価に影響を与える可能性がある。材料への忠実度が重要なシナリオでは、情報根拠次元が欠損しているため、今回のデータは参考値を提供できない。
本番環境へのGLM-4.6の統合を検討している開発者は、自動再実行後の全次元結果を待つべきであり、コード実行の19.50点またはタスク表現の50.00点という単一次元のデータのみに基づいてモデル選定の判断を下すことは避けるべきである。
戦略的判断
現在のスコア比較に基づくと、GLM-4.6の今回の異常はモデルの実際の能力低下ではなくAPIの障害が主な原因であり、次回の検証再実行後に完全なスコアが回復するかどうか確認する価値がある。現時点のデータでは、主要ランキングにおける実際の順位を判断するには不十分である。
Smokeテスト評価における1日単位の変動は正常であるが、次元欠損による主要ランキング不参加の状況については、偶発的なAPIの問題と潜在的な能力変化を区別するために継続的なトラッキングが必要である。
モデル選定を行う企業は、再実行後の多次元データを優先的に参照すべきであり、19.50点と50.00点はあくまで今回の異常記録として扱い、長期的な能力評価に直接用いることは適切でない。
データ出典：YZ Index | Run #378 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接