2026-07-23 Run#243のSmokeテストにおいて、GLM-4.6の総合ランキングスコアは55.74点、コード実行は25.00点、材料制約は93.30点、誠実性評価はfail（プローブ30.00点）であった。
スコア構造が示す次元間の格差
材料制約の93.30点とコード実行の25.00点の間には明確な落差がある。材料制約は、モデルが与えられた長文ドキュメントに厳密に基づいて回答し、正確に引用できるかを評価するもので、GLM-4.6はこの次元で高得点を記録しており、提供された資料への忠実度が高いことを示している。一方、コード実行の25.00点は、実際のPythonサンドボックス環境での実行通過率が低く、実行可能なコードタスクを複数回完了できなかったことを意味する。
誠実性評価のfail（プローブ30.00点）は独立したシグナルである。この次元では42個のカナリアプローブを用いて、モデルが架空の実体を実在するものとして引用するかどうかを検出する。30.00点という結果はプローブが作動したことを示している。プローブスコアは材料制約スコアとは無関係であり、モデルが提供された資料を適切に引用できる場合でも、資料の裏付けがない状況では出典を捏造する可能性があることを意味する。
同日モデルとの比較
同日に評価された11モデルはすべて誠実性評価がpassであった。Gemini 2.5 Proのプローブスコアは100.00点、Claude Opus 4.7とGPT-5.5はともに90.00点、Qwen3 Max・Grok 4・GPT-o3・Claude Sonnet 4.6・Gemini 3.1 Proはいずれも80.00点、Doubao Proは75.00点、DeepSeek V4 Proは65.00点であった。GLM-4.6は唯一のfailモデルであり、最低スコアのDeepSeek V4 Proより35点低い結果となった。
過去のrunデータ
GLM-4.6の公開Smoke履歴において、2026-07-23・2026-07-22・2026-07-20の3回でfailまたはwarnが発生している。2026-07-22 Run#241では総合74.00点（コード実行97.00点、材料制約75.00点、プローブ25.00点）、2026-07-21 Run#240では総合62.83点で誠実性はpass（プローブ80.00点）であった。なお、スコアが0点のrunは比較基準としていない。
原因分析
材料制約の高得点と誠実性failの並存は、明確な資料がある場合はモデルが引用をある程度適切に制御できるものの、資料がない状況やプローブのシナリオでは架空の実体引用を生成しやすいことを示している。コード実行25.00点と材料制約93.30点の格差は、コードタスクにはテキストマッチングではなく精密な実行が求められるためと考えられ、モデルが実行可能なコードを生成する際に構文エラーや論理エラーが生じやすい可能性がある。
利用者への意味
コード実行に依存するチームにとって、GLM-4.6の現状25.00点という結果は、実際の運用において追加の人的検証や後処理が必要となり、開発コストが増加することを意味する。契約審査や調査レポート生成など、資料への忠実度が重要なシナリオでは93.30点がある程度の保証を提供するが、誠実性failの状況下では、存在しない文献やデータを引用するリスクを避けるため、出典の人的確認プロセスを必ず設ける必要がある。
戦略的判断
GLM-4.6の誠実性failは材料制約とは独立した負のシグナルであり、過去7回のrunのうちすでに3回failが発生していることから、この問題は単発の変動ではないと見られる。次回のSmokeテストでは、プローブスコアがpass圏まで回復するか、またコード実行が安定して50点を超えられるかを重点的に検証する必要がある。そうでなければ、高い信頼性が求められる本番環境においてこのモデルの評価はさらに低下するだろう。
データ出典：YZ Index | Run #243 | 元データを確認
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接