GLM-4.6、誠実性評価でfail――YZ Index主要ランキング18.25点、資料制約はわずか10.00点

GLM-4.6は2026年10月23日実施のRun#392スモーク簡易テストにおいて、主要ランキングスコア18.25点、コード実行25.00点、資料制約10.00点を記録し、誠実性評価はfail、プローブスコアは0.00点となった。

スコア構成から見る資料制約の深刻な足かせ

主要ランキングはコード実行と資料制約の2次元のみで構成されており、GLM-4.6の両項目スコアはそれぞれ25.00点と10.00点で、差は15点に達する。資料制約次元は、モデルが与えられた長文書に厳密に基づいて回答し、正確に引用できるかを評価するものであり、10.00点という結果は、このモデルが大多数の設問において引用範囲の制御ができていないか、引用エラーが発生していることを示している。

同日、Doubao Pro・DeepSeek V4 Pro・Gemini 3.1 Pro・Claude Opus 4.7のプローブスコアはいずれも100.00点、GPT-o3とGPT-6 Solはともに90.00点、GPT-6.1 Sol・GPT-6 Astra・Claude Sonnet 4.6・GPT-6 Lunaはいずれも80.00点を記録した。failが発生したのはGLM-4.6のみである。

誠実性プローブのトリガーメカニズム分析

誠実性評価では42個のカナリアプローブを用いて、モデルが架空のエンティティを実在する引用元として扱うかどうかを検出する。GLM-4.6のプローブスコアは0.00点であり、回答の中でプローブ内の架空の出典を実在する文献やデータソースとして直接引用したことを意味する。このシグナルは設問の難易度とは無関係であり、コード実行および資料制約次元とは独立している。

資料制約10.00点と誠実性failが同時に発生したことは、所定の資料を厳密に引用すべき場面において、モデルが資料に忠実でなかっただけでなく、外部の出典を追加で捏造したことを示している。コード実行の25.00点は相対的に高く、Pythonサンドボックスでのコード実行通過率には一定の基礎があることを示している。

利用者への具体的な影響

契約審査・政策解釈・学術引用の検証など、資料への忠実度が求められる場面では、GLM-4.6の資料制約スコア10.00点は、出力中に引用の偏りや漏れが生じる確率が著しく上昇することを意味する。コード実行を重視するチームは、単純なスクリプト検証タスクでは25.00点の通過率を維持できる可能性があるが、長文書の照合が伴うタスクになった途端、全体的な実用性は急速に低下する。

企業がモデルを選定する際、ワークフローに「引用元の追跡可能性」という必須要件が含まれる場合、GLM-4.6の現在の誠実性fail記録は人工レビューコストを直接押し上げることになる。このモデルをすでにRAGシステムに組み込んでいる開発者は、架空の引用をフィルタリングするための出典検証レイヤーを別途追加する必要がある。

戦略的判断

2026年10月23日のGLM-4.6のパフォーマンスは、資料制約と誠実性の2次元が同時に問題を抱えており、資料制約スコアがコード実行を大きく下回っていることを示している。過去の記録では2026年10月17日にwarn（プローブ40.00）が発生しており、2026年10月23日にfailへと移行した。今後のrunで再びプローブがトリガーされるかどうか、継続的な観察が必要である。

同日の他の全モデルがpassとなる中、GLM-4.6のプローブスコア0.00点は明らかな孤立したシグナルを構成している。高い資料忠実度が求められるアプリケーションにおいて、このモデルの現在のスコア構成は本番環境への直接デプロイを支持するものではない。

データ出典：YZ Index | Run #392 | 元データを見る