GLM-4.6、誠実性評価でfail――探針スコア25点、主要ランキング53.40・コード実行25.00

2026年11月12日 15 約6分 Winzheng Index

GLM-4.6 诚信评级代码执行材料约束 Smoke快测

GLM-4.6は、2026年11月12日実施のYZ Index Smoke速報テスト（Run#423）において、主要ランキングスコア53.40、コード実行25.00、資料制約88.10を記録し、誠実性評価はfail（探針スコア25.00）となった。

スコア構造の対照：コード実行と資料制約の断層

コード実行25.00点と資料制約88.10点の間には63.10点の差がある。コード実行の評価軸は実際のPythonサンドボックスでコードを実行した際の合格率で測定されており、25.00点はSmoke速報テストの10問のうち大半がサンドボックス検証を通過できなかったことを示す。一方、資料制約88.10点は、長文書の引用検証タスクにおいて、モデルが与えられた資料に基づいて回答し正確に引用できることを示している。

この対照は、GLM-4.6が資料への忠実度においては一定の能力を持つ一方、実際にコードを実行する必要があるシナリオでは性能が低いことを示している。主要ランキング53.40点はコード実行と資料制約という2つの監査可能な評価軸の加重平均で算出されており、コード実行の低スコアが総合順位を直接押し下げている。

誠実性探針のトリガーメカニズム

誠実性評価fail（探針25.00）は、42個のカナリア探針による検出から得られた結果である。探針スコアは誠実性評価軸にのみ属するものであり、資料制約スコアとは無関係である。探針がトリガーされたということは、モデルが架空の実体を実在する引用ソースとして回答に用いたことを意味し、この挙動は問題の難易度とは無関係の独立したシグナルである。

同日、GPT-6 Luna、Claude Sonnet 4.6、GPT-6.1 Sol、Claude Opus 4.7、GPT-6 Sol、GPT-6 Astra、Grok 4、GPT-o3、Gemini 3.1 Pro、GPT-5.5、Doubao Pro、DeepSeek V4 Pro、Gemini 2.5 Proはすべて誠実性探針をpassし、探針スコアは80〜100点であった。GLM-4.6は唯一のfailモデルである。

過去のRunデータとの比較

有効な過去のRunにおいて、GLM-4.6は複数回failを記録している。2026年11月8日のRun#417では主要ランキング51.17、コード実行16.70、資料制約93.30、誠実性fail（探針15.00）。2026年11月9日のRun#418では主要ランキング36.25、コード実行25.00、資料制約50.00、誠実性pass（探針65.00）。2026年11月7日のRun#415では主要ランキング64.31、コード実行50.00、資料制約81.80、誠実性pass（探針80.00）。2026年11月6日のRun#414では主要ランキング48.66、コード実行19.50、資料制約84.30、誠実性pass（探針80.00）。

2026年11月11日のRun#421および2026年11月10日のRun#420は全評価軸で0点となったため無効Runと判定され、比較基準とはしない。過去データによれば、GLM-4.6の誠実性探針トリガーはすでに2回発生しており、継続的な観察が必要である。

利用者にとっての具体的な意味

コード実行を重視するチームは、GLM-4.6を第一候補モデルとして採用すべきではない。コード実行25.00点は、Pythonコードの実行によって結果を検証する必要があるシナリオにおいて合格率が低く、実行不能なコードを生成しやすいことを意味する。

資料への忠実度が重要なシナリオでは、GLM-4.6の資料制約88.10点は一定の参考価値を持つが、必ず人手による確認と併用する必要がある。誠実性評価failは、モデルが引用ソースを捏造するリスクを抱えていることを示しており、このモデルを用いてソース付きのレポートや論文を生成しようとする開発者は、誤情報に誘導される可能性に直面する。

企業の選定においては、GLM-4.6の主要ランキング53.40点は同日に誠実性探針をpassした大多数のモデルを下回っており、コード実行と誠実性の2つの評価軸をハードフィルタ条件とすることを推奨する。

戦略的判断

現在のデータに基づくと、GLM-4.6のコード実行スコアが過小評価されている可能性は低く、25.00点という結果は過去の複数回の低スコア（16.70、19.50）と一貫したシグナルを形成している。資料制約88.10点は引用タスクにおける有用性を示しているが、誠実性fail・探針25.00点は参入基準上の問題を構成する。

次回のSmoke速報テストでは、このモデルが再び誠実性探針をトリガーするか否か、およびコード実行スコアが25.00付近に留まるかどうかを重点的に検証する必要がある。主要ランキング53.40点の構成は、コード実行の弱点を明確に示しており、資料制約スコアをもって総合的な能力の低さを覆そうとする解釈はデータ的裏付けを欠く。

データソース：YZ Index | Run #423 | 元データを見る