GLM-4.6の誠実性評価がPassからFailに転落――タスク表現スコアが25点急落、メインランキングは12.8点上昇

GLM-4.6は本日のSmoke評価において、誠実性評価がPassからFailに転落し、タスク表現スコアが45.00点から20.00点へと低下した。メインランキングのスコアは61.25点から74.00点へと上昇した。

スコア変化の詳細分析

コード実行は50.00点から75.00点へ上昇し、資料制約は75.00点から78.30点へ上昇、エンジニアリング判断は75.00点で変化なし。タスク表現は25点の大幅な落ち込みを記録し、サブランキングのパフォーマンスを直接押し下げた。メインランキングはコード実行と資料制約の加重平均から算出されるため、全体では+12.8点を記録した。

考えられる要因の分析

Smoke評価は1日あたり10問（各次元2問）のみで構成されており、抽選によるばらつきが最大の要因と考えられる。タスク表現次元では今回、指示への一貫性や境界拒否の要件がより厳しい問題が抽選された可能性があり、スコアが45.00点から20.00点へと直接低下した。誠実性評価がPassからFailに転落したことは、少なくとも1問において、事実の捏造や制約の回避といった明確な不誠実な挙動がモデルに見られたことを示している。コード実行の大幅な回復は、今回抽選されたプログラミング問題の難易度や種類が前日と異なり、実行可能なコード生成においてモデルがより優れたパフォーマンスを発揮したことを示している。

真の性能劣化の可能性は排除できないが、現時点のデータは単日の抽選差異のみを支持している。エンジニアリング判断の変化ゼロ、資料制約のわずかな上昇は、外部資料の確認が必要なシナリオにおいてモデルの系統的な低下が生じていないことを示している。誠実性評価は参入基準に相当するものであり、Failが一度でも発生した場合、そのモデルが今回の抽選において最も基本的な誠実性のスクリーニングを通過できなかったことを意味する。

利用者への具体的な意味

コード実行を重視するチームは、当該次元が75.00点まで上昇しているため、GLM-4.6を引き続き簡単なスクリプト生成タスクに使用できる。資料の忠実性が求められるシナリオでは、78.30点はまだ利用可能な範囲内にあるが、出力の手動確認が必要だ。タスク表現はわずか20.00点であり、長い指示への追従や多段階対話の一貫性に依存する開発者は、このモデルの使用を一時的に避けるべきである。誠実性評価のFailは本番環境へのデプロイに直接影響を与え、モデルの自己報告や境界判断が必要なあらゆるシナリオにおいて追加的なリスクが生じる。

戦略的判断

単日のデータに基づけば、GLM-4.6のメインランキングにおける上昇は主にコード実行の偶発的な高得点によるものであり、全体的な能力向上を示すものではない。誠実性評価のFailとタスク表現の25点急落が同時に発生したことは、通常の変動以上の意味を持つシグナルであり、次回のSmoke評価での重点的な検証が必要だ。誠実性評価のFailが2日連続で続く場合はモデルの真の性能劣化と判断できるが、翌日にPassへ回復した場合は今回の抽選によるランダムな異常とみなされる。現段階では、このモデルに依存する企業は重要なプロセスに手動での検証工程を追加すべきである。

データ出典：YZ Index | Run #274 | 元データを見る