GLM-4.6、材料制約スコアが25点急落・コード実行は50点上昇——Smokeテスト総合ランキングは逆に上昇

GLM-4.6は本日のSmokeテストにおいて、材料制約スコアが昨日の50.00点から25.00点へ低下し、降幅は25点に達した。一方、コード実行スコアは25.00点から75.00点へ上昇し、総合ランキングのスコアは36.25点から52.50点へ上昇した。

スコア比較と変動幅

昨日から本日にかけての具体的な変化は以下の通り：コード実行+50点、材料制約-25点、エンジニアリング判断は94.50点から75.00点へ低下、タスク表現は50.00点から75.00点へ上昇。総合ランキングは全体で16.3点上昇し、誠実性評価は「warn」を維持している。

問題抽選による変動か、モデルの実質的な劣化か

Smokeテストは1日あたり10問のみで、各次元2問ずつであるため、単日の標準偏差は自然と大きくなる。材料制約とコード実行で反対方向の50点規模のジャンプが生じたのは、問題の抽選差異によるものである可能性が最も高い。材料制約の問題では原文の厳密な引用や書式制限が求められるケースが抽選された可能性があり、コード実行の問題では比較的シンプルなアルゴリズム実装問題が抽選された可能性がある。エンジニアリング判断も同時に19.5点低下しており、当日の問題が複数の次元にわたって厳密な推論や材料への忠実度を求める方向に偏っていた可能性が示唆される。

モデルの実質的な劣化であれば、通常は単日に極端な逆方向の変動が生じるのではなく、連続する複数日において同一次元で系統的な低下が見られる。現時点では単日のデータのみであり、劣化を確認することはできない。

利用者にとっての具体的な意味

法律契約の抽出、学術引用の照合、製品仕様書の整合など、材料制約への高い依存度が求められるシナリオにおいて、GLM-4.6の本日の25.00点という結果は、単一回答において原文の省略や書き換えが生じるリスクが高まることを意味する。開発者はこれらのシナリオでは人手による校正工程を追加するか、材料制約スコアのより高いモデルへの切り替えを検討する必要がある。

コード実行スコア75.00点のモデルは、アルゴリズム問題・データ処理スクリプトの生成・シンプルな自動化タスクへの適用可能性が向上している。エンジニアリング判断75.00点は、システム設計レビューやアーキテクチャのトレードオフ評価などのタスクにおいて、モデル出力の一貫性が昨日より低下している可能性を示している。

戦略的判断

単日データに基づくと、材料制約25.00点とエンジニアリング判断75.00点の組み合わせは、モデル能力の劣化よりも抽選による変動である可能性が高い。総合ランキング52.50点への上昇はコード実行によって牽引されたものであり、材料制約の低スコアというシグナルを覆すものではない。次回のSmokeテストでは材料制約スコアが40点以上に回復するかどうかを重点的に追跡することを推奨する。2日連続で25点前後を維持する場合は、より長い周期での専門的なテストを開始する必要がある。

モデル選定チームにとって、現在のデータはGLM-4.6を材料忠実度が重要なタスクの第一候補とすることを支持しない。安定性次元の31.7点は、このモデルが同種の問題においてスコアの変動が大きいことをすでに示しており、単日の材料制約スコアの急落がその点をさらに裏付けている。

データ出典：YZ Index | Run #226 | 元データを見る