GLM-4.6 Smokeテスト評価：材料制約51.80点・タスク表現50.00点、API障害により2次元のデータ欠損

GLM-4.6は本日のSmokeテスト評価において、API障害・タイムアウトにより「実行（execution）」と「判断（judgment）」次元のデータが欠損し、自動再実行フローに入っているため、今回はメインランキングへの参加対象外となっている。材料制約次元のスコアは51.80点、タスク表現次元のスコアは50.00点であり、その他の次元は未記録となっている。

データの事実：スコア比較と欠損状況

前日から本日にかけての比較では、コード実行次元は未記録から未記録へ、材料制約次元は未記録から51.80点へ、エンジニアリング判断次元は未記録から未記録へ、タスク表現次元は未記録から50.00点へ、メインランキングは未記録から未記録へとそれぞれ変化した。Smokeテストは1日あたり10問のみで、2問が1次元に対応しており、1日単位のスコア変動は正常範囲内である。

原因分析：モデル性能劣化ではなくAPI障害

スコア比較においてexecutionとjudgmentの2次元が完全に欠損していることは、モデルのコード実行能力やエンジニアリング判断能力の実質的な変化ではなく、APIコールのタイムアウトまたは障害を直接示している。記録されている材料制約51.80点とタスク表現50.00点の2次元はいずれも限られた2問のサンプリングによるものであり、全10問という総数の中ではサンプル数が少なすぎるため、問題のランダム性の影響を受けやすい。モデルの材料忠実度やタスク表現において系統的な性能劣化が生じたことを示す根拠はなく、欠損そのものが技術レベルでの記録中断に過ぎない。

GLM-4.6の本日のSmokeテスト評価は材料制約51.80点・タスク表現50.00点であり、その他の次元はAPI障害により欠損している。

ユーザーへの示唆：モデル選定と利用シナリオへの具体的影響

コード実行を重視するチームにとって、execution次元の欠損は本日のSmokeデータではGLM-4.6のそのシナリオにおける利用可否を判断できないことを意味し、再実行結果を待つ必要がある。材料制約51.80点という具体的な数値は、モデルが入力制約を厳密に遵守することに依存する企業にとって参考となる。現在のアプリケーションが出力の境界に敏感である場合、このスコアは追加の人的確認が必要であることを示唆している。タスク表現50.00点は、タスク指示の解析において模型のパフォーマンスが中程度以下の水準にあることを示しており、開発者はマルチステップ指示パイプラインを構築する際にエラー許容機構を確保しておくべきである。

• 材料制約シナリオを重視する開発者は、再実行後の完全なexecutionスコアを優先的に確認してから本番環境へのアップグレードを判断すべきである。
• タスク表現に依存する自動化フローは、本日のデータを踏まえた上で人的レビューノードを追加する必要がある。

戦略的判断：単日スコアではなくデータの完全性に注目

スコア比較に基づくと、GLM-4.6の今回の異常はモデル性能の劣化ではなく主にAPI障害によるものである。1日10問という速報テスト固有の変動特性から、51.80点と50.00点という孤立した2つの数値だけではモデルの実際の性能低下という結論を支持するには不十分である。注目すべきシグナルはデータの完全性そのものであり、APIタイムアウトが連続して発生すれば後続のSmokeテスト評価の比較可能性に直接影響する。次回は再実行後のexecutionとjudgmentのスコアが過去の範囲に戻るかどうかを重点的に検証し、今回の欠損が偶発的なものであることを確認することを推奨する。

現在モデル選定を進めているチームにとって、現時点のデータはGLM-4.6を候補リストから除外することを支持するものではないが、デプロイ前に複数日にわたる完全なSmokeテスト記録のクロス検証を完了することが求められる。このモデルに依存する開発者は、本日の欠損を運用上のシグナルとして捉え、プロンプト戦略を即座に調整するのではなく、APIの可用性監視を優先すべきである。

Smokeテストの日々の変動は正常であり、今回の異常の核心はスコアの高低ではなく次元の欠損にある。現在の比較に基づき、GLM-4.6は再実行後に改めてランキング観察に参加し、材料制約51.80点とタスク表現50.00点が安定した水準であるかどうかを確認する必要がある。

データソース：YZ Index | Run #260 | 元データを見る