GPT-6 Lunaは本日のSmoke評価において、メインランキングスコアが87.27点から75.79点へと11.5点下落した。主な要因はコード実行の評価項目が100.00点から74.30点へと25.7点急落したことにある。
データ詳細：メインランキングとサブランキングの乖離
メインランキングはコード実行と資料制約の2項目のみで構成される。本日のコード実行は74.30点、資料制約は77.60点で、加重計算によりメインランキングは75.79点となった。前日の同モデルはコード実行100.00点、資料制約71.70点で、メインランキングは87.27点だった。資料制約は5.9点上昇したものの、コード実行の急落を補うには至らなかった。
エンジニアリング判断は50.00点から95.50点へ、タスク表現は67.50点から83.80点へとそれぞれ大幅に上昇した。サブランキングの2項目はいずれも大幅に改善しており、メインランキングの動向とは完全に逆の傾向を示している。
考えられる原因：抽出のばらつきか、真の性能劣化か
Smoke評価は1日あたり10問のみで、各評価項目につき2問となる。1日あたりのスコア変動は通常の範囲内に収まるが、今回コード実行項目で25.7点の下落が生じており、この幅は典型的な抽出ランダム区間を超えており、モデルの回答の一貫性が低下している可能性を示唆している。
誠実性評価がpassからwarnへと変化したことは、今回の評価で新たに加わった唯一のしきい値シグナルである。この変化はコード実行項目の大幅な失点と同時に発生しており、コード関連タスクにおいてモデルの出力が不安定になっているか、制約条件から逸脱している可能性を示している。
コード実行項目の今回の失点が、メインランキング下落の唯一の決定的要因である。
利用者への具体的な意味
コード実行に強く依存するチームは、GPT-6 Lunaへの信頼度を直ちに引き下げる必要がある。74.30点という数値は、正確なコード生成やデバッグが求められるシナリオにおいて、モデル出力の正確率が明らかに低下していることを意味する。
資料制約項目は77.60点を維持しており、コンテンツの忠実度が重視されるシナリオでは引き続き利用可能だが、人手による検証工程を追加する必要がある。エンジニアリング判断とタスク表現のサブランキング高得点は、コアでないワークフローにおいてのみ参考価値を持つ。
戦略的判断
今回のメインランキング11.5点下落はコード実行という単一項目によって主導されており、誠実性評価の格下げも伴っていることから、重点的に注目すべきシグナルと見なされる。サブランキングスコアの大幅上昇は、メインランキングにおけるコア能力の低下を補うことはできない。
次回の評価では、コード実行項目が90点以上の区間に回復するか、また誠実性評価がpassに戻るかを重点的に観察する必要がある。コード実行が2回連続で80点以下に留まった場合、モデルがその項目において系統的な劣化を来たしていると判断できる。
現時点のデータが支持できる結論は「単日の異常として要検証」にとどまり、「モデル全体の機能不全」と判断するには至らない。GPT-6 Lunaをコード負荷の高いシナリオから一時的に外し、資料制約を主とする軽量コードタスクにおいて引き続き観察することを推奨する。
データ出典：YZ Index | Run #410 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接