GPT-6 Lunaは本日のSmoke評価において、メインランキングスコアが86.95点から67.17点へと低下し、1日で19.8点の下落を記録した。
主要次元別スコア変化
コード実行次元は前日の100.00点から75.00点へと25点下落。素材制約次元は71.00点から57.60点へと13.4点低下。エンジニアリング判断次元は100.00点を維持。タスク表現次元は87.50点から75.00点へと12.5点低下した。誠実性評価は引き続き「pass」を維持している。
スコア下落の考えられるメカニズム
Smoke評価は1日あたり10問のみで、2問が1つの次元に対応しており、問題のランダム抽選によって1日単位のスコアが変動する可能性がある。今回、コード実行次元が25点、素材制約次元が13.4点それぞれ低下しており、この2次元の合計がメインランキングの19.8点下落に寄与している。エンジニアリング判断次元に変化がなかったことは、モデルがこのサイドランキング能力において安定性を保っていることを示している。
次元構成の観点から見ると、コード実行と素材制約はメインランキングにおける唯一の監査可能な2次元である。今回この2次元が同時に低下したことは、具体的なコードタスクの処理および素材忠実度制約の遵守において、モデルが減点ポイントをより多く生じさせていることを示している。タスク表現サイドランキングが12.5点下落したことも、タスク指示の遵守においてモデル出力に変動が生じていることをさらに示している。
利用者にとっての具体的な意味
コード実行を重視するチームにとって、本日の評価ではリスクが高まっている。コード実行次元が100.00点から75.00点へ低下したことは、実行可能なコードの生成やプログラミングタスクの完了においてモデルがより多くのエラーを発生させていることを意味する。素材制約に依存するシナリオも同様に影響を受けており、素材制約が71.00点から57.60点へ低下したことは、入力素材を厳密に遵守する場面においてモデルの逸脱が増加していることを示している。
エンジニアリング判断次元は100.00点を維持しており、エンジニアリング判断の補助を必要とする開発者への影響は比較的小さい。誠実性評価は「pass」を維持しており、基本的なコンプライアンス上の問題は発生していない。
戦略的判断
今回のメインランキング19.8点の下落は、主にコード実行次元の25点低下によって牽引されている。1日あたりのSmoke評価問題数は限られており、現時点のデータでは問題抽選による変動とモデルの実質的な性能劣化を区別するには不十分である。エンジニアリング判断次元の変化がゼロであることは、モデルの一部能力が依然として安定していることを示している。
モデル選定を検討する企業にとっては、今後複数日の評価においてコード実行と素材制約の2つのメインランキング次元が前日水準を継続して下回るかどうかを観察する必要がある。次回評価でこの2次元のスコアが回復した場合、今回の下落は問題のランダム性に起因する可能性が高い。一方、低下が継続する場合は、コードおよび素材制約シナリオにおけるモデルの適用可能性を再評価する必要がある。
現時点のスコア比較に基づけば、コード実行シナリオにおけるGPT-6 Lunaの安定性は次回評価での検証が求められる。素材制約次元の13.4点の下落についても、素材忠実度に依存するアプリケーションへの影響度を確認するため、継続的な追跡が必要である。
データソース：YZ Index | Run #401 | 生データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接