GPT-6 Luna、コード実行スコアが24.1点急落——素材制約は逆に32点上昇

GPT-6 Lunaは本日のSmoke評価において、コード実行スコアが昨日の99.10点から75.00点へと低下し、素材制約スコアは62.80点から94.80点へと上昇した。メインランキングのスコアは82.77点から83.91点へと上昇した。

スコア変動の事実

コード実行の次元では昨日99.10点・本日75.00点と、1日で24.1点低下した。素材制約の次元では昨日62.80点・本日94.80点と、1日で32点上昇した。エンジニアリング判断(サブランキング、AI補助評価)は100.00点から63.90点へ、タスク表現(サブランキング、AI補助評価)は100.00点から83.80点へとそれぞれ低下した。メインランキングのスコアは昨日82.77点・本日83.91点と1.1点上昇した。誠実性評価は「pass」を維持した。

考えられる原因の分析

Smoke評価は1日あたり10問のみで、各次元2問という少ないサンプル数のため、問題の抽選による変動が主要なメカニズムとなっている。コード実行と素材制約が逆方向に大幅変動したことは、本日抽選されたコード実行問題の難易度や種類が昨日と大きく異なっていたことを示す一方、素材制約の問題は比較的平易であったことを示している。エンジニアリング判断とタスク表現はいずれも低下したが、両者はサブランキングの次元であり、メインランキングの計算には直接影響しない。メインランキングのスコアが小幅上昇にとどまっていることは、2つの中核的な監査可能次元の上昇と下降が相殺し合い、全体として安定していることを示している。

複数日にわたる連続データによる裏付けがない限り、モデルの真の劣化という結論は支持されない。1日限りの相反する変化は、モデル能力の系統的な低下ではなく、ランダムサンプリングの特性に合致している。

利用者への示唆

コード実行を重視するチームは、当日のタスクにおいて失敗率が高くなる可能性があるため、代替手段や手動による再確認を準備しておく必要がある。文書生成や引用確認など、素材制約に敏感なシナリオでは、より良いパフォーマンスが期待できる。メインランキングのスコアに基づいてモデルを選定する企業は、メインランキングのスコアに実質的な下落が見られないことから、引き続き動向を観察してよいだろう。

戦略的判断

現時点の単日データに基づけば、GPT-6 Lunaのメインランキングスコアは安定を保っており、コード実行の急落はモデル劣化のシグナルというよりも問題抽選の結果である可能性が高い。次回の評価では、コード実行スコアが90点以上に回復するかどうかを確認する必要があり、2日連続で80点を下回った場合はさらなる注意が必要となる。エンジニアリング判断のサブランキングが大幅に変動しても、メインランキングの結論は変わらない。

総じて、今回のデータはGPT-6 Lunaのコード実行能力に関する長期的評価を引き下げる根拠とはならない。引き続き後続のSmoke評価における各次元の一貫性を追跡することを推奨する。


データ出典:YZ Index | Run #432 | 元データを見る