GPT-6 Sol、メインランキングで16.4点急落——コード実行が100点から66.8点に激減

GPT-6 SolはSmoke評価のメインランキングスコアが90.51点から74.14点に下落し、下落幅は16.4点となった。主な原因はコード実行次元が100.00点から66.80点に急落したことにある。

データ事実の分解

コード実行次元は1日で33.2点を失い、材料制約次元は78.90点から83.10点へと4.2点増加した。エンジニアリング判断は100.00点から75.00点に下落し、タスク表現は90.00点から91.00点に微増した。メインランキングの加重結果はコード実行の急激な下落を直接反映している。誠実性評価は「pass」を維持した。

原因分析

Smoke評価は1日あたりわずか10問（次元ごとに2問）であり、出題のランダムな変動が最も可能性の高い要因として挙げられる。コード実行次元では、本日の出題が特定の文法やエッジケースに対してより高い要求を課す問題を引いた可能性があり、スコアが満点から66.80点へと急落した。材料制約次元が逆に上昇していることは、制約遵守においてモデルに系統的な劣化が生じていないことを示している。エンジニアリング判断が同時に25点下落したのは、同バッチの問題に多段階推論を要するコード問題が重なった可能性があり、タスク表現が1点微増したことは表現能力が影響を受けていないことを示している。

真の劣化と出題変動の区別には、今後複数日のデータが必要である。10問規模での1日33.2点の下落は極端な範囲に属するが、材料制約とタスク表現がプラスまたは横ばいの結果を示したことで、全次元での一貫した低下の可能性は排除された。

利用者への示唆

コード実行に強く依存する開発チームは、直ちにローカル検証のプロセスを追加する必要がある。GPT-6 Solは材料制約次元で引き続き83.10点を維持しており、プロンプトの厳格な遵守が求められるシナリオでは依然として有用である。エンジニアリング判断が75.00点であることは、多段階の意思決定を伴うコードタスクのリスクが上昇していることを意味し、タスクを分割して個別に呼び出すことを推奨する。

モデル選定を検討する企業にとって、1日分のデータは全体評価を変えるには不十分だが、コード実行が2日連続で80点を下回った場合は、代替モデルのテストを開始すべきである。

戦略的判断

今回の下落は、モデルの真の劣化ではなく、出題のランダムな変動によって引き起こされた可能性が最も高い。材料制約とタスク表現の安定したパフォーマンスがこの判断を支持している。次回のSmoke評価でコード実行が90点以上に回復すれば変動であると確認でき、75点を継続的に下回る場合は潜在的な劣化シグナルとして記録する必要がある。現段階では、GPT-6 Solは材料制約要件の高いシナリオでは引き続き利用可能だが、コード実行が集中するタスクでの優先度は下げるべきである。

データ出典：YZ Index | Run #404 | 元データを見る