GPT-o3のコード実行スコアが22.5点急落、総合ランキングも7.8点下落

GPT-o3は本日のSmokeベンチマークにおいて、コード実行スコアが94.50点から72.00点へと下落し、総合ランキングスコアも92.39点から84.60点に低下した。

スコア比較と評価軸の内訳

素材制約は89.80点から100.00点へ上昇し、タスク表現は70.00点から91.70点へ改善、エンジニアリング判断は100.00点を維持、誠実性評価もpassを維持した。総合ランキングはコード実行と素材制約の2つの監査可能な評価軸のみで構成されており、本日の総合スコア7.8点の下落は、コード実行単一軸での22.5点の落ち込みが主因となっている。

考えられる原因の分析

Smokeベンチマークでは1日あたりのコード実行問題が2問のみと極めてサンプル数が少なく、1問の失敗だけで評価軸のスコアが大幅に変動し得る。本日の72.00点と昨日の94.50点との差は、モデル能力の劣化よりも、出題された問題の難易度の違いに起因する可能性が最も高い。素材制約とタスク表現がいずれも上昇していることから、他の評価軸での回答の安定性に系統的な問題は生じていないと判断される。

モデルの真の劣化であれば、通常は複数の評価軸が同時に下落するか、誠実性評価に変化が生じる。しかし本日のデータではコード実行の1軸のみが異常を示し、他の評価軸はいずれも改善または横ばいとなっていることから、抽選による変動で説明する方がより妥当である。

ユーザーへの具体的な影響

コード実行への依存度が高い開発チームは、本日以降、特に複雑なアルゴリズムや多段階の推論コードを生成する際に、人手によるレビュー工程を追加することが望ましい。素材制約が満点であることは、GPT-o3がプロンプトや出力フォーマットを厳格に遵守するシナリオで安定したパフォーマンスを発揮することを示しており、高い忠実度が求められる文書生成タスクに適している。

エンジニアリング判断は満点を維持しており、構造化された意思決定が必要なシナリオへの影響は限定的である。タスク表現は21.7点上昇しており、モデルがタスク結果を明確に表現する能力が改善していることを示しているため、高品質なアウトプットが求められるレポート作成に活用できる。

戦略的判断

単日のデータに基づけば、GPT-o3のコード実行スコアの下落は真の劣化よりも抽選による変動の可能性が高く、直ちにモデルの優先順位を引き下げる必要はない。次回のベンチマークでもコード実行が80点を下回る状態が続く場合は、改めてモデルの一貫性を検証されたい。現在の総合スコア84.60点は一部の競合製品を依然として上回っており、導入を検討している企業は3日間連続のデータを確認したうえで判断を行うことを推奨する。

データ出典：YZ Index | Run #380 | 元データを見る