GPT-o3、材料制約スコアが25点急落・コード実行は20.1点上昇——主榜はわずか0.2点の低下

GPT-o3は本日のSmoke評価テストにおいて、材料制約スコアが88.30点から63.30点へと25点下落し、コード実行スコアが69.00点から89.10点へと20.1点上昇した。主榜スコアは77.69点から77.49点へと、わずか0.2点の低下にとどまった。

データの事実

今回のSmoke評価テストは1日10問の速報評価で、各ディメンション2問ずつ実施される。材料制約ディメンションの本日スコアは63.30点（昨日88.30点）、コード実行ディメンションの本日スコアは89.10点（昨日69.00点）。エンジニアリング判断サイドランキングは本日100.00点（昨日75.00点）、タスク表現サイドランキングは本日66.70点（昨日100.00点）。誠実性評価は「pass」を維持した。

主榜はコード実行と材料制約の2つの監査可能なディメンションで構成されており、本日の平均値は昨日より0.2点低下した。材料制約の単一ディメンションは25点下落、コード実行の単一ディメンションは20.1点上昇し、両者が相殺されたことで主榜の変動は極めて小さくなった。

要因分析

Smoke評価テストは各ディメンションわずか2問であるため、出題のランダム変動がスコア変化の最も考えられる要因である。材料制約の本日の失点は、特定の問題における資料への忠実度への厳格な要求に起因する可能性があり、昨日の問題は相対的に要求が緩やかだったと考えられる。コード実行スコアの本日上昇も同様に、問題の種類が現在のモデルの推論経路により適合していたことに起因する可能性がある。

エンジニアリング判断サイドランキングが25点上昇し、タスク表現サイドランキングが33.3点下落したことは、サイドランキングのディメンションが小サンプルではより大きな変動幅を示すことを示している。主榜のディメンションである材料制約とコード実行も単日で顕著な変動を見せたものの、主榜全体は安定を維持しており、2つのコアディメンション間の相互補完が極端な変動を打ち消したことを示している。

モデルに体系的な劣化が生じた証拠はない。1日10問テストに固有のサンプリング誤差は、ディメンションレベルで25点規模の変動を説明するには十分であり、特に別の主榜ディメンションで対称的な上昇が見られる場合はなおさらである。

利用者への示唆

長文書の要約、契約条項の抽出、ナレッジベースのQ&Aなど、材料制約を重視するシナリオでは、企業が導入を検討する際にGPT-o3の情報参照能力について追加的な検証が必要である。本日の63.30点という結果は、資料への忠実度が求められるタスクにおいて顕著なズレが生じる可能性を示唆している。

コード実行を重視するチームにとって、本日の89.10点はこのモデルがアルゴリズム実装やデバッグスクリプトなどのタスクで依然として競争力を持つことを示している。開発者はコード関連のワークフローで引き続き使用できるが、潜在的な変動に対応するため人によるレビュー工程を維持する必要がある。

エンジニアリング判断とタスク表現の2つのサイドランキングディメンションが本日大きく変動したが、これらのディメンションは主榜の計算に含まれないため、AIを活用した評価プロセスへの影響は限定的である。

戦略的判断

今回の変動はモデルの実際の劣化ではなく、出題のランダム変動によるものである可能性が最も高い。主榜がわずか0.2点しか低下しなかったという事実がこの判断を裏付けている。次回のSmoke評価テストでも材料制約ディメンションの観察を継続し、複数日にわたって低水準が続く場合にはじめてテストサンプルの拡大を検討することを推奨する。

現在のデータは、GPT-o3の総合ランキングを引き下げる根拠とはならない。導入を検討する企業は本日の結果を小サンプルのノイズとして捉えるべきであり、長期的な能力シグナルとして解釈すべきではない。

データ出典：YZ Index | Run #405 | 元データを見る