GPT-o3、素材制約スコアが16.7点急落も、コード実行は23.8点上昇——総合ランキングは5.6点アップ

GPT-o3は本日のSmoke評価において、素材制約スコアが昨日の100.00から83.30へ低下し、コード実行スコアが50.00から73.80へ上昇した。総合ランキングスコアは72.50から78.08へ上昇した。

データの詳細分析

Smoke評価は各ディメンションにつき1日2問のみで、素材制約が1日で16.7点失ったことは、少なくとも1問が素材忠実度チェックを通過しなかったことを意味する。コード実行は23.8点の改善を記録し、このディメンションの2問いずれも顕著な進歩があったことを示している。エンジニアリング判断は75.00のまま変わらず、タスク表現は90.00から85.00へ低下した。総合ランキングはコード実行と素材制約の加重合計のみで構成されるため、コード実行の大幅上昇が素材制約の損失を直接相殺した。

原因分析:抽選による変動の可能性が高い

1日10問というサンプル規模は非常に小さく、1問あたりのスコア比重は12.5点に達する。素材制約は昨日100.00、本日83.30であり、差分は1問の失点に相当する。コード実行は昨日50.00、本日73.80であり、差分は少なくとも1問の得点向上に相当する。エンジニアリング判断とタスク表現の変化幅は小さく、モデルがこれらのサブランキング指標において系統的な劣化を起こしていないことを示している。総合的に判断すると、素材制約の下落はモデルの実力低下ではなく、問題の抽選によるランダムな変動である可能性が高い。

素材制約83.30、コード実行73.80に対し、総合スコア78.08という最終結果は、コード実行の増加分が素材制約の損失を完全にカバーしていることを示している。

利用者への示唆

契約審査や政策解釈など、素材忠実度への依存度が高い企業向けシナリオでは、GPT-o3の本日の結果から、人手による再確認工程を追加することが推奨される。コード実行スコアの向上は、自動化スクリプト生成やデータ処理パイプラインにとって有利であり、コード実行を重視するチームは引き続きこのモデルを使用できるが、素材制約の精度が求められるタスクでは二重モデル検証を設けるべきである。

  • 素材制約が重要なシナリオ:人手による抜き取り検査の割合を増やすことを推奨。1問の失点が全体出力の偏差につながるリスクを避けるため。
  • コード実行主導のシナリオ:本日の73.80は実用可能なしきい値に近づいており、日常ツールとして引き続き観察できる。

戦略的評価

1日分のデータに基づけば、総合ランキングが5.6点上昇したという事実は、GPT-o3の全体的な能力に系統的な低下が生じていないことを示している。素材制約の-16.7点は、モデルの劣化よりも抽選による変動に起因する可能性が高い。誠実性評価が「pass」を維持していることも、この判断を裏付けている。次回以降も素材制約スコアの追跡を続け、2日連続で90.00を下回った場合に深掘り再テストを開始することを推奨する。現時点では、GPT-o3の全体的な能力評価を引き下げる必要はない。


データ出典:YZ Index | Run #435 | 元データを確認