GPT-o3、本日のSmokeベンチマーク主要ランキングで13.9ポイント急落――コード実行と資料制約の両次元で低下

GPT-o3は本日のSmokeベンチマーク主要ランキングで79.28点を記録し、昨日の93.16点から13.9ポイント下落した。

主要データの比較

コード実行次元は95.00点から81.80点へ13.2ポイント低下、資料制約次元は90.90点から76.20点へ14.7ポイント低下した。エンジニアリング判断サイドランキングは94.50点から63.90点へ30.6ポイント低下、タスク表現サイドランキングは91.70点から100.00点へ8.3ポイント上昇した。誠実性評価は「pass」を維持した。

スコア下落の考えられる原因

Smokeベンチマークは1日あたり10問のみで、各次元2問ずつというサンプル数の少なさから、1日単位の変動は正常範囲内に収まる。コード実行と資料制約が同時に13ポイント以上下落した主な原因としては、当日出題された問題が該当次元において難易度が高かったか、特定の問題タイプに対するモデルの応答が不安定だったことが最も考えられる。エンジニアリング判断サイドランキングの30.6ポイントという激しい変動は、モデル全体の能力低下ではなく出題の抽選要因が支配的であることをさらに裏付けている。タスク表現サイドランキングが逆に8.3ポイント上昇したことも、次元によって出題の影響方向が異なることを示している。

利用者にとっての具体的な意味

コード実行に大きく依存する開発チームは、GPT-o3が本次元で本日記録した81.80点がその長期平均水準を下回っている可能性に留意し、本番環境では人的確認プロセスを追加することを推奨する。資料制約への感度が高いシナリオ、たとえば長文テキストの忠実度要件が高い文書処理タスクでは、本日の76.20点はモデルが原文から逸脱するケースが増える可能性を示している。エンジニアリング判断サイドランキングの63.90点は、AIによるアーキテクチャ意思決定支援が必要なシナリオにおいて、現時点での出力一貫性が不十分な可能性を示唆している。

戦略的評価

現在のスコア比較に基づくと、主要ランキングにおける13.9ポイントの下落はコード実行と資料制約の2つの主要次元によって主導されており、Smokeベンチマークの小サンプルという特性を踏まえると、今回の変動はモデルの実質的な能力低下よりも出題抽選による変動である可能性が高い。誠実性評価が「pass」を維持していることは、モデルに系統的な誠実性の問題が生じていないことを示している。次回の評価では、コード実行と資料制約が90点以上の水準に回復するかどうかを重点的に観察することを推奨する。2日連続で低水準が続く場合はさらなる検証が必要となる。

総じて、本日のGPT-o3のパフォーマンスは、モデル能力の永続的な低下という結論を支持するに足る十分な根拠を示していないが、コード実行および資料制約への依存度が高いユーザーは、短期的にモニタリング頻度を高めるべきである。

データ出典：YZ Index | Run #256 | 元データを見る