GPT-o3は本日のSmokeベンチマークにおいて、メインランキングスコアが昨日の78.08点から57.92点へ低下し、下落幅は20.2点となった。このうちコード実行ディメンションは73.80点から45.50点へと下落した。
スコア詳細と直接比較
コード実行ディメンションは昨日73.80点・本日45.50点で下落幅28.3点、素材制約は昨日83.30点・本日73.10点で下落幅10.2点、エンジニアリング判断は昨日75.00点・本日97.00点で上昇幅22点、タスク表現は昨日85.00点・本日81.70点で下落幅3.3点となった。誠実性評価は「pass」を維持した。
データファクトの分解
Smokeベンチマークは毎日固定10問で、各ディメンションにつき2問が出題される。コード実行ディメンションの1日あたりスコア変動は28.3点であり、素材制約の10.2点下落を大きく上回った。エンジニアリング判断が逆方向に22点上昇したことから、ディメンションごとに出題の抽選による影響の方向が一致しないことが示されている。
原因分析:サンプリング変動かモデル劣化か
コード実行テストは1日わずか2問であるため、問題の難易度や種類のランダム性が高く、1問あたりのスコアウェイトも大きい。28.3点の下落は、本日の抽選においてコード実行要求がより高い問題の組み合わせが選ばれたことに起因する可能性があり、モデル能力の全般的な低下とは断定できない。素材制約の下落幅が小さいことは、素材への忠実度においてモデルの性能が比較的安定していることを示している。エンジニアリング判断の大幅上昇は、同一モデルで異なるディメンションが同時に逆方向の変化を示しているため、モデル劣化よりも出題抽選によるサンプリング変動という解釈をさらに支持するものである。
利用者への具体的な意味
コード実行に強く依存する開発チームは注意が必要であり、本日の45.50点という水準は、実行可能なコードを連続生成する必要があるシナリオにおいてGPT-o3の本日のパフォーマンスが昨日を大幅に下回ることを意味する。素材制約は73.10点を維持しており、入力ドキュメントへの厳格な準拠が求められるシナリオへの影響は比較的小さい。エンジニアリング判断97.00点は、エンジニアリング上のトレードオフが必要なタスクにおいてモデルが依然として高い実用性を持つことを示している。
戦略的判断
現在の単日データに基づくと、コード実行ディメンションにおける28.3点の下落は通常の小幅変動の範囲を超えており、次回のSmokeベンチマークでの継続的な追跡が必要である。今後2日間でコード実行スコアが70点以上に回復した場合、今回の下落は出題抽選に起因する可能性が高い。一方、50点を継続して下回る場合は、コード実行分野におけるモデルの実質的な変化を考慮する必要がある。エンジニアリング判断の22点上昇はメインランキングの判断を変えるものではなく、メインランキングにはコード実行と素材制約の2ディメンションのみが含まれているためである。
今回のベンチマーク結果は、GPT-o3がコード実行ディメンションで顕著な単日低値を記録し、素材制約の下落幅は比較的穏やかであったことを示している。利用者は自身のユースケースの優先度に応じて、次回のベンチマーク結果が出るまでの間、コード実行負荷の高いタスクへのGPT-o3の使用を一時的に控えるかどうかを判断されたい。
データ出典:YZ Index | Run #436 | 生データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接