GPT-o3、材料制約スコアが16.8点急落——タスク表現も同期して28.3点下落

GPT-o3は本日のSmoke評価テストにおいて材料制約スコアが66.80点となり、昨日の83.60点から16.8点下落した。メインランキング総合スコアも83.44点から80.39点に低下した。

スコア変動の詳細

コード実行は83.30点から91.50点に上昇し、エンジニアリング判断は75.00点で変わらず、タスク表現は95.00点から66.70点に下落し、誠実性評価はpassを維持した。

考えられる原因の分析

Smoke評価テストは1日あたりわずか10問であり、1問あたりの配点ウェイトが高い。材料制約とタスク表現が同時に大幅に下落した最も可能性の高い原因は、問題の抽選による内容分布の変化であり、モデル能力の構造的な劣化ではない。コード実行スコアが8.2点上昇しており、モデルがこの評価軸において依然として安定した出力を維持していることを示している。2つの評価軸が逆方向に動いていることは、変動の原因がサンプルにあり、全体的な劣化ではないという見方をさらに裏付けている。

利用者への示唆

契約条項の抽出や政策条文の照合など、材料への忠実度に強く依存するシナリオでは、GPT-o3を呼び出す前に人的確認のステップを追加する必要がある。コード実行のパフォーマンスは向上しており、アルゴリズム検証やデータ処理系タスクの開発者への影響は小さく、引き続き使用可能だが、評価軸をまたいだ一貫性には引き続き注意が必要だ。

戦略的判断

今回の材料制約とタスク表現の同期下落は、Smoke評価テストの小サンプルという特性と合わせて考えると、現時点のシグナルはモデルの真の能力低下を断定するには不十分である。次回の評価テストでは、この2つの評価軸が75点を継続して下回るかどうかを重点的に観察することを推奨する。1日限りの変動がその後のテストでも繰り返し現れた場合は、GPT-o3を材料感度の高いタスクの優先候補リストから外す必要がある。

データ出典：Winzheng (YZ Index) | Run #222 | 元データを見る