GPT-5.5のコード実行スコアが100点から75点に急落――総合ランキングも5.3点下降

GPT-5.5は本日のSmoke評価テストにおいて、コード実行スコアが昨日の100.00点から75.00点へと下降し、総合ランキングのスコアも78.49点から73.20点に低下した。それぞれの下落幅は25点と5.3点である。

データの事実分解

昨日と本日のスコアを比較すると、コード実行が25点下落した一方、素材制約は52.20点から71.00点へ上昇し、エンジニアリング判断は75.00点から100.00点へ上昇した。タスク表現は100.00点から91.70点へ下降し、誠実性評価はpassを維持した。総合ランキングはコード実行と素材制約の加重平均で構成されており、本日の73.20点はコード実行の大幅下落が素材制約の上昇によって部分的に相殺された結果を直接反映している。

原因分析：抽選による変動か、真の性能劣化か

Smoke評価テストは1日あたり10問のみで、各次元2問ずつ構成されているため、単日の変動は正常範囲内に収まる。コード実行が急落した一方で素材制約とエンジニアリング判断が顕著に上昇していることから、モデル全体の出力能力に系統的な劣化は生じていないと判断できる。最も可能性の高い原因は、本日のコード実行問題の難易度や問題タイプの抽選が複雑なシナリオに偏ったことによる集中的なスコア低下である。タスク表現の8.3点の小幅下落もまた、モデルのパラメータレベルの変化ではなく、小サンプルによるランダム性の範囲内に収まる。

コード実行75.00点と素材制約71.00点の組み合わせにより、総合ランキングの下落が5.3点にとどまったことは、各次元間にヘッジ効果が存在することを証明している。

利用者への具体的な意味

コード実行に強く依存する開発チームは本日、GPT-5.5が生成したコードフラグメント、特に多段階ロジックやエッジケースが関わるシナリオについて追加検証を行う必要がある。素材制約スコアの上昇は、長文への忠実度や指示遵守要件の高いドキュメント生成タスクがむしろより安定していることを意味する。企業がモデル選定を行う際は、総合ランキングの73.20点だけを見るのではなく、コード実行次元を独立して監視すべきである。

戦略的判断

単日比較に基づけば、GPT-5.5のコード実行の下落は問題の抽選による変動である可能性が高く、モデルの真の性能劣化ではないと考えられる。エンジニアリング判断が100.00点に上昇したことも、この判断を裏付けている。次回のSmoke評価テストでは、コード実行が90点以上に回復するかどうかを重点的に観察することを推奨する。2日連続で80点を下回った場合に初めて、モデル能力の変化を検討すべきである。現時点のデータは、GPT-5.5の総合能力を引き下げる結論を支持しない。

総合ランキングにおける73.20点と昨日の78.49点との差は、主にコード実行という単一次元によって生じており、素材制約の18.8点の増加がすでに影響を部分的に相殺している。開発者は本番環境においてGPT-5.5を引き続き混合タスクに使用できるが、純粋なコード生成フローについては人手によるレビュー工程を追加すべきである。

誠実性評価がpassを維持していることは、モデルの回答に系統的なハルシネーションや違反する出力が発生していないことを示している。安定性次元については今回のデータが提供されておらず、一貫性を直接評価することはできないが、25点という単日変動は、複数日のサンプルを積み重ねたうえで判断を下す必要性を示唆している。

全比較数値を総合すると、GPT-5.5の本日のパフォーマンスは通常の抽選範囲内における極端な値に該当し、デプロイ戦略を即時調整する必要があるシグナルには当たらない。今後の評価テストでコード実行が継続的に80点を下回った場合は、検証に値する異常点となるだろう。

データ出典：YZ Index | Run #399 | 元データを見る