GPT-5.5は本日のSmoke評価テストにおいて、コード実行の次元スコアが昨日の99.80点から75.00点へと24.8点下落した。総合ランキング全体では81.58点から78.74点への低下にとどまった。
データファクト:次元スコアの比較
コード実行:99.80→75.00(-24.8)
資料制約:59.30→83.30(+24)
エンジニアリング判断(サイドランキング、AI補助評価):100.00→75.00(-25)
タスク表現(サイドランキング、AI補助評価):100.00→90.00(-10)
総合ランキング:81.58→78.74(-2.8)
誠実性評価はpassを維持。
Smoke評価テストは1次元あたり1日2問のみであり、サンプル数が極めて少ないため、単日スコアの標準偏差は本質的に大きくなりやすい。コード実行とエンジニアリング判断が同時に25点規模の下落を示したことは、当日に抽出された2問のコード問題が、特定の制約条件下においてモデルの実行失敗を引き起こした可能性を示唆している。
原因分析:抽選による変動か、それとも真の性能劣化か
資料制約スコアが逆に24点上昇したことは、同じ問題セットにおいてモデルの資料忠実度の制御がむしろ強化されたことを示している。これら2つの総合ランキング次元のスコアが逆方向に動いたことで、モデル全体の能力が系統的に劣化した可能性は排除される。エンジニアリング判断(サイドランキング、AI補助評価)が同期して大幅下落したのは、コード実行の失敗が後続のエンジニアリング意思決定チェーンの断絶を直接引き起こしたためとみられる。
最も可能性が高いメカニズムは問題の抽選である。当日のコード問題には、より厳格な境界条件や複数ステップの依存関係が含まれており、長いチェーン実行におけるモデルの脆弱点を偶然に突いた可能性がある。資料制約スコアの上昇は、モデルが「能力低下」したのではなく、異なる制約条件のもとでパフォーマンスが分化していることを示している。
ユーザーへの示唆
コード実行を重視するチームは、モデル選定の際にGPT-5.5の単日変動をリスク要因として織り込む必要がある。継続的な複数ラウンドのコード生成とデバッグを要求するアプリケーションシナリオにおいては、本日の75.00点が特定の問題に対してこのモデルに明確な弱点が存在することを示しており、人手によるレビュー工程の追加や他モデルの並列呼び出しを推奨する。
資料忠実度に敏感なシナリオ(契約抽出やレポート生成など)においては、本日の83.30点がむしろポジティブなシグナルを提供しており、制約が厳格化された状況でもGPT-5.5が高い出力品質を維持できることを示している。
戦略的判断
現在のデータに基づけば、GPT-5.5の総合ランキング順位は単日のコード実行変動に引きずられているものの、資料制約スコアの同時上昇はコア能力が崩壊していないことを示している。次回の評価テストでは、コード実行スコアが90点以上に回復するかどうかを重点的に観察する必要がある。2日連続で80点を下回った場合は、コード実行の長期的な期待値を下方修正する必要がある。
エンジニアリング判断(サイドランキング、AI補助評価)とコード実行が同幅で下落したことは、実際のタスクにおいて両者が強く連動していることを裏付けている。エンジニアリング判断に依存する下流アプリケーションは、Smoke評価テストの連続変動が20点を超えた際に代替モデルへの切り替えプランを発動すべきである。
誠実性評価がpassを維持していることは、モデルに系統的な回答の不整合や幻覚の急増が生じていないことを示している。総合的に判断すると、今回の急落はモデルの劣化よりも抽選による偶発的事象である可能性が高く、即座に結論を下すのではなく継続的な追跡観察が求められる。
データ出典:YZ Index | Run #432 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接