GPT-5.5、材料制約スコアが18点急落も、コード実行は30.3点急騰——総合スコアは8.6点上昇

GPT-5.5の本日のSmokeベンチマークにおいて、コード実行スコアは昨日の69.50から99.80へ上昇し、材料制約スコアは昨日の79.30から61.30へ低下した。総合スコアは73.91から82.48へと上昇した。

スコア比較と主な発見

コード実行の次元では本日99.80を記録し、昨日比30.3点の上昇となった。材料制約の次元では本日61.30にとどまり、昨日比18点の低下となった。エンジニアリング判断とタスク表現はそれぞれ75.00および90.00で変化なく、誠実性評価も「pass」を維持した。総合スコアはコード実行と材料制約の2次元を加重平均して算出されており、本日の総合スコア82.48の上昇は主にコード実行の大幅な向上によるものである。

考えられる要因の分析

Smokeベンチマークは1日あたり10問のみで、各次元2問構成のため、サンプル数が少なく1日単位のスコア変動は正常な範囲内である。材料制約が－18点、コード実行が＋30.3点という同時変動は、出題抽選のランダム性を示唆している。本日抽選されたコード実行問題はモデルの現在の学習分布により適合していた可能性があり、一方の材料制約問題には原文への厳密な忠実性が求められる制約条件がより多く含まれていた可能性がある。両次元のスコアが逆方向に大きく変動しており、同一方向への系統的な性能低下を示す証拠はないため、モデルの実際の能力低下よりも抽選による変動である可能性が高い。

コード実行99.80点と材料制約61.30点が同日に記録されたことは、タスクの種類によるモデルのパフォーマンス差が拡大されて現れていることを示している。

ユーザーへの示唆

コード実行を重視するチームにとって、本日のデータはより高い信頼性を提供できる。99.80点はモデルがコード生成とデバッグのシナリオで安定したパフォーマンスを発揮していることを示す。一方、原文への忠実性が求められるシナリオにはリスクが伴い、61.30点はモデルが与えられた素材や指示から逸脱しやすいことを意味し、原文への忠実性をさほど必要としない補助的な文章作成タスクに適している。エンジニアリング判断とタスク表現が変化なしであることは、サブスコアの能力において顕著な変動が生じていないことを示す。

戦略的判断

本日のスコア比較に基づくと、材料制約の－18点は、モデルの性能低下よりも出題抽選の変動によるものである可能性が高い。総合スコア82.48の上昇は、現在のベンチマークにおいてコード実行の重みが優位であることを示している。次回以降も引き続き材料制約次元を追跡し、2日連続で65点を下回った場合に初めてモデルの実際の変化を検討することを推奨する。現時点のデータはGPT-5.5の全体的な能力評価を引き下げることを支持しない。

エンジニアリング判断75.00とタスク表現90.00がゼロ変化であることは、総合スコアの変動がコード実行と材料制約の2つの審査可能な次元に集中していることをさらに裏付けている。ユーザーは自身のユースケースに応じて次元の重み配分を検討できる。コード実行の比重が高いプロジェクトでは優先的に活用でき、材料制約への感度が高いプロジェクトでは手動校正の工程を追加する必要がある。

本日のデータはSmokeベンチマークにおけるGPT-5.5の次元別スコア変化を完全に記録したものであり、コード実行99.80点、材料制約61.30点、総合スコア82.48点はいずれも直接測定結果である。これらの数値を超えた推論はいずれも根拠を欠く。

データ出典：YZ Index | Run #415 | 元データを見る