GPT-5.5が末日54.16点で38.3点下落、Doubao Proの平均71.7点・変動52.2点

2026年11月16日〜22日のSmoke評価データによると、GPT-5.5は初日92.44点から末日54.16点へと下落し、トレンドは38.3点低下、平均73.4点、変動38.3点となった。

主要下落モデルのデータ

GPT-5.5:初日92.44点・末日54.16点・トレンド-38.3・平均73.4・変動38.3;GPT-6 Sol:初日92.44点・末日64.63点・トレンド-27.8・平均76.6・変動27.8;GPT-6 Luna:初日88.75点・末日67.13点・トレンド-21.6・平均74.6・変動32.8;GPT-6 Astra:初日78.69点・末日66.79点・トレンド-11.9・平均75.1・変動26.3;GPT-6.1 Sol:初日78.69点・末日70.88点・トレンド-7.8・平均75.2・変動25.3;Claude Sonnet 4.6:初日70.74点・末日61.56点・トレンド-9.2・平均69.3・変動15.9;GLM-4.6:初日51.19点・末日43.77点・トレンド-7.4・平均53.1・変動28.2。

上昇モデルと変動の比較

上昇モデルには以下が含まれる。Grok 4:初日81.99点・末日83.51点・トレンド+1.5・平均72・変動34.8;GPT-o3:初日68.46点・末日78.4点・トレンド+9.9・平均71.2・変動20.5;Gemini 3.1 Pro:初日53.69点・末日57.52点・トレンド+3.8・平均60.3・変動19.1;DeepSeek V4 Pro:初日51.19点・末日62.33点・トレンド+11.1・平均58.3・変動42.2;Gemini 2.5 Pro:初日42.69点・末日57.52点・トレンド+14.8・平均59・変動44.8;Doubao Pro:初日40.82点・末日73.17点・トレンド+32.4・平均71.7・変動52.2。Claude Opus 4.7:初日82.43点・末日78.09点・トレンド-4.3・平均79.1・変動19.8。Qwen3 Max:初日0点・末日0点・トレンド0・平均0・変動0。

原因分析:コード実行と資料制約の観点

Smoke評価はコード実行と資料制約という2つのメインランキング指標に焦点を当てている。GPT-5.5やGPT-6 Solなどのモデルが初日に高得点を記録した後に連続して低下した最大の要因は、コード実行タスクにおける一貫性の低下であり、資料制約スコアの変動が全体トレンドを直接押し下げたとみられる。Doubao ProとDeepSeek V4 Proはトレンドこそ上昇しているが、変動幅がそれぞれ52.2点と42.2点に達しており、コード実行の出力が日によって大きく異なり、資料制約においても厳格な日と緩やかな日が混在している可能性を示している。GLM-4.6の誠実性評価がpassからwarnに変化したことは、回答中に資料引用の不一致が生じているシグナルであり、エンジニアリング判断側ランキングの信頼性に直接影響している。

利用者への示唆

コード実行を重視するチームがGPT-5.5を選択する際は、平均73.4点ながら変動38.3点という点に注意が必要であり、7日間にわたるスコアの起伏が自動化スクリプトの出力不安定につながる可能性がある。資料の忠実性が求められる場面では、GLM-4.6の誠実性評価がwarnとなった後、開発者は手動検証のプロセスを追加し、引用エラーの蓄積を避けるべきである。Doubao Proの平均71.7点はGPT-6 Solに近いものの、変動52.2点という数値は、長いコードの生成をこのモデルに依存する開発者が複数回のリトライ機構を用意する必要があることを意味する。

戦略的判断

GPT-5.5とGPT-6 Solの平均スコアはそれぞれ73.4点と76.6点であるにもかかわらず、最大のトレンド下落を示しており、現在のSmoke簡易テストにおける実行一貫性がGrok 4やGPT-o3を下回っていることが示唆される。DeepSeek V4 ProとDoubao Proはトレンドが正方向だが、高い変動値は安定性指標のスコアが低いことを示しており、短期的な検証には適しているが長期的な本番環境への依存には向かない。GLM-4.6の誠実性評価の変化は今週唯一の参入基準シグナルであり、pass/warn状態の推移については次回以降も継続的に追跡し、回復の有無を判断する必要がある。

Claude Opus 4.7は平均79.1点・変動19.8点と、下落モデルの中で最も下落幅が小さく、資料制約指標が相対的に安定していることを示している。Gemini 2.5 ProとDoubao Proの末日スコアはそれぞれ57.52点と73.17点だが、前者の変動44.8点・後者の変動52.2点という数値は、上昇トレンドが高い不一致性を伴っていることを示しており、利用者はコード実行の個別問題スコアの標準偏差を優先的に検証すべきである。

今週のデータは7日間・10問の簡易テストのみを対象としており、Qwen3 Maxが継続して0点であることは、Smoke評価において有効な実行出力が生成されていないことを示している。すべての判断は初日と末日の比較、平均値と変動値に基づいており、外部のバージョン情報や業界イベントは考慮していない。


データソース:YZ Index | Run #438 | 元データを見る