Doubao Pro が93.01点で首位:2026-11-20 YZ Index Smokeクイックテスト・データ速報

2026-11-20 YZ Index Smokeクイックテストは14モデルを対象とし、Doubao Proが93.01点で当日首位となった。Smokeは毎日10問の簡易テストであり、短期的なシグナルの観察に適しており、Full週次ランキングの結論とは同一ではない。

今回のSmokeテストはコード実行とマテリアル制約の2つのメインランキング指標のみをカバーしており、メインランキングの計算式は 0.55 × コード実行 + 0.45 × マテリアル制約である。毎日のサンプル数が少ないため、単日スコアはモデル能力の長期的な評価ではなく、監視シグナルとして参照するのが適切である。

当日ランキング

順位モデルメインランキングコード実行マテリアル制約誠実性
#1Doubao Pro93.0198.586.3pass
#2Claude Opus 4.792.1694.589.3pass
#3GPT-6 Astra88.9396.879.3pass
#4Gemini 2.5 Pro80.097586.3pass
#5GPT-6 Sol77.2971.884pass
#6Grok 474.4966.784pass
#7GPT-6.1 Sol72.7971.874pass
#8GPT-5.572.3971.873.1pass
#9Claude Sonnet 4.671.8970.973.1pass
#10GLM-4.664.694786.3pass
#11DeepSeek V4 Pro59.154774pass
#12GPT-o357.9245.573.1pass
#13GPT-6 Luna55.9444.669.8pass
#14Gemini 3.1 Pro55.0629.586.3pass

データ解説

本日のSmokeクイックテストにおいて、Doubao Proはコード実行98.5とマテリアル制約86.3の組み合わせでメインランキング93.01を獲得した。Claude Opus 4.7はマテリアル制約89.3のバランスのとれたパフォーマンスでメインランキング92.16を記録し、GPT-6 Astraはコード実行96.8を達成したもののマテリアル制約は79.3にとどまり、メインランキングは88.93となった。Gemini 2.5 Proはマテリアル制約86.3とコード実行75の組み合わせでメインランキング80.09、GPT-6 Solはコード実行71.8、マテリアル制約84でメインランキング77.29を獲得した。上位モデル群においては、コード実行とマテリアル制約の得意・不得意の組み合わせにそれぞれ異なる傾向が見られる。

Gemini 2.5 Proはメインランキング+42.3点・コード実行+75点、GPT-6 Astraはメインランキング+24.1点・コード実行+47.5点、Grok 4はメインランキング+24.1点・コード実行+43.2点、Doubao Proはメインランキング+21.2点・コード実行+49.7点・マテリアル制約-13.7点を記録した。GPT-o3はメインランキング-20.2点・コード実行-28.3点・マテリアル制約-10.2点となった。これらの変動は問題のサンプリングのばらつきに起因する可能性があり、今後の再実行による確認が必要である。

異常シグナルとして、Claude Sonnet 4.6のマテリアル制約が-15.2点の急落、GPT-o3のメインランキングが-20.2点の急落、GPT-6 Lunaのマテリアル制約が-25.2点の急落、Gemini 3.1 Proのメインランキングが-13.7点の急落を記録した。Qwen3 Maxはデータ不完全のためランキングに参加していない。Smokeは少サンプルの単日シグナルであるため、以上の観察結果は慎重に扱う必要がある。

主な変化

  • Gemini 2.5 Pro:メインランキング+42.3点、コード実行+75点
  • GPT-6 Astra:メインランキング+24.1点、コード実行+47.5点
  • Grok 4:メインランキング+24.1点、コード実行+43.2点
  • Doubao Pro:メインランキング+21.2点、コード実行+49.7点、マテリアル制約-13.7点
  • GPT-o3:メインランキング-20.2点、コード実行-28.3点、マテリアル制約-10.2点

注目すべきシグナル

  • Claude Sonnet 4.6:マテリアル制約が急落 -15.2点
  • GPT-o3:メインランキングが急落 -20.2点
  • GPT-6 Luna:マテリアル制約が急落 -25.2点
  • Gemini 3.1 Pro:メインランキングが急落 -13.7点
  • Qwen3 Max:データ不完全(実行・制約・判定・誠実性・コミュニケーション各次元のデータ欠損、API障害またはタイムアウト)のため自動再実行待ちとなっており、今回はランキングに参加しない

この種のSmoke速報を読む際は、2点に着目すべきである。第一に、あるモデルが複数日にわたって同種の弱点を示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに変化していないかどうか。単日のコード実行またはマテリアル制約スコアの大幅な変動は、問題のサンプリングに起因する場合もあれば、実際の性能劣化の早期シグナルである可能性もあり、今後の再実行による確認が必要である。


データ出典:YZ Index | Run #436 | 元データを見る