Claude Opus 4.7とGrok 4が96.99点で並列首位:2026-08-17 YZ Index Smoke速報データブリーフィング

2026-08-17 YZ Index Smoke速測は11モデルをカバーし、Claude Opus 4.7とGrok 4が96.99点で当日首位に並んだ。Smokeは毎日10問の速測であり、短期シグナルの観察に適しており、Full週間ランキングの結論とは同等ではない。

今回のSmokeテストはコード実行と資料制約の2つのメインランキング指標のみをカバーしており、メインランキングの計算式は0.55 × コード実行 + 0.45 × 資料制約である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な結論としてではなく、モニタリングシグナルとして活用することが適切である。

当日ランキング

順位モデルメインランキングコード実行資料制約誠実性
#1Claude Opus 4.796.9910093.3pass
#2Grok 496.9910093.3warn
#3Qwen3 Max95.349793.3pass
#4Doubao Pro94.7410088.3pass
#5GPT-o394.0210086.7pass
#6Claude Sonnet 4.683.247593.3pass
#7Gemini 3.1 Pro83.247593.3pass
#8GPT-5.583.247593.3pass
#9Gemini 2.5 Pro55.742593.3pass
#10GLM-4.655.742593.3pass
#11DeepSeek V4 Pro51.242583.3pass

データ解説

本日のメインランキング上位5モデルのうち、Claude Opus 4.7とGrok 4はともにコード実行100・資料制約93.3で96.99点に並び、Qwen3 Maxはコード実行97・資料制約93.3で95.34点を記録した。コード実行満点または満点近傍と資料制約93.3の組み合わせが、現在のサンプル条件下でトップ圏を形成していることが示されている。Doubao Proはコード実行100・資料制約88.3で94.74点、GPT-o3はコード実行100・資料制約86.7で94.02点となり、各モデルはコード実行と資料制約のバランスにおいて異なる傾向を示している。

Doubao Proは前回同一条件のrunと比較してメインランキングが24.3点上昇・コード実行が33.3点上昇・資料制約が13.3点上昇、Qwen3 Maxはメインランキングが20.3点上昇・コード実行が22点上昇・資料制約が18.3点上昇、Gemini 3.1 Proはメインランキングが12.8点上昇・コード実行が8.3点上昇・資料制約が18.3点上昇、Claude Opus 4.7はメインランキングが10.7点上昇・コード実行が25点上昇・資料制約が6.7点下降した。一方、DeepSeek V4 Proはメインランキングが19.2点下降・コード実行が41.7点下降・資料制約が8.3点上昇となった。DeepSeek V4 Proの今回のメインランキング急落(19.2点)は、問題抽出のサンプリング変動に起因する可能性もあれば、実際の性能低下を反映している可能性もあり、後続runによる確認が必要である。

中低位モデルであるGemini 2.5 ProとGLM-4.6はコード実行25・資料制約93.3でメインランキングがともに55.74点、DeepSeek V4 Proはコード実行25・資料制約83.3でメインランキングが51.24点であり、コード実行スコアが低い場合でも資料制約の高スコアによってある程度のメインランキング順位を維持できることが示されているが、トップ圏との差は依然として大きい。Smokeは小サンプルの単日シグナルであり、以上の観察は当日の参考情報に留まる。

主な変動

  • Doubao Pro:メインランキング+24.3点、コード実行+33.3点、資料制約+13.3点
  • Qwen3 Max:メインランキング+20.3点、コード実行+22点、資料制約+18.3点
  • DeepSeek V4 Pro:メインランキング-19.2点、コード実行-41.7点、資料制約+8.3点
  • Gemini 3.1 Pro:メインランキング+12.8点、コード実行+8.3点、資料制約+18.3点
  • Claude Opus 4.7:メインランキング+10.7点、コード実行+25点、資料制約-6.7点

注目すべきシグナル

  • DeepSeek V4 Pro:メインランキング急落 -19.2点

この種のSmokeブリーフィングを読む際は、2つの問いに重点を置くべきである。第一に、あるモデルが複数日にわたって同種の弱点を繰り返し露呈していないか。第二に、誠実性評価がpassからwarnまたはfailに移行していないか。単日のコード実行または資料制約スコアの大幅な変動は、問題のサンプリングに起因する場合もあれば、実際の性能低下の早期シグナルである場合もあり、後続runによる確認が必要である。


データソース:YZ Index | Run #281 | 元データを見る