2026-11-17 のYZ Index Smokeクイックテストは14モデルを対象とし、GPT-6 Luna が82.77点で当日首位を獲得した。Smokeは1日10問のクイックテストであり、短期シグナルの観察に適しているが、週次Full総合ランキングの結論とは同一視できない。
今回のSmoke評価はコード実行と材料制約の2つのメイン指標のみをカバーしており、メインスコアの計算式は 0.55 × コード実行 + 0.45 × 材料制約 である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な結論としてではなく、監視シグナルとして活用するのが適切である。
当日ランキング
| 順位 | モデル | メイン | コード実行 | 材料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | GPT-6 Luna | 82.77 | 99.1 | 62.8 | pass |
| #2 | GPT-5.5 | 81.58 | 99.8 | 59.3 | pass |
| #3 | Claude Opus 4.7 | 78.03 | 92.7 | 60.1 | pass |
| #4 | GPT-6.1 Sol | 76.4 | 99.8 | 47.8 | pass |
| #5 | GPT-6 Sol | 75.84 | 99.1 | 47.4 | pass |
| #6 | Claude Sonnet 4.6 | 70.26 | 83.8 | 53.7 | pass |
| #7 | GPT-6 Astra | 65.62 | 74.8 | 54.4 | pass |
| #8 | GPT-o3 | 65.27 | 66.3 | 64 | pass |
| #9 | Doubao Pro | 59.83 | 59.6 | 60.1 | pass |
| #10 | Gemini 3.1 Pro | 56.29 | 48.5 | 65.8 | pass |
| #11 | Grok 4 | 49.09 | 50.8 | 47 | pass |
| #12 | GLM-4.6 | 43.36 | 25 | 65.8 | pass |
| #13 | Gemini 2.5 Pro | 42.33 | 28.6 | 59.1 | pass |
| #14 | DeepSeek V4 Pro | 39.27 | 25 | 56.7 | pass |
データ解説
スコア構造の観点では、上位モデルの多くはコード実行と材料制約が相補的な組み合わせを示している。GPT-6 Lunaはコード実行99.1・材料制約62.8でメインスコア82.77を獲得し、GPT-5.5はコード実行99.8・材料制約59.3で2位、Claude Opus 4.7はコード実行92.7・材料制約60.1で3位となっており、このような組み合わせが総合スコアの高水準維持につながっている。GPT-6.1 Solはコード実行99.8ながら材料制約47.8、GPT-6 Solはコード実行99.1・材料制約47.4であり、コード実行が強い一方で材料制約が相対的に弱いという構造的特徴が見られる。
顕著な変化を示したモデルとして、Grok 4はメイン-32.9点・コード実行-25.2点・材料制約-42.3点、GPT-6 Solはメイン-16.6点・材料制約-41.9点、GPT-6 Astraはメイン-13.1点・材料制約-34.9点、Doubao Proはメイン+19点・コード実行+38点、DeepSeek V4 Proはメイン-11.9点・材料制約-32.6点となった。これらの単日変動は設問サンプリングのばらつきに起因する可能性があるほか、特定の制約下におけるモデルの実際のパフォーマンス差を反映している可能性もあり、今後同一条件での再実行による確認が必要である。
Smokeは小サンプルの単日シグナルであり、現時点のデータは当日の観察結果のみを提供するものである。異常シグナルは確認されておらず、解釈は実際のスコア構造の特徴を反映するよう抑制的に行う。
主な変化
- Grok 4:メインスコア32.9点下降、コード実行-25.2点、材料制約-42.3点
- Doubao Pro:メインスコア19点上昇、コード実行+38点
- GPT-6 Sol:メインスコア16.6点下降、材料制約-41.9点
- GPT-6 Astra:メインスコア13.1点下降、材料制約-34.9点
- DeepSeek V4 Pro:メインスコア11.9点下降、コード実行+5点、材料制約-32.6点
注目すべきシグナル
- 今回、公開可能な異常シグナルは確認されなかった。
このようなSmoke速報を読む際には、2点に着目することが重要である。第一に、特定のモデルが同種の弱点を複数日連続して露呈しているかどうか、第二に、誠実性評価がpassからwarnまたはfailに移行していないかどうかである。単日のコード実行スコアや制約スコアの大幅な変動は、設問サンプリングに起因する場合もあれば、実際の性能劣化の早期シグナルである可能性もあり、後続の再実行による確認が必要である。
データ出典:YZ Index | Run #431 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接