2026-11-18 YZ Index Smoke クイックテストは14モデルを対象とし、GPT-6 Astraが91.14点で当日首位となった。Smokeは1日10問のクイックテストであり、短期シグナルの観察に適しており、Full週次ランキングの結論とは同一ではない。
今回のSmokeテストはコード実行と資料制約の2つのメインランキング次元のみをカバーしており、メインランキングの計算式は0.55 × コード実行 + 0.45 × 資料制約である。日次サンプル数が少ないため、単日スコアはモデル能力の長期的な評価としてではなく、モニタリングシグナルとして活用するのが適切である。
当日ランキング
| 順位 | モデル | メインランキング | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | GPT-6 Astra | 91.14 | 100 | 80.3 | pass |
| #2 | GPT-6.1 Sol | 90.15 | 100 | 78.1 | pass |
| #3 | GPT-6 Luna | 83.91 | 75 | 94.8 | pass |
| #4 | Grok 4 | 83.9 | 79.4 | 89.4 | pass |
| #5 | Gemini 2.5 Pro | 82.52 | 75 | 91.7 | pass |
| #6 | DeepSeek V4 Pro | 81.48 | 75 | 89.4 | pass |
| #7 | GPT-5.5 | 78.74 | 75 | 83.3 | pass |
| #8 | GPT-6 Sol | 76.4 | 75 | 78.1 | pass |
| #9 | Claude Opus 4.7 | 75.99 | 70 | 83.3 | pass |
| #10 | GPT-o3 | 72.5 | 50 | 100 | pass |
| #11 | Doubao Pro | 71.81 | 75 | 67.9 | pass |
| #12 | GLM-4.6 | 71.51 | 50 | 97.8 | pass |
| #13 | Claude Sonnet 4.6 | 64.34 | 55.2 | 75.5 | pass |
| #14 | Gemini 3.1 Pro | 58.06 | 50 | 67.9 | pass |
主な変動
- DeepSeek V4 Pro:メインランキング+42.2点、コード実行+50点、資料制約+32.7点
- Gemini 2.5 Pro:メインランキング+40.2点、コード実行+46.4点、資料制約+32.6点
- Grok 4:メインランキング+34.8点、コード実行+28.6点、資料制約+42.4点
- GLM-4.6:メインランキング+28.2点、コード実行+25点、資料制約+32点
- GPT-6 Astra:メインランキング+25.5点、コード実行+25.2点、資料制約+25.9点
注目すべきシグナル
- GPT-6 Luna:コード実行が急落 -24.1点
- GPT-5.5:コード実行が急落 -24.8点
- GPT-6 Sol:コード実行が急落 -24.1点
- Claude Opus 4.7:コード実行が急落 -22.7点
- GPT-o3:コード実行が急落 -16.3点
- Claude Sonnet 4.6:コード実行が急落 -28.6点
- Qwen3 Max:データ不完全(APIエラー/タイムアウトにより複数次元が欠損)、自動再実行キューに入っており、今回のランキングには参加しない
このようなSmokeブリーフィングを読む際には、二点に着目すべきである。第一に、あるモデルが複数日にわたって同種の弱点を繰り返し示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailへ移行していないかどうか。コード実行や資料制約スコアの単日における大幅な変動は、問題のサンプリングに起因する場合もあれば、実際の性能劣化の早期シグナルである可能性もあり、後続の実行による検証が必要である。
データ出典:YZ Index | Run #432 | 元データを確認
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接