2026-08-08のYZ Index Smokeテストは9モデルを対象に実施され、Claude Opus 4.7とGPT-o3が97.66点で当日首位に並んだ。Smokeテストは毎日10問の速測であり、短期的なシグナルの観察に適しているが、Fullの週次ランキングとは同等ではない。
今回のSmokeテストはコード実行と資料制約の2つのメイン指標のみを対象としており、メインスコアの計算式は0.55 × コード実行 + 0.45 × 資料制約である。日次サンプル数が少ないため、単日スコアはモデル能力の長期的な評価ではなく、モニタリングシグナルとして扱うことが適切である。
当日ランキング
| 順位 | モデル | メイン | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | Claude Opus 4.7 | 97.66 | 100 | 94.8 | pass |
| #2 | GPT-o3 | 97.66 | 100 | 94.8 | pass |
| #3 | Gemini 3.1 Pro | 96.31 | 100 | 91.8 | pass |
| #4 | Qwen3 Max | 96.04 | 100 | 91.2 | pass |
| #5 | Grok 4 | 95.28 | 100 | 89.5 | pass |
| #6 | DeepSeek V4 Pro | 94.07 | 97.8 | 89.5 | pass |
| #7 | GPT-5.5 | 89.65 | 100 | 77 | pass |
| #8 | Claude Sonnet 4.6 | 85.26 | 75 | 97.8 | pass |
| #9 | Gemini 2.5 Pro | 83.33 | 94.8 | 69.3 | pass |
主な変動
- DeepSeek V4 Pro：メインスコア+32.9点、コード実行+28.3点、資料制約+38.4点
- Qwen3 Max：メインスコア+30.8点、コード実行+30.5点、資料制約+31.2点
- Gemini 3.1 Pro：メインスコア+28.7点、コード実行+28.9点、資料制約+28.5点
- GPT-o3：メインスコア+25.3点、コード実行+5.5点、資料制約+49.5点
- Claude Opus 4.7：メインスコア+16.7点、コード実行+30.5点
注目すべきシグナル
- Claude Sonnet 4.6：コード実行が-19.5点と急落
- Doubao Pro：データ不完全（複数の評価次元でAPIエラー／タイムアウトが発生）のため自動補完実行中、今回のランキングには参加しない
- GLM-4.6：データ不完全（複数の評価次元でAPIエラー／タイムアウトが発生）のため自動補完実行中、今回のランキングには参加しない
このようなSmokeレポートを読む際は、二点に着目すべきである。第一に、特定のモデルが同種の弱点を複数日連続で示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに移行していないかどうか。単日のコード実行・資料制約スコアの大幅な変動は、問題サンプリングによるものである可能性もあるが、実際の性能劣化の早期シグナルである可能性もあり、後続の実行による検証が必要である。
データ出典：YZ Index | Run #268 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接