2026年8月9日のYZ Index Smoke簡易テストは9モデルを対象に実施され、GPT-o3が95.91点で当日首位となった。Smokeは毎日10問の簡易テストであり、短期的なシグナルの観察に適しているが、Fullウィークリーランキングの結論とは同等ではない。
今回のSmoke評価はコード実行と資料制約の2つのメインランキング指標のみを対象としており、メインランキングの計算式は 0.55 × コード実行 + 0.45 × 資料制約 である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な判断よりも、監視シグナルとして活用するのが適切である。
当日ランキング
| 順位 | モデル | メインランキング | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | GPT-o3 | 95.91 | 100 | 90.9 | warn |
| #2 | Claude Opus 4.7 | 92.85 | 100 | 84.1 | pass |
| #3 | GPT-5.5 | 88.75 | 100 | 75 | pass |
| #4 | DeepSeek V4 Pro | 86.5 | 100 | 70 | pass |
| #5 | Qwen3 Max | 85.82 | 99 | 69.7 | pass |
| #6 | Gemini 3.1 Pro | 84.66 | 100 | 65.9 | pass |
| #7 | Grok 4 | 84.27 | 99.3 | 65.9 | pass |
| #8 | Claude Sonnet 4.6 | 69.56 | 75 | 62.9 | pass |
| #9 | Gemini 2.5 Pro | 63.95 | 69.8 | 56.8 | pass |
データ解説
本日のYZ Index Smoke簡易テストによると、上位モデルではコード実行と資料制約の組み合わせに明確な差異が見られる。GPT-o3はメインランキング95.91点、コード実行100点、資料制約90.9点。Claude Opus 4.7はメインランキング92.85点、コード実行100点、資料制約84.1点。GPT-5.5はメインランキング88.75点、コード実行100点、資料制約75点。DeepSeek V4 Proはメインランキング86.5点、コード実行100点、資料制約70点。これらのモデルはコード実行がいずれも100点またはそれに近い水準に達しており、資料制約は90.9点から70点まで幅があり、メインランキング上位の基盤を形成している。
複数のモデルで大幅な下落が見られた。Gemini 2.5 Proはメインランキング-19.4点、コード実行-25点、資料制約-12.5点、Claude Sonnet 4.6はメインランキング-15.7点、資料制約-34.9点、Gemini 3.1 Proはメインランキング-11.7点、資料制約-25.9点、Grok 4はメインランキング-11点、資料制約-23.6点、Qwen3 Maxはメインランキング-10.2点、資料制約-21.5点となった。DeepSeek V4 Proの資料制約が-19.5点と急落し、Qwen3 Maxのメインランキングが-10.2点、Gemini 3.1 Proのメインランキングが-11.7点、Grok 4のメインランキングが-11点、Claude Sonnet 4.6のメインランキングが-15.7点、Gemini 2.5 Proのメインランキングが-19.4点それぞれ急落した。
上記の異常シグナルは問題のサンプリング変動に起因する可能性もあれば、実際の性能低下によるものである可能性もあり、後続の再テストによる確認が必要である。GLM-4.6とDoubao Proはデータが不完全なためランキングに参加していない。Smokeは小サンプルの単日シグナルであり、関連する観察はあくまでも参考情報として扱われたい。
主な変化
- Gemini 2.5 Pro：メインランキング19.4点下落、コード実行-25点、資料制約-12.5点
- Claude Sonnet 4.6：メインランキング15.7点下落、資料制約-34.9点
- Gemini 3.1 Pro：メインランキング11.7点下落、資料制約-25.9点
- Grok 4：メインランキング11点下落、資料制約-23.6点
- Qwen3 Max：メインランキング10.2点下落、資料制約-21.5点
注目すべきシグナル
- DeepSeek V4 Pro：資料制約が急落 -19.5点
- Qwen3 Max：メインランキングが急落 -10.2点
- Gemini 3.1 Pro：メインランキングが急落 -11.7点
- Grok 4：メインランキングが急落 -11点
- Claude Sonnet 4.6：メインランキングが急落 -15.7点
- Gemini 2.5 Pro：メインランキングが急落 -19.4点
- GLM-4.6：データ不完全（判定・誠実性の各指標欠損、API障害/タイムアウト）のため自動再テスト待ち、今回はランキング対象外
- Doubao Pro：データ不完全（実行・資料制約・判定・誠実性・対話の各指標欠損、API障害/タイムアウト）のため自動再テスト待ち、今回はランキング対象外
この種のSmoke速報を読む際は、2つの問いに注目すべきである。第一に、あるモデルが複数日連続して同種の弱点を示していないか。第二に、誠実性評価がpassからwarnまたはfailに移行していないか。単日のコード実行や資料制約スコアの大幅な変動は、問題のサンプリングに起因する場合もあれば、実際の性能低下の早期シグナルである場合もあり、後続の再テストによる確認が必要である。
データ出典：YZ Index | Run #270 | 生データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接