2026年11月9日実施のYZ Index Smokeクイックテストは13モデルを対象とし、GPT-6 Sol と GPT-o3 が92.49点で同日首位に並んだ。Smokeは1日10問のクイックテストであり、短期シグナルの観察に適しており、Full週次ランキングの結論とは同一視できない。
今回のSmokeテストはコード実行と資料制約の2つのメイン指標のみを対象とし、メインスコアの計算式は 0.55 × コード実行 + 0.45 × 資料制約 である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な評価ではなく、モニタリングシグナルとして解釈するのが適切である。
当日ランキング
| 順位 | モデル | メイン | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | GPT-6 Sol | 92.49 | 100 | 83.3 | pass |
| #2 | GPT-o3 | 92.49 | 100 | 83.3 | pass |
| #3 | Grok 4 | 91.33 | 93.8 | 88.3 | pass |
| #4 | Claude Sonnet 4.6 | 91 | 100 | 80 | pass |
| #5 | GPT-6 Luna | 90.24 | 100 | 78.3 | pass |
| #6 | GPT-6 Astra | 87.99 | 100 | 73.3 | pass |
| #7 | GPT-6.1 Sol | 87.99 | 100 | 73.3 | pass |
| #8 | Doubao Pro | 83.49 | 100 | 63.3 | pass |
| #9 | Gemini 2.5 Pro | 82.52 | 75 | 91.7 | pass |
| #10 | Claude Opus 4.7 | 78.74 | 75 | 83.3 | pass |
| #11 | Gemini 3.1 Pro | 78.74 | 75 | 83.3 | pass |
| #12 | GPT-5.5 | 78.74 | 75 | 83.3 | pass |
| #13 | DeepSeek V4 Pro | 68 | 50 | 90 | pass |
データ解説
本日のSmokeクイックテストでは、GPT-6 Sol と GPT-o3 がメインスコア92.49点で並び、コード実行はいずれも100点、資料制約はいずれも83.3点であった。この組み合わせにより両者は首位となっている。Grok 4はメイン91.33点で、コード実行93.8、資料制約88.3と資料制約スコアが相対的に高い。Claude Sonnet 4.6はコード実行100、資料制約80、メイン91点であり、上位モデルはコード実行が強い一方で資料制約はモデルによってばらつきがある傾向が見られる。
Gemini 2.5 Proは前回比でメインスコアが30.5点上昇し、コード実行は55点上昇した。GPT-o3はメインが29.1点上昇、コード実行が55.6点上昇し、誠実性評価がpassに転じた。Doubao Proはメインが23.9点上昇、コード実行が46.7点上昇した。Claude Opus 4.7はメインが23.4点上昇、コード実行が49点上昇した一方で資料制約は7.8点低下した。これらの変動モデルはコード実行の次元で顕著な変化を示している。
GLM-4.6とQwen3 MaxはAPIエラーによりデータが不完全であったためランキングに含まれず、サンプリングのばらつきまたは実際の性能低下の可能性があり、後続の再実行による確認が必要である。Smokeクイックテストは小サンプルの単日シグナルであるため、スコアの変化については慎重な解釈が求められる。
主な変化
- Gemini 2.5 Pro:メイン+30.5点、コード実行+55点
- GPT-o3:メイン+29.1点、コード実行+55.6点、誠実性 warn→pass
- Doubao Pro:メイン+23.9点、コード実行+46.7点、誠実性 warn→pass
- Claude Opus 4.7:メイン+23.4点、コード実行+49点、資料制約-7.8点
- Gemini 3.1 Pro:メイン+22.6点、コード実行+49.2点、資料制約-10点
注目すべきシグナル
- GLM-4.6:データ不完全(通信次元欠損、APIエラー/タイムアウト)、自動再実行キューに入り、今回はランキング対象外
- Qwen3 Max:データ不完全(実行・判定・誠実性・通信などの複数次元が欠損、APIエラー/タイムアウト)、自動再実行キューに入り、今回はランキング対象外
このようなSmoke速報を読む際には、2点に着目すべきである。第一に、あるモデルが複数日にわたって同種の弱点を示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに移行しているかどうか。単日のコード実行スコアや資料制約スコアの大幅な変化は、設問サンプリングに起因する場合もあれば、実際の性能低下の早期シグナルである場合もあり、後続の再実行による確認が必要である。
データ出典:YZ Index | Run #418 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接