2026年10月24日のYZ Index Smoke速測は13モデルを対象とし、Claude Sonnet 4.6が89.8点で当日首位となった。Smokeは毎日10問の速測であり、短期シグナルの観察に適しているが、週次Full評価の結論と同等ではない。
今回のSmoke評価はコード実行と資料制約の2つのメインランキング次元のみをカバーしており、メインランキングの算出式は0.55 × コード実行 + 0.45 × 資料制約である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な結論としてではなく、モニタリングシグナルとして捉えることが適切である。
当日ランキング
| 順位 | モデル | メイン | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | Claude Sonnet 4.6 | 89.8 | 97 | 81 | pass |
| #2 | Claude Opus 4.7 | 86.02 | 97 | 72.6 | pass |
| #3 | Grok 4 | 77.26 | 74.2 | 81 | warn |
| #4 | Doubao Pro | 77.09 | 72 | 83.3 | pass |
| #5 | GPT-6 Luna | 73.35 | 72 | 75 | pass |
| #6 | GPT-6 Sol | 72.27 | 72 | 72.6 | pass |
| #7 | GPT-o3 | 72.27 | 72 | 72.6 | pass |
| #8 | GPT-5.5 | 65.84 | 72 | 58.3 | pass |
| #9 | Gemini 2.5 Pro | 59.45 | 50 | 71 | pass |
| #10 | GPT-6 Astra | 54.02 | 47 | 62.6 | pass |
| #11 | GPT-6.1 Sol | 54.02 | 47 | 62.6 | pass |
| #12 | DeepSeek V4 Pro | 48.55 | 22 | 81 | pass |
| #13 | Gemini 3.1 Pro | 44.77 | 22 | 72.6 | pass |
データ解説
当日のメインランキング上位2位はいずれもClaudeシリーズで、Claude Sonnet 4.6はコード実行97・資料制約81でメイン89.8を獲得し、Claude Opus 4.7は同じくコード実行97に資料制約72.6を組み合わせてメイン86.02を記録した。Grok 4とDoubao Proがそれに続き、前者はコード実行74.2・資料制約81でメイン77.26、後者はコード実行72・資料制約83.3でメイン77.09となった。上位モデルはコード実行と資料制約それぞれで得意分野が異なり、Claudeシリーズはコード実行で高水準を維持し、Doubao Proは資料制約でわずかに上回った。
GPT-6.1 Solはメインが33.3点下落し、コード実行が53点低下、資料制約が9.1点低下した。Gemini 3.1 Proはメインが28.8点下落し、コード実行が53点低下した。GPT-6 Astraはメインが27.4点下落し、コード実行が47.8点低下した。DeepSeek V4 Proはメインが25点下落し、コード実行が53点低下する一方、資料制約は9.3点上昇した。Claude Sonnet 4.6はメインが11.5点上昇し、資料制約が29.3点上昇した。これらの単日の変動は問題のサンプリングによる揺れに起因する可能性もあれば、モデルの実際のパフォーマンスに変化が生じたシグナルである可能性もあり、いずれも今後同一条件での再実行による確認が必要である。
Smoke速測は小サンプルの単日シグナルであり、上記のスコア構成と変化は当日のデータのみを反映しており、長期的な判断は保留とする。
主な変動
- GPT-6.1 Sol:メイン-33.3点、コード実行-53点、資料制約-9.1点
- Gemini 3.1 Pro:メイン-28.8点、コード実行-53点
- GPT-6 Astra:メイン-27.4点、コード実行-47.8点
- DeepSeek V4 Pro:メイン-25点、コード実行-53点、資料制約+9.3点
- Claude Sonnet 4.6:メイン+11.5点、資料制約+29.3点
注目すべきシグナル
- 今回は公表すべき異常シグナルは検出されなかった。
このようなSmoke速報を読む際は、2つの点に重点を置くべきである。第一に、特定のモデルが複数日連続して同種の弱点を示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに変化しているかどうか。単日のコード実行・資料制約スコアの大幅な変動は、問題サンプリングに起因する場合もあれば、実際の性能劣化の初期シグナルである場合もあり、今後の再実行による検証が必要である。
データ出典:YZ Index | Run #393 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接