2026-11-12 のYZ Index Smoke クイックテストは14モデルを対象とし、GPT-6 Luna が88.93点で当日首位となった。Smokeは1日10問のクイックテストであり、短期シグナルの観察に適しているが、Full週間ランキングの結論とは同一ではない。
今回のSmokeテストはコード実行と資料制約の2つの主要ランキング次元のみを対象としており、主要ランキングの算出式は 0.55 × コード実行 + 0.45 × 資料制約 である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的評価としてではなく、モニタリングシグナルとして参照するのが適切である。
当日ランキング
| 順位 | モデル | 主要スコア | コード実行 | 資料制約 | 誠実性 |
|---|---|---|---|---|---|
| #1 | GPT-6 Luna | 88.93 | 89.6 | 88.1 | pass |
| #2 | Claude Sonnet 4.6 | 88.27 | 95.2 | 79.8 | pass |
| #3 | GPT-6.1 Sol | 84.27 | 94.8 | 71.4 | pass |
| #4 | Claude Opus 4.7 | 84.11 | 94.5 | 71.4 | pass |
| #5 | GPT-6 Sol | 83.83 | 94 | 71.4 | pass |
| #6 | GPT-6 Astra | 81.3 | 94.8 | 64.8 | pass |
| #7 | Grok 4 | 76.78 | 73 | 81.4 | pass |
| #8 | GPT-o3 | 74.64 | 69.1 | 81.4 | pass |
| #9 | Gemini 3.1 Pro | 73 | 74.3 | 71.4 | pass |
| #10 | GPT-5.5 | 70.41 | 75 | 64.8 | pass |
| #11 | Doubao Pro | 68.54 | 68.4 | 68.7 | pass |
| #12 | DeepSeek V4 Pro | 53.4 | 25 | 88.1 | pass |
| #13 | GLM-4.6 | 53.4 | 25 | 88.1 | fail |
| #14 | Gemini 2.5 Pro | 45.06 | 23.5 | 71.4 | pass |
データ解説
本日のYZ Index Smokeクイックテストでは、上位モデルのコード実行と資料制約のスコアバランスに明確な差異が見られた。GPT-6 Lunaは主要スコア88.93点で首位を獲得し、コード実行89.6点・資料制約88.1点という均衡の取れた高水準の組み合わせを示した。Claude Sonnet 4.6は主要スコア88.27点で2位につけ、コード実行95.2点が突出している一方で資料制約は79.8点にとどまり、コード実行に偏った構造が見られる。GPT-6.1 Sol、Claude Opus 4.7、GPT-6 Solの3モデルの主要スコアはそれぞれ84.27点、84.11点、83.83点で、いずれもコード実行が94点以上を維持する一方、資料制約は同じく71.4点と、高コード実行・低資料制約という類似したパターンを示している。
複数のモデルで、直近の同条件ランと比較して顕著なスコア変動が確認された。Claude Sonnet 4.6は主要スコアが28.4点上昇し、コード実行が38.9点、資料制約が15.6点それぞれ上昇した。Grok 4は主要スコアが28.1点上昇し、コード実行が45.2点上昇。GPT-6 Astraは主要スコアが25点上昇し、コード実行が45点上昇した。これらの上昇幅は、単日の問題サンプリングのばらつきに起因する可能性もあれば、特定次元における一時的なパフォーマンス差異を反映している可能性もあり、安定性の確認には後続ランでの検証が必要である。GPT-5.5とGPT-o3もそれぞれ主要スコアが19.4点・17.1点上昇し、コード実行がそれぞれ25.2点・23.1点、資料制約がそれぞれ12.2点・9.7点上昇しており、同様にさらなるデータ検証が求められる。
異常シグナルとしては、Claude Opus 4.7の資料制約が16.9点急落し、Doubao Proの主要スコアが10.6点急落した。いずれも問題サンプリングのばらつきによる可能性があるほか、実際の性能劣化リスクを示唆している可能性もあり、後続ランでの確認が必要である。Qwen3 Maxはデータ不完全のため今回のランキングには参加していない。Smokeクイックテスト全体として小規模サンプルの単日シグナルであることから、解釈は慎重に行うべきである。
主な変化
- Claude Sonnet 4.6:主要スコア+28.4点、コード実行+38.9点、資料制約+15.6点
- Grok 4:主要スコア+28.1点、コード実行+45.2点、資料制約+7.2点、誠実性 warn→pass
- GPT-6 Astra:主要スコア+25点、コード実行+45点
- GPT-5.5:主要スコア+19.4点、コード実行+25.2点、資料制約+12.2点
- GPT-o3:主要スコア+17.1点、コード実行+23.1点、資料制約+9.7点
注目すべきシグナル
- Claude Opus 4.7:資料制約が -16.9点の急落
- Doubao Pro:主要スコアが -10.6点の急落
- Qwen3 Max:データ不完全(複数次元で欠損あり、API障害またはタイムアウト)のため自動補完ランに移行中、今回はランキング対象外
- GLM-4.6:本日の誠実性評価は fail(当日Smokeデータに基づく)
このようなSmoke速報を読む際は、2点に着目することが重要である。第一に、あるモデルが同種の弱点を複数日連続で示しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに移行しているかどうか。単日のコード実行・資料制約スコアの大幅変動は、問題サンプリングに起因する場合もあれば、実際の性能劣化の早期シグナルである可能性もあり、後続ランでの確認が必要である。
データ出典:YZ Index | Run #423 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接