GPT-o3が77.45点で首位：2026-09-17 YZ Index Smoke クイックテスト速報

2026-09-17のYZ Index Smokeクイックテストは10モデルを対象とし、GPT-o3が77.45点で当日首位を獲得した。Smokeは毎日10問のクイックテストであり、短期的なシグナルの観察に適しているが、Fullウィークリーランキングの結論とは同一ではない。

今回のSmoke評価はコード実行と資料制約の2つのメインランキング指標のみをカバーしており、メインランキングの算式は0.55 × コード実行 + 0.45 × 資料制約である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な評価としてではなく、モニタリングシグナルとして活用することが適切である。

当日ランキング

データの読み解き

本日のメインランキングデータを見ると、GPT-o3はコード実行72・資料制約84.1の組み合わせで77.45点を獲得し、Gemini 2.5 Proはコード実行73.7・資料制約81.8で77.35点を記録した。両モデルともコードと資料において比較的均衡した構造を示している。Claude Sonnet 4.6も同様にコード実行72・資料制約81.8で76.41点を獲得しており、上位モデルは2指標いずれも高水準を維持し、明らかな単一弱点は見られなかった。

前回の同条件runと比較すると、Qwen3 Maxのメインランキングスコアは25.9点下落し、うちコード実行が43.8点下落した。Claude Sonnet 4.6はメインランキングが23.6点下落し、コード実行が28点・資料制約が18.2点下落した。DeepSeek V4 Proはメインランキングが19.6点下落し、資料制約が49.8点下落した。これらの変化は問題のサンプリングによるばらつきに起因する可能性もあれば、特定タスクにおけるモデルの実際のパフォーマンス変動である可能性もあり、後続runによる確認が必要である。

Smokeテストは小サンプルの単日シグナルであり、現在のデータは当日10問の結果のみを反映している。Claude Opus 4.7とGemini 3.1 Proはいずれもコード実行47・資料制約90.9で66.76点に並んでおり、Grok 4のメインランキングは65.5点となっている。全体的な構造の差異については、さらに多くのサンプルによる観察が必要である。

主な変化

• Qwen3 Max：メインランキング-25.9点、コード実行-43.8点
• Claude Sonnet 4.6：メインランキング-23.6点、コード実行-28点、資料制約-18.2点
• DeepSeek V4 Pro：メインランキング-19.6点、コード実行+5.2点、資料制約-49.8点
• Claude Opus 4.7：メインランキング-17.2点、コード実行-28点
• Grok 4：メインランキング-15.9点、資料制約-31.7点

注目すべきシグナル

• 今回、公開可能な異常シグナルは検出されなかった。

このようなSmoke速報を読む際は、2つの点に注目すべきである。第一に、特定のモデルが同種の弱点を複数日連続して示していないか。第二に、誠実性評価がpassからwarnまたはfailに移行していないか。単日のコード実行または資料制約スコアの大幅な変化は、問題のサンプリングに起因する場合もあれば、実際の性能低下の初期シグナルである可能性もあり、後続runによる確認が必要である。

データ出典：YZ Index | Run #327 | 元データを見る