GPT-o3が80.61点でトップ：2026-07-18 YZ Index Smoke快速テストデータ速報

2026-07-18 YZ Index Smoke快速テストは11モデルをカバーし、GPT-o3が80.61点で当日首位となった。Smokeは毎日10問の快速テストであり、短期シグナルの観察に適しており、Full週間ランキングの結論と同一視すべきものではない。

今回のSmoke評価はコード実行と資料制約の2つのメインランキング次元のみをカバーしており、メインランキングの算式は 0.55 × コード実行 + 0.45 × 資料制約 である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な判断ではなく、モニタリングシグナルとして活用することが適切である。

当日ランキング

データ解説

本日のYZ Index Smoke快速テストにおいて、上位モデルはコード実行と資料制約の2指標で異なる組み合わせの特徴を示した。GPT-o3はメインランキング80.61でリードし、コード実行70.3・資料制約93.2と資料制約スコアが高い。Claude Opus 4.7はメインランキング79.1、コード実行75・資料制約84.1でコード実行が相対的に優れている。Claude Sonnet 4.6とGPT-5.5のメインランキングはそれぞれ74.6と74.1で、コード実行はいずれも75、資料制約は74.1と73の間である。Qwen3 Maxはメインランキング70.15、コード実行64.7・資料制約76.8で、資料制約がある程度の支えとなっている。全体として、コード実行と資料制約の強弱の組み合わせが異なるモデルがメインランキングの上位を占めている。

一部のモデルでは前回の同一条件runと比較して明確なスコア変化が見られた。GLM-4.6はメインランキングが43.8点下落し、コード実行が91.7点下落・資料制約が14.8点上昇した。Gemini 3.1 Proはメインランキングが41.4点下落し、コード実行が76.6点下落した。Doubao Proはメインランキングが35.3点下落し、コード実行が61.7点下落した。Grok 4はメインランキングが25.1点下落し、コード実行が61.1点下落・資料制約が19点上昇し、誠実性評価がpassからwarnに変化した。DeepSeek V4 Proはメインランキングが20.8点下落し、コード実行が26.3点下落・資料制約が14点下落した。これらの変化は問題のサンプリング変動に起因する可能性もあれば、単日テストにおけるモデルの実際のパフォーマンス差を反映している可能性もあり、後続のrunによる検証が必要である。

Smoke快速テストは小サンプルの単日シグナルであり、以上の観察は本日のデータのみに基づくものであり、モデルの長期的なパフォーマンスについての結論を下すものではない。コード実行と資料制約の2項目における具体的なスコアの組み合わせがメインランキングの順位を共同で決定しており、異常な変化については同一条件でのより多くのテストによる検証が必要である。

主な変化

• GLM-4.6：メインランキング-43.8点、コード実行-91.7点、資料制約+14.8点
• Gemini 3.1 Pro：メインランキング-41.4点、コード実行-76.6点
• Doubao Pro：メインランキング-35.3点、コード実行-61.7点
• Grok 4：メインランキング-25.1点、コード実行-61.1点、資料制約+19点、誠実性 pass→warn
• DeepSeek V4 Pro：メインランキング-20.8点、コード実行-26.3点、資料制約-14点

注目すべきシグナル

• 今回は公表可能な異常シグナルは保留されなかった。

この種のSmoke速報を読む際は、2つの問いに重点を置くべきである。第一に、特定のモデルが複数日にわたって同種の弱点を繰り返し露呈しているかどうか。第二に、誠実性評価がpassからwarnまたはfailに移行しているかどうか。単日のコード実行または資料制約スコアの大幅な変化は、問題のサンプリングに起因する場合もあれば、真の性能劣化の初期シグナルである場合もあり、後続のrunによる検証が必要である。

データ出典：YZ Index | Run #236 | 元データを見る