Grok 4が96.65点で首位：2025-10-25 YZ Index Smoke速報データブリーフィング

2025-10-25のYZ Index Smoke速測は14モデルを対象に実施され、Grok 4が96.65点で当日首位を獲得した。Smokeは毎日10問の速測であり、短期シグナルの観察に適しているが、Full週間ランキングの結論とは同一視できない。

今回のSmoke評価はコード実行と資料制約の2つのメインランキング次元のみを対象としており、メインランキングの算式は0.55 × コード実行 + 0.45 × 資料制約である。1日あたりのサンプル数が少ないため、単日スコアはモデル能力の長期的な評価よりも、モニタリングシグナルとして活用することが適切である。

当日ランキング

データの解釈

本日のYZ Index Smoke速測において、上位モデルはコード実行と資料制約の組み合わせで明確な分化が見られた。Grok 4はメインランキング96.65で首位となり、コード実行93.9・資料制約100を記録。GPT-5.5はメインランキング95.19でコード実行100・資料制約89.3、GPT-6 Lunaはメインランキング94.09でコード実行98・資料制約89.3となった。3モデルいずれも誠実性検証をpassし、高いコード実行と高い資料制約の組み合わせが当日の小サンプルにおいてリード優位を形成していることが示された。

一方、特定次元のみ突出しているが全体的に制約を受けているモデルも見られた。Claude Sonnet 4.6はメインランキング72.5でコード実行50・資料制約100、Gemini 2.5 Proはメインランキング71.29でコード実行47.8・資料制約100、GLM-4.6はメインランキング31.44でコード実行25・資料制約39.3であった。こうした組み合わせはメインランキングの算式において相対的に低いスコアとなり、当日テストにおける資料制約は高いがコード実行が低い構造的特徴を反映している。

Qwen3 MaxはAPIの障害によりデータが不完全となり、コード実行・資料制約等の次元が欠落したため、今回のランキングには参加しなかった。このシグナルは問題サンプリングの変動または一時的なインターフェースの問題に起因する可能性があり、真の性能低下かどうかは後続の再実行による確認が必要である。Smoke速測は単日小サンプルのシグナルであり、上記の観察は当日限りの参考情報である。

主な変化

• 今回は同一条件での過去の実行との比較対象がなく、当日データのみを表示する。

注目すべきシグナル

• Qwen3 Max：データが不完全（コード実行・資料制約・判定・誠実性・コミュニケーション各次元が欠落、APIの障害またはタイムアウト）のため、自動補完再実行に移行し、今回はランキング対象外

この種のSmoke速報を読む際は、2点に着目すべきである。第一に、あるモデルが複数日にわたって同種の弱点を示していないか。第二に、誠実性評価がpassからwarnまたはfailに変化していないか。単日のコード実行スコアや資料制約スコアの大幅な変動は、問題サンプリングによるものである可能性もあるが、真の性能低下の早期シグナルである可能性もあり、後続の再実行による確認が必要である。

データ出典：YZ Index | Run #394 | 元データを見る