Claude Opus 4.7が97.48点で首位：2026年10月7日 YZ Index Smoke簡易テスト日次レポート

2026年10月7日のYZ Index Smokeテストは14モデルを対象とし、Claude Opus 4.7が97.48点で当日首位となった。Smokeは毎日10問の簡易テストであり、短期シグナルの観測に適しているが、フル週次ランキングの結論とは異なる。

今回のSmokeテストは、コード実行と資料制約の2つのメインランキング次元のみを対象としており、メインランキングの計算式は0.55 × コード実行 + 0.45 × 資料制約である。日次サンプル数が少ないため、単日スコアはモデル能力の長期的な評価ではなく、モニタリングシグナルとして参照するのが適切である。

当日ランキング

データ解説

本日のメインランキング上位3モデルは、コード実行と資料制約の配分においてそれぞれ異なる特徴を示している。Claude Opus 4.7はコード実行100点・資料制約94.4点でメインスコア97.48点、Qwen3 Maxはコード実行97.5点・資料制約92.2点でメインスコア95.12点、GPT-6.1 Solはコード実行100点・資料制約80.7点でメインスコア91.32点を記録した。GPT-6 Lunaはコード実行75点・資料制約94.3点でメインスコア83.69点となり、資料制約が相対的に強い構造的特徴を示している。変動の大きかったモデルでは、GPT-6.1 Solのメインスコアが35.3点上昇・コード実行50点上昇・資料制約17.4点上昇、Claude Opus 4.7のメインスコアが30.2点上昇・コード実行50点上昇・資料制約6.1点上昇、Qwen3 Maxのメインスコアが30.1点上昇・コード実行51.5点上昇となった。

異常シグナルとして、GPT-6 Solの資料制約が-33.3点と急落し、Claude Sonnet 4.6の資料制約が-30.6点急落、Doubao Proの資料制約が-16.8点急落した。これらの単日スコアの大幅変動は、問題のサンプリング差異に起因する可能性もあるが、資料制約次元でのモデルの一時的な変化を示している可能性もあり、同条件での再実行による後続確認が必要である。GLM-4.6はAPIの障害によりデータが不完全であったため、今回のランキングには含まれていない。Smokeテストは小規模サンプルによる単日シグナルであり、以上の観察は当日結果のみを反映している。

主な変動

• GPT-6.1 Sol：メインスコア+35.3点、コード実行+50点、資料制約+17.4点
• Claude Opus 4.7：メインスコア+30.2点、コード実行+50点、資料制約+6.1点
• Qwen3 Max：メインスコア+30.1点、コード実行+51.5点
• Gemini 3.1 Pro：メインスコア+25.6点、コード実行+36.9点、資料制約+11.7点
• GPT-o3：メインスコア+10.8点、コード実行+25点、資料制約-6.6点

注目すべきシグナル

• GPT-6 Sol：資料制約が急落 -33.3点
• Claude Sonnet 4.6：資料制約が急落 -30.6点
• Doubao Pro：資料制約が急落 -16.8点
• GLM-4.6：データ不完全（judgement次元欠如、API障害/タイムアウト）のため自動再実行キューに入り、今回のランキングには不参加

この種のSmokeレポートを読む際は、二つの点に注目すべきである。第一に、あるモデルが複数日にわたって同種の弱点を露呈していないか。第二に、誠実性評価がpassからwarnまたはfailに変化していないか。単日のコード実行または資料制約スコアの大幅変動は、問題サンプリングに起因する場合もあれば、実際の性能低下の初期シグナルである可能性もあり、後続の再実行による確認が必要である。

データ出典：YZ Index | Run #364 | 元データを確認