Claude Opus 4.7、週平均82.3点・変動幅わずか20.7でトップ、DeepSeek V4 Proは16.8点下落

2026年8月10日〜16日のSmokeベンチマークにおいて、Claude Opus 4.7は週平均82.3点・変動幅20.7で全モデル中首位となり、初日の72.3点から最終日の86.25点へと継続的な上昇傾向を示した。

上昇モデルの実行パフォーマンス比較

Claude Opus 4.7の週平均は82.3点、変動幅20.7、トレンド+14。GPT-o3の平均は74.8点、変動幅57.2、トレンド+15。GPT-5.5の平均は72.1点、変動幅42.9、トレンド+27.9。Claude Sonnet 4.6の平均は75.9点、変動幅36.5、トレンド+19.7。Qwen3 Maxの平均は69.2点、変動幅28.2、トレンド+10。Grok 4の平均は79.4点、変動幅41、トレンド+12.7。

Claude Opus 4.7は低変動幅と高平均点を兼ね備えており、1日10問の回答において最も高い一貫性を示している。GPT-5.5はトレンド値が最大であるものの、平均点は72.1点にとどまっており、上昇の主因は低い基準値からの回復であり、総合的な能力の飛躍ではないことがわかる。

下落モデルのデータ実績

DeepSeek V4 Proは初日87.2点・最終日70.44点、トレンド−16.8、平均64.2点、変動幅88。Gemini 2.5 Proは初日72.86点・最終日54.38点、トレンド−18.5、平均62.1点、変動幅66.3。Zhipu GLM-4.6は初日61.25点・最終日48.75点、トレンド−12.5、平均56.9点、変動幅57.1。

DeepSeek V4 Proの変動幅88は全モデル中最大であり、日々のスコア差が極めて大きく、単日高得点の後に大幅な下落が生じやすいことを示している。Gemini 2.5 Proは下落幅が最大で、最終日のスコアは週平均を7.72点下回った。

変動幅の大きいモデルの要因分析

Doubao Proは初日0点・最終日70.44点、トレンド+70.4、平均49.2点、変動幅78.4。DeepSeek V4 Proの変動幅は88。Gemini 2.5 Proの変動幅は66.3。Zhipu GLM-4.6の変動幅は57.1。

高い変動幅は通常、Smokeの1日10問における実行次元のスコアが不安定であることに起因する。DeepSeek V4 ProとDoubao Proの変動幅はいずれも78を超えており、コード実行または資料制約のパフォーマンスに日々の差異が大きく、安定した出力品質を維持できていないことを意味する。

誠実性評価変化の独立シグナル

Zhipu GLM-4.6は7日間でpass→fail→passという誠実性評価の変動が発生した。Doubao Proは最初の2日間に評価記録がなく、後半5日間でpassに転じた。その他のモデルは誠実性評価が全期間を通じてpassを維持し、failは発生しなかった。

Zhipu GLM-4.6のfail日はトレンド下落期に重なっており、資料制約またはタスク表現に明確な問題が生じ、週平均点を56.9点まで直接引き下げたことを示している。Doubao Proの最初の2日間に誠実性記録が欠如しているのは、評価への参加が当初から完全ではなかった可能性がある。

利用者への具体的な示唆

コード実行を重視するチームはClaude Opus 4.7を優先すべきであり、平均82.3点・変動幅20.7が最高水準の一貫性を保証する。資料への忠実性が求められる場面ではZhipu GLM-4.6を避けるべきであり、誠実性評価でfailが発生したことがあり、出力の信頼性に懸念がある。

コストパフォーマンスを重視する開発者はQwen3 Maxに注目するとよい。平均69.2点・変動幅28.2は、上昇傾向のモデルの中でコスト管理が比較的良好である。変動幅が70を超えるDeepSeek V4 ProやDoubao Proは、日々の安定した出力が求められる本番環境には適さない。

戦略的評価

Claude Opus 4.7の低変動幅・高平均点の組み合わせは現時点のデータにおいて最も際立っており、基準モデルとして長期的に観察するのに適している。DeepSeek V4 ProとGemini 2.5 Proがともに大幅に下落したことは、7日間の小サンプルテストにおいて実行次元が継続的に弱体化していることを示している。

GPT-5.5のトレンド値27.9は大きいものの、平均点はClaude Opus 4.7をいまだ10.2点下回っており、その上昇がまだリードへと転換されていないことがわかる。Zhipu GLM-4.6の誠実性評価の反復変動は、今週唯一明確にfailが発生したモデルであり、次期データにおいて資料制約次元が安定を回復しているかどうかを重点的に検証する必要がある。


データ出典:YZ Index | Run #280 | 元データを見る