2026年7月13日〜7月19日の7日間Smoke評価の結果、Claude Opus 4.7が平均86.9点で首位となり、GPT-o3は初日97.36点から最終日66.86点へと30.5点下落した。
上昇モデル：Claudeシリーズ と Qwen3 Max
Claude Opus 4.7は初日82.95点・最終日95.19点で12.2点上昇、変動幅20.9となり、今週唯一変動幅が25を下回った上昇モデルとなった。Claude Sonnet 4.6は79.6点から90.02点へと10.4点上昇し、平均73.1点。Qwen3 Maxは72点から82.23点へと10.2点上昇し、変動幅19.8で全モデル中最小の変動幅を記録した。
上記3モデルは、コード実行と資料制約という2つのメインランキング評価軸において比較的安定した結果を維持した。Claude Opus 4.7は7日間連続で誠実性warnが発生せず、実行評価軸のスコア変動幅が最小であり、Smoke毎日10問に対する回答の一貫性が最も高いことを示している。
下降モデル：GPT-o3 と Doubao Proが最大の下落幅
GPT-o3は初日97.36点・最終日66.86点で30.5点下落し、平均71.1点、変動幅97.4となり、全モデル中最も変動幅の大きなモデルとなった。Doubao Proは96.7点から49.21点へと47.5点下落し、平均72.9点、変動幅50.1。Gemini 3.1 Proは40.3点下落、Gemini 2.5 Proは23.5点下落した。
これらのモデルの下落は主にコード実行評価軸に集中している。GPT-o3は4日目と6日目に明らかな低スコアが発生し、週平均を直接引き下げた。Doubao Proは資料制約評価軸で複数回の失点が生じ、最終日のスコアが50点を下回った。
変動分析：GPT-5.5 と GLM-4.6が最も一貫性に欠ける
GPT-5.5は変動幅100点、初日81.96点・最終日81.44点でほぼ横ばいに見えるが、日別スコアの標準偏差が最大だった。GLM-4.6は変動幅53.2点で66.78点から31.44点へと下落し、平均はわずか58.2点。DeepSeek V4 Proは変動幅32.7点、17.1点下落した。
変動幅が大きいことは、同種の問題に対する回答のばらつきが大きいことを意味する。GPT-5.5は実行評価軸においてある日95点に達するスコアが翌日40点に落ちる可能性があり、こうした不一致は安定した出力を必要とするシナリオにとってリスクとなる。
誠実性評価の個別観察
今週warnが発生したモデルはGPT-o3、Grok 4、Doubao Pro、GPT-5.5、Claude Sonnet 4.6、GLM-4.6。Grok 4とGLM-4.6はそれぞれ2回warnが発生し、GLM-4.6は最終日もwarnのままだった。Claude Opus 4.7とQwen3 Maxは全週passで、warn記録はなかった。
誠実性評価のwarnは通常、回答中のハルシネーションや資料制約からの逸脱と関連している。warnが発生したモデルはSmoke評価において資料制約評価軸でより失点しやすい傾向がある。
利用者への具体的な意味
コード実行を重視するチームはClaude Opus 4.7を優先すべきであり、平均86.9点・変動幅20.9という数値が高い一貫性を提供する。資料忠実性に依存するシナリオでは、最終日スコアがすでに70点を下回っているGPT-o3とDoubao Proを避ける必要がある。
高い安定性が求められる本番環境では、Qwen3 Maxの変動幅19.8と全週pass誠実性記録が現時点で最良の選択肢となる。GLM-4.6は平均58.2点かつ複数回のwarnがあり、継続的に安定した出力が必要なタスクには適さない。
戦略的判断
Claude Opus 4.7は今週のデータが最優秀であり、平均最高かつ変動幅最小で、基準モデルとして適している。GPT-o3とDoubao Proの下落幅は30点超となっており、次回のSmokeデータで偶発的な変動なのか継続的な下落なのかを検証する必要がある。
GPT-5.5は平均72点であるものの変動幅100点のため、実際の使用可能性は平均値が示す水準を下回る。Qwen3 Maxは10.2点上昇かつ変動幅最小であり、実行評価軸のスコア変化を継続的に追跡する価値がある。
データ出典：YZ Index | Run #237 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接