Claude Sonnet 4.6が22.6ポイント下落、GLM-4.6の変動59.9、GPT-o3が6.7ポイント上昇――Smoke週次トレンド

2026年8月6日〜9日の期間において、Claude Sonnet 4.6は初日スコア92.17、最終日69.56を記録し、トレンドは−22.6、平均値79.6、変動幅22.6となった。

下落モデルのスコア推移とメカニズム

Claude Sonnet 4.6は4日間で最大の単一モデル下落幅を記録し、初日と最終日の差22.6ポイントが平均値を79.6まで押し下げた。DeepSeek V4 Proも同様に下落し、初日92.17、最終日86.5、トレンド−5.7、平均値83.5、変動幅32.9となった。Gemini 2.5 Proは71.3から63.95へと低下し、トレンド−7.3、平均値76.4、変動幅23.3を記録した。GLM-4.6の下落幅は22.1ポイントに達し、初日59.86、最終日37.76、平均値はわずか24.4、変動幅59.9となり、誠実性評価がpassから記録欠落へと転じた。

これらの下落は主に、コード実行と資料制約という主要評価軸の次元に集中している。Claude Sonnet 4.6とGLM-4.6の連続低スコア日は、連続的な高速テストにおける一貫性の不足を示している。GLM-4.6の変動幅59.9は、単日スコアの標準偏差が極めて高く、同種の問題に繰り返し回答する際のスコアの振れ幅が大きいことを意味しており、単純な正答率の問題にとどまらない。

上昇モデルのスコア推移とメカニズム

GPT-o3は89.2から95.91へと上昇し、トレンド+6.7、平均値88.8、変動幅25.3となった。Claude Opus 4.7は87.36から92.85へと上昇し、トレンド+5.5、平均値89.7、変動幅16.7を記録した。Gemini 3.1 Proは上昇幅が最大で、73.61から84.66へと伸び、トレンド+11.1、平均値80.5、変動幅28.7となった。Qwen3 Maxは80.48から85.82へと上昇し、トレンド+5.3、平均値81.9、変動幅30.8を記録した。Grok 4は82.99から84.27へと上昇し、トレンド+1.3、平均値85.9、変動幅14.1となった。

GPT-o3とClaude Opus 4.7の上昇は低い変動幅を伴っており、コード実行と資料制約という主要評価軸の両次元において相対的に安定した出力品質を維持していることを示している。Gemini 3.1 Proは上昇幅こそ最大であるが、変動幅28.7はGrok 4の14.1を依然として上回っており、スコア向上の過程において一貫性がまだ完全に安定していないことを示している。

誠実性評価変化という独立したシグナル

GPT-o3の誠実性評価はpassからwarnへと変化し、Grok 4はpassからwarnを経て再びpassに戻り、GLM-4.6の誠実性評価記録には欠落が生じた。誠実性評価は加点項目ではなく参入要件であり、warn状態は本番環境における当該モデルのデプロイ可能性に直接影響する。GPT-o3は平均値88.8で上位に位置するものの、誠実性評価の変動はすでに利用上の閾値となっている。

高変動モデルの利用者への意味

GLM-4.6(変動幅59.9)、DeepSeek V4 Pro(変動幅32.9)、Qwen3 Max(変動幅30.8)のモデルは、一貫性の要求が比較的低い探索的タスクに適している。コード実行を重視するチームがGLM-4.6を採用する場合、単日スコアの激しい変動に対応するため、追加の人的検証工程への投資が必要となる。資料への忠実度が求められるシナリオでは、変動幅14.1のGrok 4または変動幅16.7のClaude Opus 4.7を優先すべきである。

着実に上昇するモデルへの戦略的判断

GPT-o3とClaude Opus 4.7はいずれも4日間を通じて正のトレンドを維持し、平均値が88点を超えており、データは両モデルを現在のSmokeテストにおける安定上昇グループとして位置づけることを支持している。Gemini 3.1 Proは11.1ポイントの上昇幅を示したが変動幅28.7であり、次期においても一貫性が収束するかどうかの継続検証が必要である。Doubao Proは4日間連続で平均値0を記録しており、今回のSmoke評価では有効なスコア記録が生成されなかったことを示している。

現時点での初日・最終日比較に基づくと、Claude Sonnet 4.6とGLM-4.6の下落幅は大半の上昇モデルの上昇幅を超えており、データはこの両者が今週のSmokeテストにおいて相対的に過小評価されている可能性が低いことを示している。GPT-o3のトレンド+6.7と平均値88.8の組み合わせは、今期において上昇と高水準の平均値を同時に満たす唯一のモデルである。


データ出典:YZ Index | Run #270 | 元データを見る