Smokeベンチマーク7日間データ：Gemini 2.5 Proがトレンド34.3点で最大上昇、Zhipu GLM-4.6が40.5点の最大変動幅を記録

2026年7月12日 17 約6分 Winzheng Index

Gemini 2.5 Pro GLM-4.6 趋势分析诚信评级 Smoke评测

2026年7月8日から7月12日にかけてのSmokeベンチマーク評価データによると、Gemini 2.5 Proは7日間でトレンドが34.3点上昇し、初日の59.9点から最終日の94.24点へと伸び、平均75.9点、変動幅34.3点を記録した。

上昇モデルのスコア推移

Doubao Proはトレンドが20.2点上昇し、初日の71.83点から最終日の91.99点へと伸び、平均82.8点、変動幅20.2点を記録した。Claude Opus 4.7はトレンドが15.6点上昇し、81.44点から96.99点へと伸び、平均84.3点、変動幅25.7点を記録した。Qwen3 Maxはトレンドが16.4点上昇し、77.83点から94.24点へと伸び、平均79.6点、変動幅24点を記録した。GPT-5.5はトレンドが14.2点上昇し、66.09点から80.27点へと伸び、平均75.4点、変動幅14.2点を記録した。Gemini 3.1 Proはトレンドが19.5点上昇し、61点から80.49点へと伸び、平均76.6点、変動幅28.2点を記録した。Grok 4はトレンドが5.3点上昇し、91.69点から96.99点へと伸び、平均86点、変動幅22.4点を記録した。Claude Sonnet 4.6はトレンドが10.7点上昇し、86.28点から96.99点へと伸び、平均82.4点、変動幅31点を記録した。DeepSeek V4 Proはトレンドが1.8点上昇し、95.19点から96.99点へと伸び、平均86点、変動幅29.3点を記録した。Zhipu GLM-4.6はトレンドが13.8点上昇し、38.75点から52.5点へと伸び、平均52.7点、変動幅40.5点を記録した。

唯一下降したモデルのパフォーマンス

GPT-o3はトレンドが3.2点下降し、初日の83.44点から最終日の80.27点へと低下し、平均82.5点、変動幅はわずか6.6点にとどまった。このモデルは7日間連続してスコアが比較的安定しており、大幅な跳ね上がりは見られなかった。

高変動モデルの要因分析

Zhipu GLM-4.6の変動幅は40.5点と他モデルを大きく上回り、スコートは38.75点から52.5点の間で大きく揺れ動いた。Gemini 2.5 Proの変動幅は34.3点、Claude Sonnet 4.6は31点、DeepSeek V4 Proは29.3点であった。これらの変動は、Smokeが毎日10問で実施するクイック評価において、モデルが同種の問題に対して一貫性の異なる回答をすることに起因する。安定性の算出式max(0, 100−stddev×2)はスコアの標準偏差を直接反映しており、Zhipu GLM-4.6の高い標準偏差がその安定性スコアの低下をもたらしている。

誠実性評価変化のシグナル

Zhipu GLM-4.6の誠実性評価はfailからpassへ、さらにwarnへと変化し、連続してwarnシグナルが発生した。Doubao Pro、GPT-5.5、Grok 4はいずれもpassからwarnを経てpassに戻るという変動を示した。誠実性評価は参入基準として機能しており、これらのwarn記録はモデルの資料制約（grounding）およびコード実行の各次元における信頼性に直接影響する。

利用者への具体的な意味

コード実行を重視するチームはDeepSeek V4 Proを優先的に選択すべきであり、平均86点・最終日96.99点を記録し、変動幅29.3点ながら全体的な水準は安定している。資料への忠実度が求められる場面ではZhipu GLM-4.6を避ける必要があり、誠実性評価のwarnおよび40.5点の変動幅が出力の不一致を招く可能性がある。継続的なタスクを必要とする開発者はGPT-o3を参考にすることができ、変動幅がわずか6.6点と安定した出力が求められるシナリオに適している。

戦略的判断

DeepSeek V4 Proは平均86点でトレンドも正方向であり、現時点では過小評価されている。Zhipu GLM-4.6は高変動に加えて誠実性評価がwarnであり、現時点では過大評価されている。Gemini 2.5 Proの34.3点というトレンド値は、次回以降もその一貫性の源泉を継続して検証する価値がある。GPT-o3の−3.2点下降は唯一のネガティブシグナルであり、今後の資料制約パフォーマンスに注目が必要である。

7日間のデータはSmokeの毎日10問サンプルのみをカバーしており、Gemini 2.5 ProやDoubao Proなど上昇したモデルの最終日スコアはすでに96.99点の上限に近づいており、資料制約次元の改善が見て取れる。下降したGPT-o3の平均は82.5点を維持しており、多くの上昇モデルの平均を上回っていることから、トレンドの影響を受けずベースライン能力が維持されていることがわかる。

変動幅が30点を超えるモデルにはZhipu GLM-4.6、Gemini 2.5 Pro、Claude Sonnet 4.6が含まれており、これらのモデルについてはエンジニアリング判断側ランキングおよびタスク表現側ランキングにおける潜在的な不安定性について、企業がモデル選定を行う際に追加テストが必要である。誠実性評価がwarnのモデルはintegrity次元でしきい値に達しており、実際の展開前にコード実行およびgroundingスコアについて個別の監査が必要である。

データ出典：YZ Index | Run #226 | 元データを見る