Grok 4のSmokeベンチマーク主榜スコアが17.5点急落——材料制約次元は1日で21.9点下落
Grok 4が本日のSmokeベンチマーク評価において、主榜スコアが昨日の94.15点から76.65点へと17.5点下落した。特に材料制約次元の単日下落幅が21.9点と最大で、日次の問題抽選による変動が主因と分析されている。
Smoke评测 に関するニュース
DeepSeek V4 Pro、メインランキングで11.9ポイント急落――コード実行は13.3ポイント低下
DeepSeek V4 Proが本日のSmoke評価においてメインランキングのスコアが93.84点から81.93点へと11.9ポイント下落した。特にコード実行と材料制約の2次元で大幅な低下が確認された。
Doubao Pro がメインランキングで15点急落：コード実行が75点から58.3点に下降
Doubao ProがSmoke評価テストのメインランキングで86.25点から71.22点に急落し、コード実行次元が75.00点から58.30点へと大幅に低下した。今回の変動は主に問題抽選のランダム性によるものとみられるが、複数のコア次元が
Claude Opus 4.7がメインランキングで19.9点急落——コード実行は1日で25点低下
Claude Opus 4.7は本日のSmokeベンチマークにおいて、メインランキングスコアが100.00点から80.09点へと急落した。コード実行と資料制約の両次元が同日に大幅な失点を記録している。
DeepSeek V4 Proのコード実行スコアが23.7点急落、メインランキングも5.2点下落
DeepSeek V4 ProがSmoke評価のコード実行次元で98.70点から75.00点へと23.7点急落し、メインランキング全体も91.46点から86.25点に下落した。ただし、この変動は問題抽選によるばらつきの可能性が高く、モデルの
DeepSeek V4 Pro、Smoke評価のメインランキングで16.9点急落――コード実行が1日で28点下落
DeepSeek V4 ProがSmoke評価のメインランキングで96.99点から80.10点へと16.9点下落した。主な要因はコード実行次元の28点急落であり、サンプル数が少ないことによる問題抽選の変動が主因とみられる。
Claude Opus 4.7、主要ランキングで14点下落――コード実行スコアが100から69へ
Claude Opus 4.7はSmoke評価の主要ランキングにおいて96.99点から82.95点へと下落し、コード実行ディメンションが100.00点から69.00点へ31点落ち込んだ。ただし、モデル全体の能力低下ではなく、当日の出題サンプ
GLM-4.6、材料制約スコアが25点急落・コード実行は50点上昇——Smokeテスト総合ランキングは逆に上昇
GLM-4.6は本日のSmokeテストで材料制約スコアが50点から25点へ急落した一方、コード実行スコアが25点から75点へ上昇し、総合ランキングのスコアは36.25点から52.50点へ上昇した。
Smokeベンチマーク7日間データ：Gemini 2.5 Proがトレンド34.3点で最大上昇、Zhipu GLM-4.6が40.5点の最大変動幅を記録
2026年7月8日から12日にかけてのSmokeベンチマーク評価データによると、Gemini 2.5 Proが7日間でトレンド34.3点上昇し最大の伸びを示した一方、Zhipu GLM-4.6は40.5点という最大の変動幅を記録した。
Claude Opus 4.7、Smoke評価でメインランキングが1日で19.3点急落――コード実行は22点下落
Claude Opus 4.7が本日のSmoke評価においてメインランキングスコアを90.51点から71.26点へと19.3点落とした。コード実行と素材制約の2次元が同時に大幅下落した一方、エンジニアリング判断は上昇しており、モデルの真の性
GPT-o3、材料制約スコアが16.8点急落——タスク表現も同期して28.3点下落
GPT-o3が本日のSmoke評価テストで材料制約スコアが66.80点と昨日の83.60点から16.8点下落し、メインランキング総合スコアも83.44点から80.39点に低下した。材料制約とタスク表現が同時に大幅下落した一方、コード実行スコ
Qwen3 Max、材料制約スコアが15.1点急落——コード実行は18.4点上昇
Qwen3 MaxのSmoke評価において、材料制約スコアが83.60点から68.50点へ15.1点下落した一方、コード実行スコアは73.10点から91.50点へ18.4点上昇した。主要ランキングスコアは77.83点から81.15点へ上昇し
Qwen3 Max、メインランキングで12.9ポイント急落――コード実行は1日で26.8ポイント下落
YZ Index 2026年6月のSmokeテストにおいて、Qwen3 Maxのメインランキングスコアが84.92点から72.02点へ12.9ポイント下落し、特にコード実行ディメンションが96.30点から69.50点へ急落した。単日データの
Qwen3 Max が主榜で12.9点急落、Gemini 2.5 Pro が96.99点でSmoke軽量榜をリード
YZ Index 2026年7月4日のSmoke軽量評価（11モデル対象）で、Gemini 2.5 Pro が主榜96.99点で首位を獲得。一方、Qwen3 Max は12.9点急落し72.02点に後退した。
Claude Sonnet 4.6、YZ Index Smokeランキングで15.3点急落――コード実行が1日で25点下落
YZ Index 2026年6月のSmoke評価において、Claude Sonnet 4.6のメインランキングスコアが97.84点から82.52点へと1日で15.3点下落した。ただし、サンプル数の少なさによる抽選変動の可能性が高く、真のモデ
Claude Opus 4.7、YZ Index Smokeテストでメインスコアが16点急落——コード実行が1日で27.2点低下
YZ Index 2026年6月のSmokeテストにおいて、Claude Opus 4.7のメインスコアが前日の100.00点から84.01点へ急落し、コード実行次元では100.00点から72.80点へ大幅に低下した。
Claude Sonnet 4.6、YZ Index Smoke評価でメインスコアが25.9点急落——コード実行が100点から50点に低下
YZ Index 2026年6月のSmoke評価において、Claude Sonnet 4.6のメインスコアが96.45点から70.52点へと25.9点急落した。主な原因はコード実行ディメンションが100.00点から50.00点へと半減したこ
Claude Opus 4.7のコード実行スコアが100から50に急落、メインランキングで1日に25.7ポイント下落
YZ IndexのSmoke評価において、Claude Opus 4.7のメインランキングスコアが97.12点から71.47点へと25.7ポイント急落した。コード実行次元のスコアが100点から50点へと半減したことが主な原因である。
Doubao Pro が98.61点でSmokeテストトップに、Claudeは実行スコア-50点の急落
2026年6月28日のSmokeライト評価において、Doubao Proが実行満点100点を記録してトップに立つ一方、Claude Opus 4.7とSonnet 4.6は実行スコアが前日の100点から50点に急落し、総合スコアが大幅に下落
4モデルの実行スコアが50に急落、ERNIE Botはメインランキングで34.1点の大幅下落
YZ Index 2026年6月24日のSmoke軽量評価において、ERNIE Bot 4.5のメインランキングスコアが前日比34.1点急落し64.63点となり、実行ディメンションが100から50に直接低下した。同日、4つのモデルで実行スコ