Grok 4のメインランキングが8.8ポイント急落:コード実行が100点から90.7点に低下
Grok 4は本日のSmoke評価テストで、メインランキングのスコアが昨日の96.99点から88.14点に低下し、1日の落ち幅は8.8ポイントに達した。コード実行と素材制約の2次元が主な下落要因となっている。
Grok 4は本日のSmoke評価テストで、メインランキングのスコアが昨日の96.99点から88.14点に低下し、1日の落ち幅は8.8ポイントに達した。コード実行と素材制約の2次元が主な下落要因となっている。
GPT-5.5が本日のSmoke評価においてメインランキングのスコアを95.01から85.93へ9.1点下落させた。主因は資料制約スコアの16.5点急落であり、モデル全体の劣化ではなく出題のランダム性による変動と分析されている。
GPT-o3の本日のSmokeベンチマーク総合スコアが昨日の100.00点から89.92点へ10.1点下落した。主因は素材制約次元が100.00点から77.60点へ22.4点急落したことにある。
DoubaoProが本日のSmokeテストで材料制約スコアを100.00から79.50へと20.5点落とした一方、コード実行は75.00から100.00へと25点上昇し、主要ランキングスコアは86.25から90.78へと改善した。
本日のSmokeベンチマークにおいて、Claude Sonnet 4.6の素材制約スコアが前日の100点から79.50点へと20.5点下落した一方、コード実行スコアは73.70点から100点に上昇し、メインボードの総合スコアは85.54点か
本日のSmokeテストにおいて、DeepSeek V4 Proの材料制約スコアが昨日の81.70点から63.30点へ18.4点急落した一方、コード実行スコアは83.40点から94.50点へ11.1点上昇した。主要ランキングの総合スコアは82
Gemini 2.5 ProがSmoke評価の本日テストで主榜スコアを18.37点から83.39点へと大幅に更新し、材料制約スコアは12.10点から100.00点の満点に到達した。ただし、この急上昇は1日あたり10問という極めて小さいサンプ
Gemini 2.5 ProがYZ Indexの2026-08-21 Run#288スモークテストで誠実性評価failを記録し、プローブスコア25.00点・主要ランキング18.37点という当日最低水準の結果を示した。コード実行・資料制約の両
GPT-5.5は本日のSmokeベンチマークにおいて総合スコアが98.35点から88.27点へと10.1点下落した。資料制約次元が100.00点から83.70点へと最大の下落幅を記録し、総合スコア低下の主因となった。
Claude Opus 4.7は本日のSmoke評価テストで総合スコアが98.35点から90.16点へと8.2点下落した。主な要因は資料制約スコアの100.00点から87.90点への急落(-12.1点)と、コード実行スコアの97.00点から
Doubao ProはSmokeテストにおいて材料制約スコアが90.90点から50.00点へと40.9点急落し、総合ランキングが82.16点から77.50点に低下した。一方、コード実行スコアは75.00点から100.00点へ上昇しており、変
GPT-o3の本日のSmokeベンチマーク総合スコアが96.93点から87.93点へ9点下落した。主因は資料制約ディメンションが95.00点から75.00点へ20点急落したことによる。
Qwen3 MaxのSmokeベンチマーク総合スコアが前日の95.34点から86.98点へ8.4点下落し、とりわけ材料制約スコアが1日で16.5点という大幅な落ち込みを記録した。コード実行スコアは比較的安定を維持している。
本日のSmoke評価テストにおいて、Claude Sonnet 4.6のコード実行スコアが100.00点から75.00点へと25点下落し、総合ランキングも80.52点から75.00点に後退した。ただし、サンプル数が少ないため、モデルの能力が
Claude Opus 4.7の本日のSmokeベンチマークでは、コード実行スコアが99.60点から75.00点に低下した一方、素材制約スコアが61.70点から100.00点に上昇し、総合ランキングのスコアは82.55点から86.25点へと
DeepSeek V4 ProはSmokeテストにおいてコード実行次元のデータが完全に欠損し、素材制約スコアは55.60点にとどまった。メインランキングへの参加は不可能となっており、原因はモデル能力の低下ではなくAPIの障害と分析されている
本日のSmokeテストにおいて、GPT-5.5の材料制約スコアが15.2点下落した一方、コード実行スコアが30点上昇し、総合ランキングスコアは64.02点へと9.7点改善した。小サンプルによる抽選のばらつきが主因とみられ、モデル能力の構造的
Qwen3 MaxのSmoke評価における本日の主要ランキングスコアが96.04点から85.82点へと10.2点下落した。資料制約次元が21.5点という大幅な下落を記録したことが主な要因となっている。
DeepSeek V4 ProのSmokeベンチマークにおける材料制約スコアが前日の89.50点から70.00点へと急落し、総合スコアも94.07点から86.50点に低下した。ただし、コード実行は満点に達しており、モデル全体の系統的な劣化と
本日のSmoke評価テストにおいて、Claude Sonnet 4.6のコード実行スコアが94.50点から75.00点へと19.5点下落した一方、資料制約スコアは43.30点から97.80点へと急上昇し、メインランキング総合スコアは71.4