GPT-o3のコード実行スコアが24.7点急落、総合スコアは78.13に低下――Smoke評価の異常に要注意
GPT-o3が本日のSmoke評価においてコード実行次元で94.50点から69.80点へと24.7点急落し、総合スコートも86.04点から78.13点へ低下した。ただし、題目抽選による変動が主因である可能性が高く、モデルの実質的な性能劣化と
维度波动 に関するニュース
GPT-5.5のコード実行スコアが22.5点急落、材料制約は28.6点急騰
Smoke評価テストにおいて、GPT-5.5のコード実行スコアが94.50から72.00へ22.5点下落した一方、材料制約スコアは71.40から100.00へ28.6点上昇した。総合ランキングのスコアはわずか0.5点の上昇にとどまっており、
Grok 4、材料制約スコアが17.8点急落も、コード実行は18.5点上昇——Smoke評価メインランキングは2.2点増
Grok 4は本日のSmoke評価メインランキングで88.42点を記録し、昨日の86.25点から2.2点上昇した。一方、材料制約ディメンションが100.00点から82.20点へ17.8点下落するなど、各ディメンション間で大きな明暗が分かれた
GLM-4.6、材料制約スコアが21点急落・コード実行は25点上昇、総合ランキングは4.3点微増
GLM-4.6が本日のSmoke評価において材料制約スコアが21点急落した一方、コード実行スコアは25点上昇し、総合スコアは60.94点から65.24点へと小幅上昇した。誠実性評価はpassからwarnに変化しており、材料依存型の業務シーン
Claude Sonnet 4.6のコード実行スコアが22点急落――総合ランキングは0.5点減にとどまる
Claude Sonnet 4.6が本日のSmoke評価においてコード実行次元で97.00点から75.00点へ22点急落した一方、素材制約次元は25.7点上昇した。総合ランキングスコアは83.24点と、わずか0.5点の低下にとどまった。
Claude Sonnet 4.6、素材制約スコアが20.5点急落——コード実行は満点100点に
本日のSmokeベンチマークにおいて、Claude Sonnet 4.6の素材制約スコアが前日の100点から79.50点へと20.5点下落した一方、コード実行スコアは73.70点から100点に上昇し、メインボードの総合スコアは85.54点か
Doubao Pro、材料制約スコアが1日で40.9点下落——コード実行は25点上昇、総合ランキングは4.7点低下
Doubao ProはSmokeテストにおいて材料制約スコアが90.90点から50.00点へと40.9点急落し、総合ランキングが82.16点から77.50点に低下した。一方、コード実行スコアは75.00点から100.00点へ上昇しており、変
GLM-4.6、コード実行で12.5点下落――資料制約で満点取得しメインランキングは5.4点上昇
GLM-4.6が本日のSmoke評価でメインランキング79.38点を記録。コード実行は62.50点に下落した一方、資料制約は100.00点の満点を獲得し、誠実性評価はfailからpassに転換した。
Grok 4、コード実行スコアが19.5点急落――資料制約は23.2点上昇、総合ランキングは0.3点減にとどまる
本日のSmokeテストにおいて、Grok 4のコード実行スコアが92.00点から72.50点へ19.5点急落した一方、資料制約スコアは60.90点から84.10点へ23.2点上昇し、総合ランキングスコアは78.01点から77.72点へわずか
Claude Sonnet 4.6、コード実行スコアが22点急落――資料制約は25.7点上昇
本日のSmokeベンチマークにおいて、Claude Sonnet 4.6のコード実行スコアが97.00点から75.00点へと22点急落した一方、資料制約スコアは60.20点から85.90点へと25.7点上昇した。主要ランキングの総合スコアは
Claude Opus 4.7、Smoke評価でメインスコアが26.1ポイント急落——コード実行と資料制約の両次元で失守
本日のSmoke評価において、Claude Opus 4.7のメインスコアが100.00点から73.92点へと26.1ポイント下落した。コード実行・資料制約の両次元で25ポイント以上の降下が確認されたが、小サンプルによる変動の可能性が高いと
Gemini 3.1 Pro、材料制約スコアが26.6点下落も総合ランキングは5.4点上昇
本日のSmoke評価においてGemini 3.1 Proの材料制約スコアが90.90点から64.30点へ26.6点急落した一方、コード実行スコアの大幅回復により総合ランキングは51.03点から56.44点へと上昇した。
DeepSeek V4 Proのコード実行スコアが23.7点急落、メインランキングも5.2点下落
DeepSeek V4 ProがSmoke評価のコード実行次元で98.70点から75.00点へと23.7点急落し、メインランキング全体も91.46点から86.25点に下落した。ただし、この変動は問題抽選によるばらつきの可能性が高く、モデルの
GPT-o3、材料制約スコアが16.8点急落——タスク表現も同期して28.3点下落
GPT-o3が本日のSmoke評価テストで材料制約スコアが66.80点と昨日の83.60点から16.8点下落し、メインランキング総合スコアも83.44点から80.39点に低下した。材料制約とタスク表現が同時に大幅下落した一方、コード実行スコ
ERNIE Bot 4.5のメインランキングが10.4点急落、タスク表現次元が90点から46.3点へ半減
YZ Indexの2026年6月における11モデルの実測において、ERNIE Bot 4.5のSmokeテストメインランキングスコアが81.69点から71.33点へと1日で10.4点下落した。ただし、抽選によるランダム変動の可能性が高く、モ