GLM-4.6、Smoke評価で5次元データが全欠落——API障害により今回のランキング対象外に
GLM-4.6が本日のSmoke評価においてAPI障害・タイムアウトにより全5次元のデータが欠落し、自動再実行に入ったため今回のランキングには参加しない。欠落はモデル本来の性能ではなくインターフェース層の接続断に起因するとみられる。
Smoke评测 に関するニュース
GPT-o3の総合スコアが15点急落——コード実行が100点から75点に低下
GPT-o3は本日のSmoke評価において総合スコアが85.15点から70.19点へと15点下落した。主な要因はコード実行ディメンションが100.00点から75.00点へと25点急落したことによる。
GPT-5.5のメインボードスコアが1日で21.4点急落——コード実行が97点から75点に
GPT-5.5が本日のSmoke評価においてメインボードスコアを82.29点から60.87点へ大幅に下落させ、1日の下落幅は21.4点に達した。コード実行と材料制約の両次元が同時に20点以上の急落を記録し、全体的な可用性に深刻な懸念が生じて
Claude Opus 4.7のコード実行スコアが97から50に急落、総合スコアは18.7ポイント暴落
Claude Opus 4.7が本日のSmoke評価において、総合スコアが昨日の82.29点から63.59点へと18.7ポイント急落した。主な原因はコード実行スコアが97.00点から50.00点へと47ポイント下落したことにある。
Gemini 2.5 Proのコード実行スコアが25点急落、総合ランキングも7.2点下降
Gemini 2.5 ProがSmokeベンチマークの本日評価でコード実行スコアが100.00点から75.00点へと25点急落し、総合ランキングも88.75点から81.53点に低下した。
Grok 4、材料制約スコアが22.2点急落——総合ランキングも5.2点下降
本日のSmoke評価テストにおいて、Grok 4の材料制約スコアが100.00点から77.80点へと22.2点急落し、総合ランキングスコアも93.79点から88.64点に低下した。ただし、サンプル数の少なさによる確率的変動が主因とみられる。
GPT-o3のコード実行スコアが24.7点急落、総合スコアは78.13に低下――Smoke評価の異常に要注意
GPT-o3が本日のSmoke評価においてコード実行次元で94.50点から69.80点へと24.7点急落し、総合スコートも86.04点から78.13点へ低下した。ただし、題目抽選による変動が主因である可能性が高く、モデルの実質的な性能劣化と
GPT-5.5のコード実行スコアが22.5点急落、材料制約は28.6点急騰
Smoke評価テストにおいて、GPT-5.5のコード実行スコアが94.50から72.00へ22.5点下落した一方、材料制約スコアは71.40から100.00へ28.6点上昇した。総合ランキングのスコアはわずか0.5点の上昇にとどまっており、
Claude Sonnet 4.6の材料制約スコアが33.6点急落、総合ランキングも4.4点下落
Claude Sonnet 4.6が本日のSmoke評価において、材料制約スコアが昨日の100.00点から66.40点へ急落し、総合ランキングも86.25点から81.86点に低下した。ただし、複数の次元で同時上昇が見られることから、モデル能
Grok 4、材料制約スコアが17.8点急落も、コード実行は18.5点上昇——Smoke評価メインランキングは2.2点増
Grok 4は本日のSmoke評価メインランキングで88.42点を記録し、昨日の86.25点から2.2点上昇した。一方、材料制約ディメンションが100.00点から82.20点へ17.8点下落するなど、各ディメンション間で大きな明暗が分かれた
GPT-o3の材料制約スコアが20点急落、メインランキングは4.8点上昇
本日のSmokeテストにおいて、GPT-o3の材料制約スコアが70.00点から50.00点へ急落し、エンジニアリング判断も100.00点から50.00点へ下落した一方、メインランキングのスコアは72.75点から77.50点へと上昇した。この
DoubaoProの材料制約スコアが27.6点急落、コード実行は49.3点急騰
Doubao ProのSmoke評価において、本日の材料制約スコアが前日比27.6点減の58.30点に急落した一方、コード実行スコアは49.3点増の99.30点に急騰し、メインボードスコアは66.16点から80.85点に上昇した。
GLM-4.6、材料制約スコアが21点急落・コード実行は25点上昇、総合ランキングは4.3点微増
GLM-4.6が本日のSmoke評価において材料制約スコアが21点急落した一方、コード実行スコアは25点上昇し、総合スコアは60.94点から65.24点へと小幅上昇した。誠実性評価はpassからwarnに変化しており、材料依存型の業務シーン
Qwen3 Max、コード実行スコアが21.7点急落――素材制約は20.4点上昇
Qwen3 MaxがSmokeテストでコード実行スコアを96.70点から75.00点へと大幅に下落させた一方、素材制約スコアは48.80点から69.20点へと上昇した。主要ランキングスコアは75.15点から72.39点へと小幅に低下した。
GLM-4.6、素材制約スコア+28.2点も工程判断-39.6点――誠実性評価がfailからpassに転じ、メインランキングは12.7点上昇
GLM-4.6が本日のSmoke評価テストでメインランキングスコアを48.25点から60.94点へ12.7点改善し、誠実性評価もfailからpassに転換した。ただしスコア変動の主因は素材制約次元の大幅上昇であり、工程判断・タスク表現の両次
GPT-5.5のコード実行スコアが100から75に急落——Smoke評価メインランキングで7.5ポイント低下
GPT-5.5が本日のSmoke評価においてコード実行スコアを100.00から75.00へと急落させ、メインランキング全体も79.12から71.67へと7.5ポイント低下した。抽選による問題のばらつきが主因と見られるが、跌幅は継続的な追跡が
GPT-5.5のコード実行スコアが25点急落、総合ランキングは3点減のみ、素材制約は24点上昇
GPT-5.5が本日のSmokeテストでコード実行スコアを94.50から69.50へと急落させた一方、素材制約スコアは76.00から100.00へ上昇。両者が相殺し合い、総合ランキングの低下は3点にとどまった。
Grok 4のコード実行スコアが21.8点急落、メインランキングは89.15から84.99に低下
Grok 4が本日のSmokeベンチマークにおいてコード実行スコアを94.50点から72.70点へと大幅に落とし、メインランキングが89.15点から84.99点に後退した。一方、素材制約スコアは100点満点を記録した。
Gemini 3.1 Pro、メインランキングで10.8ポイント急落――素材制約次元が単日14.4ポイント下落
本日のSmoke評価テストにおいて、Gemini 3.1 Proのメインランキングスコアが昨日の96.60点から85.83点へと10.8ポイント下落した。特に素材制約次元が14.4ポイント、エンジニアリング判断が25ポイントと大幅に低下して
Grok 4のメインランキングが8.8ポイント急落：コード実行が100点から90.7点に低下
Grok 4は本日のSmoke評価テストで、メインランキングのスコアが昨日の96.99点から88.14点に低下し、1日の落ち幅は8.8ポイントに達した。コード実行と素材制約の2次元が主な下落要因となっている。