Qwen3 Max、Smoke評価データが全項目欠損――API障害により今回の主要ランキングから除外
Qwen3 MaxがSmokeデイリー評価において全5評価軸のデータが欠損し、主要ランキングスコアも算出不能となった。API障害が原因とみられ、自動再実行メカニズムが発動、今回はランキングに参加しない。
Smoke评测 に関するニュース
GLM-4.6のSmokeテスト：コード実行25分、API障害によりコミュニケーション次元欠損で主榜36.25点
GLM-4.6は本日のSmokeテストで主榜36.25点を記録したが、API障害によりcommunication次元のデータが完全に欠損し、正式ランキングへの参入は見送られた。コード実行・工程判断いずれも25.00点、材料制約のみ50.00
GPT-5.5、材料制約スコアが18点急落も、コード実行は30.3点急騰——総合スコアは8.6点上昇
GPT-5.5の本日のSmokeベンチマークでは、コード実行スコアが69.50から99.80へと急騰した一方、材料制約スコアは79.30から61.30へと急落した。総合スコアは73.91から82.48へと上昇した。
GPT-6.1 Sol、材料制約スコアが29.1点急落——コード実行は19.5点上昇
GPT-6.1 SolはSmoke評価テストにおいて、材料制約スコアが89.80点から60.70点へと29.1点急落した一方、コード実行スコアは75.00点から94.50点へと19.5点上昇し、総合スコアは81.66点から79.29点に低下
GPT-6 Astra、材料制約スコアが29.1点急落・コード実行は19.5点上昇
本日のSmokeテストにて、GPT-6 Astraの材料制約スコアが89.80点から60.70点へ29.1点下落した一方、コード実行スコアは75.00点から94.50点へ上昇。主要ランキング総合スコアは81.66点から79.29点へ小幅低下
Claude Sonnet 4.6、メインランキングで11.1点の急落——コード実行と資料制約が同時崩壊
Claude Sonnet 4.6が本日のSmoke評価においてメインランキングスコアを84.90点から73.76点へと11.1点落とした。コード実行・資料制約の2主要次元が同日に二桁下落し、誠実性評価もpassからwarnへ変化した。
GPT-6 Luna、メインランキングで11.5点急落——コード実行スコアが100点から74.3点へ
GPT-6 LunaがSmoke評価の本日テストでメインランキングスコアを87.27点から75.79点へと11.5点下落させた。主な要因はコード実行スコアが100.00点から74.30点へと25.7点急落したことにある。
GPT-o3、材料制約スコアが25点急落・コード実行は20.1点上昇——主榜はわずか0.2点の低下
本日のSmoke評価テストにおいて、GPT-o3の材料制約スコアが88.30点から63.30点へと25点下落した一方、コード実行スコアは69.00点から89.10点へと20.1点上昇し、主榜スコアは77.69点から77.49点へとわずか0.
Grok 4のコード実行スコアが15.8点急落、メインランキングは1.1点減にとどまる
本日のSmoke評価テストにおいて、Grok 4のコード実行スコアが94.00点から78.20点へと15.8点下落した一方、資料制約スコアは16.9点上昇し、メインランキングの下落幅は1.1点にとどまった。
GPT-6 Sol、メインランキングで16.4点急落——コード実行が100点から66.8点に激減
GPT-6 SolがSmoke評価のメインランキングで90.51点から74.14点へと16.4点下落し、主な要因はコード実行次元が100.00点から66.80点へと急落したことにある。材料制約・タスク表現などの次元は安定または上昇しており、
GPT-6 Luna、材料制約スコアが15.9点急落——コード実行は19.7点の大幅上昇
本日のSmoke評価テストにおいて、GPT-6 Lunaの材料制約スコアが87.90点から72.00点へ15.9点下落した一方、コード実行スコアは74.30点から94.00点へ19.7点上昇し、総合メインスコアは80.40点から84.10点
Claude Opus 4.7、コード実行スコアが17.4点急落・タスク表現が31.2点下落
本日のSmoke評価において、Claude Opus 4.7のコード実行スコアが75.00から57.60へ大幅に低下し、総合ランキングも73.61から69.53へ下落した。単日の問題抽選による偏りが主因とみられる。
Claude Sonnet 4.6、Smoke評価メインランキングで12.9点急落——コード実行スコアが100点から76.1点に
Claude Sonnet 4.6が本日のSmoke評価においてメインランキングスコアを前日の87.36点から74.44点へと12.9点下落させた。主な要因はコード実行ディメンションが100.00点から76.10点へと23.9点急落したこと
GPT-6 Luna、Smoke評価メインランキングで19.8点急落——コード実行スコアが100から75へ
GPT-6 LunaのSmoke評価メインランキングスコアが本日86.95点から67.17点へと1日で19.8点下落した。コード実行次元が25点、素材制約次元が13.4点それぞれ低下したことが主な要因となっている。
Grok 4の材料制約スコアが17.4点急落、コード実行は7.9点上昇——Smoke評価メインランキングは3.5点低下
本日のSmoke評価において、Grok 4の材料制約スコアが75.00点から57.60点へと17.4点急落した一方、コード実行スコアは74.40点から82.30点へ上昇し、メインランキングの総合スコアは74.67点から71.19点へと3.5
GPT-5.5のコード実行スコアが100点から75点に急落――総合ランキングも5.3点下降
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが昨日の100.00点から75.00点へと25点急落し、総合ランキングのスコアも78.49点から73.20点に低下した。ただし他の評価次元の上昇が一部を相殺しており、モデル
Grok 4のコード実行スコアが20.2点急落、メインランキングは逆に2.4点上昇
Grok 4は本日のSmokeテストでコード実行スコアが94.60点から74.40点へ20.2点急落した一方、素材制約スコアが30点上昇し、メインランキングは逆に2.4点上昇して74.67点となった。単日の次元間で激しい逆方向の変動が見られ
Claude Sonnet 4.6、Smoke評価でメインスコアが16.9点急落——材料制約が1日で30点下落
Claude Sonnet 4.6は本日のSmoke評価においてメインスコアが80.99点から64.13点へと16.9点下落した。主な要因は材料制約ディメンションが88.30点から58.30点へと急落したことにある。
Gemini 3.1 Pro、材料制約スコアが16.7点急落——コード実行は27点上昇
Gemini 3.1 ProがSmoke評価の本日テストで、総合スコアは83.50点から90.84点へ上昇した一方、材料制約ディメンションは100.00点から83.30点へ16.7点急落し、コード実行ディメンションは70.00点から97.0
Qwen3 Max、Smoke評価で5次元すべて欠損――API障害により主要ランキングに記録なし
Qwen3 MaxはSoftware評価において実行・グラウンディング・判断・整合性・コミュニケーションの5次元すべてが欠損し、主要ランキングのスコアは「- → -（-）」となり、今回の順位付けに参加できなかった。API障害による自動再実行