Qwen3 Max、コード実行スコアが24点急落——メインランキングも7.4点下落
本日のSmoke評価テストにおいて、Qwen3 Maxのコード実行スコアが94.00点から70.00点へと24点急落し、メインランキングスコアも84.51点から77.16点に低下した。ただし、問題の抽選による変動が主因とみられ、モデル能力の
材料约束 に関するニュース
GPT-o3のコード実行スコアが21.8点急落、資料制約スコアは33.5点上昇、総合ランキングは小幅上昇
本日のSmokeベンチマークにおいて、GPT-o3のコード実行スコアが93.80点から72.00点へと21.8点下落した一方、資料制約スコアは49.30点から82.80点へと33.5点上昇し、総合スコアは73.78点から76.86点へと小幅
Doubao Pro のメインランキングが9.8点急落、資料制約が単日で13.7点下落
Doubao Pro が本日のSmokeベンチマーク・メインランキングで83.00点を記録し、昨日の92.85点から9.8点下落した。中でも資料制約ディメンションが85.70点から72.00点へと大幅に落ち込んだ。
Grok 4の材料制約スコアが15.8点急落――メインランキングが95.44から90.86に低下
本日のSmoke評価テストにおいて、Grok 4の材料制約スコアが昨日の100.00から84.20へと15.8点急落し、メインランキング全体が95.44から90.86に低下した。
Claude Sonnet 4.6、材料制約スコアが15.8点急落——コード実行は47点上昇
本日のSmoke評価において、Claude Sonnet 4.6の材料制約スコアが100.00点から84.20点へと15.8点下落した一方、コード実行スコアは50.00点から97.00点へと大幅上昇し、総合ランキングは72.50点から91.
GPT-5.5のコード実行スコアが100から75に急落――メインランキングで1日に10.1点下落
GPT-5.5は本日のSmokeベンチマーク評価でメインランキングのスコアが86.50点から76.44点へと10.1点下落した。主な原因はコード実行次元の25点急落とみられ、サンプル数の少なさによる問題抽選のばらつきが影響している可能性が高
DeepSeek V4 Pro、材料制約スコアが15点急落も主ランキングは逆に20.8点上昇
DeepSeek V4 Proは本日のSmokeベンチマークで、材料制約スコアが91.70点から76.70点へ下落した一方、主ランキングスコアは55.02点から75.77点へ上昇した。コード実行スコアの大幅改善が主な要因となっている。
Qwen3 Max、材料制約スコアが16.9点急落、コード実行は64.3点急騰
Qwen3 MaxはSmoke評価の本日テストにおいて、材料制約スコアが90.90点から74.00点へ急落する一方、コード実行スコアが25.00点から89.30点へ急騰し、メインランキング総合スコアは54.66点から82.42点に上昇した。
Doubao Pro の材料制約スコアが15.9ポイント急落、総合ランキングも7.2ポイント低下
Doubao Pro は本日のSmokeテストにおいて材料制約スコアが80.20点から64.30点へと15.9ポイント下落し、総合スコアも91.09点から83.94点へと7.2ポイント低下した。
Claude Opus 4.7の材料制約スコアが15.9点急落、主榜は1日で7.2点下落
Claude Opus 4.7は本日のSmoke評価テストにおいて、材料制約スコアが昨日の80.20点から64.30点へと急落し、主榜全体も91.09点から83.94点へと低下した。
GPT-5.5のメインボードスコアが1日で21.4点急落——コード実行が97点から75点に
GPT-5.5が本日のSmoke評価においてメインボードスコアを82.29点から60.87点へ大幅に下落させ、1日の下落幅は21.4点に達した。コード実行と材料制約の両次元が同時に20点以上の急落を記録し、全体的な可用性に深刻な懸念が生じて
Grok 4、材料制約スコアが22.2点急落——総合ランキングも5.2点下降
本日のSmoke評価テストにおいて、Grok 4の材料制約スコアが100.00点から77.80点へと22.2点急落し、総合ランキングスコアも93.79点から88.64点に低下した。ただし、サンプル数の少なさによる確率的変動が主因とみられる。
Claude Sonnet 4.6の材料制約スコアが33.6点急落、総合ランキングも4.4点下落
Claude Sonnet 4.6が本日のSmoke評価において、材料制約スコアが昨日の100.00点から66.40点へ急落し、総合ランキングも86.25点から81.86点に低下した。ただし、複数の次元で同時上昇が見られることから、モデル能
Grok 4、材料制約スコアが17.8点急落も、コード実行は18.5点上昇——Smoke評価メインランキングは2.2点増
Grok 4は本日のSmoke評価メインランキングで88.42点を記録し、昨日の86.25点から2.2点上昇した。一方、材料制約ディメンションが100.00点から82.20点へ17.8点下落するなど、各ディメンション間で大きな明暗が分かれた
GPT-o3の材料制約スコアが20点急落、メインランキングは4.8点上昇
本日のSmokeテストにおいて、GPT-o3の材料制約スコアが70.00点から50.00点へ急落し、エンジニアリング判断も100.00点から50.00点へ下落した一方、メインランキングのスコアは72.75点から77.50点へと上昇した。この
DoubaoProの材料制約スコアが27.6点急落、コード実行は49.3点急騰
Doubao ProのSmoke評価において、本日の材料制約スコアが前日比27.6点減の58.30点に急落した一方、コード実行スコアは49.3点増の99.30点に急騰し、メインボードスコアは66.16点から80.85点に上昇した。
GLM-4.6、材料制約スコアが21点急落・コード実行は25点上昇、総合ランキングは4.3点微増
GLM-4.6が本日のSmoke評価において材料制約スコアが21点急落した一方、コード実行スコアは25点上昇し、総合スコアは60.94点から65.24点へと小幅上昇した。誠実性評価はpassからwarnに変化しており、材料依存型の業務シーン
GLM-4.6、素材制約スコア+28.2点も工程判断-39.6点――誠実性評価がfailからpassに転じ、メインランキングは12.7点上昇
GLM-4.6が本日のSmoke評価テストでメインランキングスコアを48.25点から60.94点へ12.7点改善し、誠実性評価もfailからpassに転換した。ただしスコア変動の主因は素材制約次元の大幅上昇であり、工程判断・タスク表現の両次
GLM-4.6、誠実性評価でfail――プローブスコア15.00、主要ランキング48.25点・素材制約46.10点
2026年9月3日実施のRun#307において、GLM-4.6は誠実性評価でfailと判定され、プローブスコア15.00、主要ランキングスコア48.25点を記録した。同日テストされた他の全モデルが誠実性評価をpassしており、GLM-4.6
Gemini 3.1 Pro、メインランキングで10.8ポイント急落――素材制約次元が単日14.4ポイント下落
本日のSmoke評価テストにおいて、Gemini 3.1 Proのメインランキングスコアが昨日の96.60点から85.83点へと10.8ポイント下落した。特に素材制約次元が14.4ポイント、エンジニアリング判断が25ポイントと大幅に低下して