GPT-6 Astra、コード実行スコアが25点急落——メインランキングで1日に11.3点下落
GPT-6 AstraのSmoke評価におけるメインランキングスコアが82.33点から71.01点に低下し、コード実行ディメンションは97.00点から72.00点へと25点の急落を記録した。他のディメンションに大きな変動はなく、メインランキ
Smoke评测 に関するニュース
GLM-4.6、材料制約スコアが30.2点急落、コード実行は22点上昇
GLM-4.6の本日のSmokeベンチマークにおいて、材料制約スコアが80.20点から50.00点へ30.2点急落した一方、コード実行スコアは25.00点から47.00点へ22点上昇した。主要ランキングスコアは49.84点から48.35点へ
DeepSeek V4 Pro、メインランキングで18.6ポイント下落――材料制約が単日27.6ポイント減で最大の押し下げ要因に
DeepSeek V4 ProはSmoke評価の本日分でメインランキングスコアが68.16点から49.52点へ18.6ポイント下落した。材料制約ディメンションが単日27.6ポイント減と最大の下落幅を記録し、主な押し下げ要因となった。
DeepSeek V4 Pro、材料制約スコアが18.1点急落——コード実行は満点100点を記録
DeepSeek V4 Proの本日のSmokeテストにおいて、材料制約スコアが88.10点から70.00点へ18.1点急落した一方、コード実行は100点満点を達成。全体の主要スコアは79.25点から86.50点へ上昇した。
Gemini 3.1 Pro、材料制約スコアが15.3点下落——コード実行は満点100点を達成
Gemini 3.1 ProのSmokeテスト本日評価で、材料制約スコアが88.10点から72.80点へ15.3点下落した一方、コード実行スコアは54.50点から100.00点の満点へ急伸。メインランキングスコアは69.62点から87.76
Claude Opus 4.7、主要ランキングで20.1点急落——コード実行は1日で28.1点下降
Claude Opus 4.7が本日のSmoke評価においてメインスコアが93.54点から73.45点へ急落した。コード実行次元が28.1点と最大の下落幅を記録したが、サブ指標の改善傾向から系統的な能力劣化の可能性は低いと分析される。
DoubaoプロのSmokeテストで材料制約スコアが15.3点急落、総合ランキングも4.3点下降
Doubao ProのSmokeテストにおける本日の評価で、材料制約スコアが87.90点から72.60点へと15.3点下落し、総合ランキングスコアが89.44点から85.09点に低下した。コード実行や課題表現の各スコアは改善が見られたものの
GPT-o3のコード実行スコアが22.5点急落、総合ランキングも7.8点下落
本日のSmokeベンチマークにおいて、GPT-o3のコード実行スコアが94.50点から72.00点へと急落し、総合ランキングスコアも92.39点から84.60点に低下した。ただし、サンプル数の少なさから抽選による難易度のばらつきが主因とみら
DeepSeek V4 Pro、コード実行スコアが72点に急落22.5ポイント——総合スコアは84.6点に低下
DeepSeek V4 ProのSmokeベンチマーク最新評価において、コード実行スコアが94.50点から72.00点に急落し、総合スコアも92.39点から84.60点に下落した。ただし、他の評価軸は改善または維持されており、モデル全体の性
GLM-4.6のSmokeテスト評価：コード実行19.50点、材料制約次元欠損により今回はランキング対象外
GLM-4.6が本日のSmokeテスト評価においてデータ不完整な状況が発生し、grounding（情報根拠）とjudgment（工学的判断）の2次元が欠損。APIの障害またはタイムアウトにより自動再実行プロセスに入り、今回は主要ランキングへ
Gemini 3.1 Pro、コード実行スコアが27.2点急落――総合ランキングも6.5点下落
Gemini 3.1 ProのSmokeベンチマークにおけるコード実行スコアが91.70点から64.50点へ27.2点急落し、総合スコアも82.39点から75.89点に低下した。ただし、他の評価軸は安定または上昇しており、問題サンプリングに
GPT-6.1 Sol、材料制約スコアが19点急落——コード実行は25点急騰
本日のSmoke評価において、GPT-6.1 Solの材料制約スコアが89.30点から70.30点へ19点急落した一方、コード実行スコアは72.00点から97.00点へ25点急騰し、総合ランキングは79.79点から84.99点へ上昇した。
GPT-6 Astraの材料制約スコアが19点急落、コード実行は25点急騰、総合ランキングは5.2点上昇
本日のSmoke評価において、GPT-6 Astraの材料制約スコアが19点下落した一方、コード実行スコアが25点上昇し、総合スコアは5.2点のプラスとなった。二つの主要監査可能ディメンションが真逆の動きを示し、1日の極差は44点に達した。
GPT-6 Luna、材料制約スコアが20点下落・コード実行が41.7点上昇——総合ランキングは13.9点増加
本日のSmoke評価テストにおいて、GPT-6 Lunaの材料制約スコアが95.00点から75.00点に低下した一方、コード実行スコアは58.30点から100.00点に上昇し、総合ランキングスコアは74.82点から88.75点へと13.9点
Claude Opus 4.7の材料制約スコアが15.9点急落、総合ランキングは5.8点上昇
本日のSmoke評価テストにおいて、Claude Opus 4.7の材料制約スコアが100.00点から84.10点へ15.9点下落した一方、コード実行スコアが23.5点上昇し、総合ランキングスコアは92.02点へと5.8点改善した。
GPT-6 Lunaの総合スコアが8.4点急落、コード実行は1日で16.7点下落
本日のSmoke評価テストにおいて、GPT-6 Lunaの総合スコアが83.19点から74.82点へと8.4点下落した。コード実行ディメンションが16.7点下落したことが主な要因だが、現時点ではモデルの実質的な性能低下ではなく小サンプルの抽
Claude Sonnet 4.6、材料制約スコアが30.6ポイント急落――コード実行は25ポイント上昇
本日のSmoke評価において、Claude Sonnet 4.6の材料制約スコアが93.30点から62.70点へ30.6ポイント急落した一方、コード実行スコアは50.00点から75.00点へ25ポイント上昇し、メインボードの総合スコアはほぼ
GPT-6 Sol、材料制約スコアが33.3点急落——コード実行は25点上昇、主要ランキングは小幅低下
GPT-6 SolはSmoke評価の本日テストで材料制約スコアが88.30点から55.00点へ33.3点急落した一方、コード実行は100点満点を達成。主要ランキングは80.99点から79.75点への微減にとどまった。
Claude Sonnet 4.6、コード実行スコアが27.4点急落——素材制約は37.7点急騰
本日のSmoke評価テストにおいて、Claude Sonnet 4.6のコード実行スコアが71.90点から44.50点へ27.4点急落した一方、素材制約スコアは50.60点から88.30点へ37.7点急騰した。メインスコアは62.32点から
Grok 4のコード実行スコアが31.3点急落、資料制約スコアは34.7点上昇
本日のSmoke評価テストにおいて、Grok 4のコード実行スコアが95.30点から64.00点へ31.3点下落した一方、資料制約スコアは48.40点から83.10点へ34.7点上昇し、総合スコアは74.20点から72.60点へ小幅に低下し