GPT-6 Luna、Smoke評価メインランキングで19.8点急落——コード実行スコアが100から75へ
GPT-6 LunaのSmoke評価メインランキングスコアが本日86.95点から67.17点へと1日で19.8点下落した。コード実行次元が25点、素材制約次元が13.4点それぞれ低下したことが主な要因となっている。
代码执行 に関するニュース
Grok 4の材料制約スコアが17.4点急落、コード実行は7.9点上昇——Smoke評価メインランキングは3.5点低下
本日のSmoke評価において、Grok 4の材料制約スコアが75.00点から57.60点へと17.4点急落した一方、コード実行スコアは74.40点から82.30点へ上昇し、メインランキングの総合スコアは74.67点から71.19点へと3.5
GPT-5.5のコード実行スコアが100点から75点に急落――総合ランキングも5.3点下降
本日のSmoke評価テストにおいて、GPT-5.5のコード実行スコアが昨日の100.00点から75.00点へと25点急落し、総合ランキングのスコアも78.49点から73.20点に低下した。ただし他の評価次元の上昇が一部を相殺しており、モデル
Grok 4のコード実行スコアが20.2点急落、メインランキングは逆に2.4点上昇
Grok 4は本日のSmokeテストでコード実行スコアが94.60点から74.40点へ20.2点急落した一方、素材制約スコアが30点上昇し、メインランキングは逆に2.4点上昇して74.67点となった。単日の次元間で激しい逆方向の変動が見られ
GLM-4.6、誠実性評価でfail――YZ Index主要ランキング18.25点、資料制約はわずか10.00点
GLM-4.6はYZ IndexのRun#392スモークテストにおいて主要ランキング18.25点、資料制約10.00点という低スコアを記録し、同日テストされた全モデルの中で唯一、誠実性評価でfailの判定を受けた。
GPT-6 Astra、コード実行スコアが25点急落——メインランキングで1日に11.3点下落
GPT-6 AstraのSmoke評価におけるメインランキングスコアが82.33点から71.01点に低下し、コード実行ディメンションは97.00点から72.00点へと25点の急落を記録した。他のディメンションに大きな変動はなく、メインランキ
GLM-4.6、材料制約スコアが30.2点急落、コード実行は22点上昇
GLM-4.6の本日のSmokeベンチマークにおいて、材料制約スコアが80.20点から50.00点へ30.2点急落した一方、コード実行スコアは25.00点から47.00点へ22点上昇した。主要ランキングスコアは49.84点から48.35点へ
DeepSeek V4 Pro、メインランキングで18.6ポイント下落――材料制約が単日27.6ポイント減で最大の押し下げ要因に
DeepSeek V4 ProはSmoke評価の本日分でメインランキングスコアが68.16点から49.52点へ18.6ポイント下落した。材料制約ディメンションが単日27.6ポイント減と最大の下落幅を記録し、主な押し下げ要因となった。
DeepSeek V4 Pro、材料制約スコアが18.1点急落——コード実行は満点100点を記録
DeepSeek V4 Proの本日のSmokeテストにおいて、材料制約スコアが88.10点から70.00点へ18.1点急落した一方、コード実行は100点満点を達成。全体の主要スコアは79.25点から86.50点へ上昇した。
Claude Opus 4.7、主要ランキングで20.1点急落——コード実行は1日で28.1点下降
Claude Opus 4.7が本日のSmoke評価においてメインスコアが93.54点から73.45点へ急落した。コード実行次元が28.1点と最大の下落幅を記録したが、サブ指標の改善傾向から系統的な能力劣化の可能性は低いと分析される。
DoubaoプロのSmokeテストで材料制約スコアが15.3点急落、総合ランキングも4.3点下降
Doubao ProのSmokeテストにおける本日の評価で、材料制約スコアが87.90点から72.60点へと15.3点下落し、総合ランキングスコアが89.44点から85.09点に低下した。コード実行や課題表現の各スコアは改善が見られたものの
GPT-o3のコード実行スコアが22.5点急落、総合ランキングも7.8点下落
本日のSmokeベンチマークにおいて、GPT-o3のコード実行スコアが94.50点から72.00点へと急落し、総合ランキングスコアも92.39点から84.60点に低下した。ただし、サンプル数の少なさから抽選による難易度のばらつきが主因とみら
DeepSeek V4 Pro、コード実行スコアが72点に急落22.5ポイント——総合スコアは84.6点に低下
DeepSeek V4 ProのSmokeベンチマーク最新評価において、コード実行スコアが94.50点から72.00点に急落し、総合スコアも92.39点から84.60点に下落した。ただし、他の評価軸は改善または維持されており、モデル全体の性
GLM-4.6のSmokeテスト評価：コード実行19.50点、材料制約次元欠損により今回はランキング対象外
GLM-4.6が本日のSmokeテスト評価においてデータ不完整な状況が発生し、grounding（情報根拠）とjudgment（工学的判断）の2次元が欠損。APIの障害またはタイムアウトにより自動再実行プロセスに入り、今回は主要ランキングへ
Gemini 3.1 Pro、コード実行スコアが27.2点急落――総合ランキングも6.5点下落
Gemini 3.1 ProのSmokeベンチマークにおけるコード実行スコアが91.70点から64.50点へ27.2点急落し、総合スコアも82.39点から75.89点に低下した。ただし、他の評価軸は安定または上昇しており、問題サンプリングに
GLM-4.6、コード実行58.30点・資料制約100点——SmokeテストでAPI障害が異常を露呈
GLM-4.6が本日のSmokeテストでコード実行58.30点、資料制約100.00点、エンジニアリング判断75.00点、総合74.00点を記録した。API障害・タイムアウトによりintegrityおよびcommunicationの2次元の
GPT-6 Lunaの総合スコアが8.4点急落、コード実行は1日で16.7点下落
本日のSmoke評価テストにおいて、GPT-6 Lunaの総合スコアが83.19点から74.82点へと8.4点下落した。コード実行ディメンションが16.7点下落したことが主な要因だが、現時点ではモデルの実質的な性能低下ではなく小サンプルの抽
GPT-6 Sol、材料制約スコアが33.3点急落——コード実行は25点上昇、主要ランキングは小幅低下
GPT-6 SolはSmoke評価の本日テストで材料制約スコアが88.30点から55.00点へ33.3点急落した一方、コード実行は100点満点を達成。主要ランキングは80.99点から79.75点への微減にとどまった。
Claude Sonnet 4.6、コード実行スコアが27.4点急落——素材制約は37.7点急騰
本日のSmoke評価テストにおいて、Claude Sonnet 4.6のコード実行スコアが71.90点から44.50点へ27.4点急落した一方、素材制約スコアは50.60点から88.30点へ37.7点急騰した。メインスコアは62.32点から
Grok 4のコード実行スコアが31.3点急落、資料制約スコアは34.7点上昇
本日のSmoke評価テストにおいて、Grok 4のコード実行スコアが95.30点から64.00点へ31.3点下落した一方、資料制約スコアは48.40点から83.10点へ34.7点上昇し、総合スコアは74.20点から72.60点へ小幅に低下し