GLM-4.6 Smokeテスト評価：材料制約51.80点・タスク表現50.00点、API障害により2次元のデータ欠損
GLM-4.6は本日のSmokeテスト評価においてAPI障害・タイムアウトにより「実行（execution）」と「判断（judgment）」の2次元データが欠損し、自動再実行待ちのため今回のメインランキングには参加しない。材料制約次元は51
Smoke评测 に関するニュース
Doubao Pro のSmoke評価で5次元全スコアゼロの異常——APIタイムアウトが主因
Doubao ProがSmoke評価においてexecution・grounding・judgment・integrity・communicationの5次元すべてでスコアが欠落し、メインランキングから除外された。原因はモデル能力の低下ではな
GLM-4.6、Smoke評価メインランキング74点——コード実行82.3点、素材制約95点、API障害で一部ディメンション欠損
GLM-4.6が本日のSmoke評価でメインランキング74.00点を記録。コード実行82.30点・素材制約95.00点を獲得したものの、API障害・タイムアウトにより2つのディメンションのデータが欠損し、今回のランキングには参加しない。
GLM-4.6、材料制約スコアが27.3点急落——メインランキングは逆に30.2点上昇
本日のSmokeベンチマークにおいて、GLM-4.6の材料制約スコアが75.00点から47.70点へ下落した一方、コード実行スコアが100点満点を記録し、メインランキングは46.29点から76.47点へと上昇した。誠実性評価はpassからw
GPT-o3、本日のSmokeベンチマーク主要ランキングで13.9ポイント急落――コード実行と資料制約の両次元で低下
GPT-o3が本日のSmokeベンチマーク主要ランキングで79.28点を記録し、昨日の93.16点から13.9ポイント下落した。コード実行と資料制約の両次元で13ポイント以上の下落が見られたが、小サンプルによる抽選変動が主因とみられる。
Qwen3 Max、材料制約スコアが20点急落し47.70点に——コード実行は37.8点急騰、メインランキングは11.8点上昇
Qwen3 MaxはSmoke評価において、材料制約スコアが前日の67.70点から47.70点へ20点急落した一方、コード実行スコアは54.70点から92.50点へ37.8点急騰し、メインランキング総合スコアは60.55点から72.34点へ
Grok 4、コード実行スコアが19.5点急落――資料制約は23.2点上昇、総合ランキングは0.3点減にとどまる
本日のSmokeテストにおいて、Grok 4のコード実行スコアが92.00点から72.50点へ19.5点急落した一方、資料制約スコアは60.90点から84.10点へ23.2点上昇し、総合ランキングスコアは78.01点から77.72点へわずか
DeepSeek V4 Pro、コード実行スコアが25点急落――総合スコアも6.7点下落
DeepSeek V4 ProのSmokeテストにおいて、コード実行スコアが前日の100.00から75.00へと25点急落し、総合スコアも83.53から76.85へと下落した。ただし、現時点のデータはモデルの実質的な性能劣化を示すものではな
Grok 4のSmoke評価テスト、メインスコアが11.3点急落——資料制約次元は1日で18点下降
Grok 4が本日のSmoke評価テストにおいてメインスコアを89.30点から78.01点へと11.3点落とした。主因は資料制約次元の単日18点下落であり、サンプル数の少なさによる抽選変動の可能性が高い。
Claude Sonnet 4.6、コード実行スコアが22点急落――資料制約は25.7点上昇
本日のSmokeベンチマークにおいて、Claude Sonnet 4.6のコード実行スコアが97.00点から75.00点へと22点急落した一方、資料制約スコアは60.20点から85.90点へと25.7点上昇した。主要ランキングの総合スコアは
DeepSeek V4 Pro、コード実行スコアが25点急落——材料制約は26.8点上昇
本日のSmokeベンチマークにおいて、DeepSeek V4 Proのコード実行スコアが100.00点から75.00点へと25点急落した一方、材料制約スコアは68.20点から95.00点へと26.8点上昇し、総合ランキングのスコアは85.6
DeepSeek V4 Pro、材料制約スコアが31.8点急落——コード実行は69.5から100点に急上昇
DeepSeek V4 ProのSmoke評価において、材料制約スコアが31.8点急落した一方、コード実行スコアは30.5点急上昇し、ほぼ対称的な変動を示した。専門家はこれをモデルの構造的劣化ではなく、サンプリングのランダム性によるものと分
GPT-o3、コード実行スコアが52.5点急上昇――素材制約は15.7点下落、総合ランキングは21.8点上昇
GPT-o3が本日のSmokeベンチマークにおいて、コード実行スコアを44.50点から97.00点へと大幅に伸ばした一方、素材制約スコアは100.00点から84.30点へ低下した。総合ランキングスコアは69.48点から91.29点へと21.
GPT-o3のSmokeベンチマーク総合スコアが急落8.3点――コード実行は100点から88.3点へ
GPT-o3が本日のSmokeベンチマークで総合スコアを昨日の96.27点から87.94点へと8.3点落とした。コード実行・工程判断の両次元が大幅に下落し、誠実性評価も「pass」から「warn」に転じた。
Claude Opus 4.7、Smoke評価でメインスコアが26.1ポイント急落——コード実行と資料制約の両次元で失守
本日のSmoke評価において、Claude Opus 4.7のメインスコアが100.00点から73.92点へと26.1ポイント下落した。コード実行・資料制約の両次元で25ポイント以上の降下が確認されたが、小サンプルによる変動の可能性が高いと
Gemini 3.1 Pro、材料制約スコアが17.8点急落――総合ランキングも6点下落
本日のSmoke評価において、Gemini 3.1 Proの材料制約スコアが90.40点から72.60点へと17.8点下落し、総合ランキングも81.93点から75.90点に低下した。ただし、コード実行・エンジニアリング判断の各スコアは改善し
Qwen3 Max、メインランキングで14.9点急落——コード実行スコアが96.9から65.6へ激減
Qwen3 MaxがSmoke評価テストのメインランキングで前日比14.9点下落し、特にコード実行次元が31.3点の急落を記録した。誠実性評価もpassからwarnに変化し、明確なリスクシグナルが発生している。
Gemini 2.5 Pro、コード実行スコアが1日で24.6点下落――メインランキングも6.5点低下
本日のSmoke評価において、Gemini 2.5 Proのコード実行スコアが74.60点から50.00点へと24.6点急落し、メインランキング全体も76.49点から69.98点に低下した。ただし、サンプル数の少なさによる抽選変動が主因と分
Gemini 3.1 Pro、材料制約スコアが26.6点下落も総合ランキングは5.4点上昇
本日のSmoke評価においてGemini 3.1 Proの材料制約スコアが90.90点から64.30点へ26.6点急落した一方、コード実行スコアの大幅回復により総合ランキングは51.03点から56.44点へと上昇した。
GPT-o3、メインランキングで13.8点急落――コード実行が70.3点から48.5点へ
GPT-o3が本日のSmokeテストにおいてメインランキングで80.61点から66.86点へ急落し、コード実行スコアが70.30点から48.50点へ単日21.8点の下落を記録した。各次元のスコア変動の原因と利用者への影響を分析する。