Grok 4のコード実行スコアが20.2点急落、メインランキングは逆に2.4点上昇
Grok 4は本日のSmokeテストでコード実行スコアが94.60点から74.40点へ20.2点急落した一方、素材制約スコアが30点上昇し、メインランキングは逆に2.4点上昇して74.67点となった。単日の次元間で激しい逆方向の変動が見られ
模型一致性 に関するニュース
Claude Sonnet 4.6、Smoke評価でメインスコアが16.9点急落——材料制約が1日で30点下落
Claude Sonnet 4.6は本日のSmoke評価においてメインスコアが80.99点から64.13点へと16.9点下落した。主な要因は材料制約ディメンションが88.30点から58.30点へと急落したことにある。
GPT-6 Astra、コード実行スコアが25点急落——メインランキングで1日に11.3点下落
GPT-6 AstraのSmoke評価におけるメインランキングスコアが82.33点から71.01点に低下し、コード実行ディメンションは97.00点から72.00点へと25点の急落を記録した。他のディメンションに大きな変動はなく、メインランキ
Claude Opus 4.7、コード実行72点・資料制約85点——Smoke評価メインランキングが2.4点微減
Claude Opus 4.7の本日のSmoke評価において、コード実行スコアが72点に下落した一方、資料制約スコアは85点に上昇し、メインランキング総合スコアは77.85点と前日比2.4点減となった。2つの主要ディメンションが逆方向に大き
GPT-o3のコード実行スコアが32.5点急落——メインランキングは96.01点から80.48点に低下
GPT-o3が本日のSmokeベンチマークにおいてメインランキングスコアを96.01点から80.48点へと15.5点落とし、特にコード実行次元が97.00点から64.50点へと32.5点の大幅下落を記録した。小サンプルによる確率的変動の可能
Grok 4のコード実行スコアが96.30点から69.50点に急落、メインランキングは1日で10点下落
Grok 4が本日のSmokeベンチマークでメインランキングスコアを前日の90.86点から80.89点に下落させ、特にコード実行ディメンションが96.30点から69.50点へと急落した。ただし、この変動は問題抽選のランダム性によるものと分析
Claude Opus 4.7のコード実行スコアが97から50に急落、総合スコアは18.7ポイント暴落
Claude Opus 4.7が本日のSmoke評価において、総合スコアが昨日の82.29点から63.59点へと18.7ポイント急落した。主な原因はコード実行スコアが97.00点から50.00点へと47ポイント下落したことにある。
DeepSeek V4 Pro、メインランキングで11.9ポイント急落――コード実行は13.3ポイント低下
DeepSeek V4 Proが本日のSmoke評価においてメインランキングのスコアが93.84点から81.93点へと11.9ポイント下落した。特にコード実行と材料制約の2次元で大幅な低下が確認された。
Doubao Pro SmokeテストのYZ Indexメインランキングが1日で18.6点急落――コード実行は38.8点下落
YZ Index 2026年6月の11モデル実測において、Doubao Pro Smokeテストのメインランキングスコアがコード実行次元の急落により、前日比18.6点下落の67.32点を記録した。ただし他の次元は安定または上昇しており、モデ
Grok 4のSmoke評価でメインスコアが1日で15.3点急落、コード実行は31.4点下落
YZ IndexのSmoke評価において、Grok 4のメインスコアが97.98点から82.73点へと15.3点急落し、特にコード実行ディメンションが100.00点から68.60点へと31.4点の大幅下落を記録した。ただし、少数サンプルによ
Claude Opus 4.7、YZ Index Smokeテストでメインスコアが16点急落——コード実行が1日で27.2点低下
YZ Index 2026年6月のSmokeテストにおいて、Claude Opus 4.7のメインスコアが前日の100.00点から84.01点へ急落し、コード実行次元では100.00点から72.80点へ大幅に低下した。
Claude Opus 4.7のコード実行スコアが100から50に急落、メインランキングで1日に25.7ポイント下落
YZ IndexのSmoke評価において、Claude Opus 4.7のメインランキングスコアが97.12点から71.47点へと25.7ポイント急落した。コード実行次元のスコアが100点から50点へと半減したことが主な原因である。
GPT-5.5のSmokeテスト主榜スコアが20.5点急落、コード実行が100点から50点に暴落
GPT-5.5が本日のSmokeテストで主榜スコアが93.03点から72.50点へと20.5点下落した。コード実行ディメンションが100点から50点へと急落したことが主な要因だが、ランダムな出題による変動である可能性が高い。
Gemini 2.5 Pro、コード実行スコアが45点急落——YZ Index Smoke主榜で1日に19.3点下落
Gemini 2.5 ProがWinzhengのYZ Index Smoke評価において、主榜スコアが昨日の89.79点から今日の70.53点へと19.3点下落した。主な要因はコード実行ディメンションが100.00点から55.00点へと45
11個のモデルが同じクロージャ問題で全て[2,2,2]と回答、しかしYZ Indexでは全員0点
わずか6行のPythonクロージャ問題で、11個のモデルが揃って正解の[2,2,2]を出したにもかかわらず、YZ Indexでは全モデルが0点となった。これは評価軸が「知識」から「指示への完全な従順性」へと移行していることを示している。
DeepSeek V4 Pro Smokeテスト、メインボードで48.7点急騰も工程判断は28.4点暴落
DeepSeek V4 Proが本日のSmoke評価で極端に分化した結果を示し、メインボードは87.99点まで急騰した一方、工程判断は10.00点に半減した。コード実行は満点を獲得したが、安定性とシステム的思考に明らかな短所が露呈している。
DeepSeek V4 Pro 信頼性評価が Fail から Pass へ、メインランキングで1日に23点急上昇
DeepSeek V4 Pro が本日の Smoke 評価で信頼性評価を Fail から Pass へ転換し、メインランキングのスコアが 74.00 から 97.08 へと1日で 23.1 点上昇した。ただし、安定性が低いため、単日のデータ
DoubaoProの安定性が19.8ポイント急落：同一問題に対する異なる回答が最大の弱点に
DoubaoProは今週のWinzheng AI評価で、総合得点は16.1ポイント上がったものの、安定性の評価は19.8ポイント下がり、54.5ポイントから34.7ポイントに低下しました。このデータは、同一または類似の問題に対する回答の一貫
DoubaoPro安定性が19.8ポイント急落、同じ質問に異なる回答が最大の弱点に
DoubaoProの最新YZ Index評価で安定性スコアが54.5から34.7へと19.8ポイント急落。同じ質問に対する回答の一貫性欠如が深刻な問題として浮上。