Claude Sonnet 4.6は本日のSmoke評価において、マテリアル制約スコアが88.30点から73.10点へ15.2点下落し、これが直接の原因となってメインランキングが77.41点から71.89点へ後退した。
スコア比較とメインランキングの構成
コード実行の次元は68.50点から70.90点へ2.4点上昇した。マテリアル制約の次元は88.30点から73.10点へ15.2点下落した。メインランキングはコード実行とマテリアル制約の加重のみで構成されるため、マテリアル制約の単日での大幅下落がメインランキング5.5点後退の唯一の要因となった。エンジニアリング判断は75.00点から100.00点へ、タスク表現は38.80点から70.00点へそれぞれ上昇したが、いずれもサブランキング指標であり、メインランキングには算入されない。
考えられる原因の分析
Smoke評価は1日あたり10問のみで、各次元2問ずつであるため、出題の抽選によるランダム性が最大の要因として挙げられる。マテリアル制約の次元で当日抽選された2問は、指示への準拠や引用の忠実度に対してより高い要求が課されていた可能性があり、スコアの大幅な変動につながったと考えられる。コード実行の次元が同期間に微増していることは、モデルがその方向において系統的な劣化を起こしていないことを示している。エンジニアリング判断とタスク表現のサブランキングが同時に大幅上昇していることも、モデル全体の出力スタイルが崩れていないことを示しており、問題はマテリアル制約における特定問題の抽選に集中している可能性が高い。
マテリアル制約73.10点 vs 前日88.30点——単日の変動幅はコード実行の2.4点上昇を大きく上回る。
利用者への示唆
マテリアルへの忠実度に強く依存するシナリオでは注意が必要である。モデルに対して所与の資料に厳密に基づいた回答生成や原文引用を求める企業にとって、本日の73.10点という水準は、出力における省略や言い換えのリスクが高まっていることを意味する。コード実行は70.90点を維持しており、コード生成を主用途とするチームへの影響は比較的小さい。誠実性評価はpassを維持しており、モデルに系統的な捏造や回答拒否の問題は発生していない。
戦略的判断
現時点のデータは、モデルの実質的な劣化よりも出題抽選による変動を示している可能性が最も高い。マテリアル制約が単日で15.2点下落する一方でサブランキング2指標が同時に大幅上昇するという組み合わせは、ランダムな問題難易度の差異によって生じる通常の変動特性と一致する。次回の評価でもマテリアル制約スコアを引き続き追跡し、2日連続で80点を下回った場合に初めてモデル性能の変化を検討することを推奨する。メインランキング71.89点は前日水準を下回っているが、コード実行は上昇傾向を維持しており、モデル選定の際はマテリアル制約の今後の推移を引き続き観察することが望ましい。
データ出典:YZ Index | Run #436 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接