Claude Sonnet 4.6、メインランキングで11.1点の急落——コード実行と資料制約が同時崩壊

Claude Sonnet 4.6は本日のSmoke評価において、メインランキングスコアが84.90点から73.76点へと11.1点下落した。

スコア変動の内訳

コード実行次元は88.90点から78.80点へと1日で10.1点減少し、資料制約は80.00点から67.60点へと12.4点減少した。メインランキングの2次元が同時に二桁の下落を記録し、総合メインスコアを直接押し下げた。一方、エンジニアリング判断は50.00点から60.50点へ、タスク表現は32.50点から65.00点へと上昇し、サイドランキングでは明確な回復が見られた。誠実性評価はpassからwarnへと変化した。

変動要因の分析

Smoke評価は1日10問・次元あたり2問という構成であり、問題の抽選自体にランダム性が存在する。コード実行と資料制約が同時に下落したことは、当日抽選された問題が具体的な実行経路または資料への忠実度においてモデルに集中的な試練を与えた可能性を示唆する。サイドランキングスコアの上昇は、エンジニアリング判断とタスク表現の問題においてモデルが当日の抽選内容と偶然合致したことを反映している可能性があるが、メインランキングの中核次元における損失を相殺するものではない。誠実性評価がwarnへ転じたことは、モデルの回答一貫性または境界処理に記録すべき問題が発生したことを示しており、メインランキングの下落と対応関係にある。

利用者への具体的な影響

コード実行に強く依存する開発チームは、本日より多くの実行失敗や出力誤差に直面する可能性があり、人手によるレビュー工程の追加が必要となる。契約書の要約やナレッジベース問答など、資料制約への敏感度が高いシナリオでは、モデル出力において原文からの漏れや逸脱が増加する可能性があるため、より安定した代替モデルへの一時的な切り替えを推奨する。エンジニアリング判断とタスク表現のスコア上昇は、構造化出力を必要とするシナリオにとって一定の助けとなるが、メインランキング中核能力の低下を補うには至らない。

戦略的判断

今回のメインランキング11.1点下落はコード実行と資料制約が共同で引き起こしており、誠実性評価の変化も伴っている。1日の変動幅は通常の抽選範囲を超えており、継続的な追跡が必要なシグナルを構成する。次回評価においてメインランキングが75点以下のままであれば、システム的なパフォーマンス低下の存在が確認される。迅速に回復した場合は、今回の下落は問題抽選の集中に起因する可能性が高い。現時点のデータは、Claude Sonnet 4.6を重点観察リストに加えるに十分な根拠を提供している。

データ出典：YZ Index | Run #410 | 元データを見る