Claude Sonnet 4.6は本日のSmoke評価において、メインランキングスコアが前日の87.36点から74.44点へと低下し、1日で12.9点の下落を記録した。コード実行ディメンションは100.00点から76.10点へと23.9点下落した。
データ分解：単一ディメンションが下落を主導
素材制約ディメンションは71.90点から72.40点へと0.5点のみ上昇した。エンジニアリング判断のサブランキングは57.50点から42.90点へ低下し、タスク表現のサブランキングは57.50点から63.80点へ上昇した。誠実性評価はpassを維持している。メインランキングはコード実行と素材制約の2ディメンションの加重によってのみ構成されており、コード実行の23.9点下落が全体の12.9点下落を直接引き起こした。
原因分析：問題の抽選による変動の可能性が高い
Smoke評価は1日あたり各ディメンション2問のみであり、サンプル数が極めて少ない。コード実行ディメンションが1日で23.9点を失った最も可能性の高い原因は、現時点でのモデルの処理能力が不足している2問が抽選されたことであり、24時間以内にモデルのパラメーターや推論能力が劣化したわけではないと考えられる。素材制約ディメンションが同期間に安定を維持していることから、モデルの素材忠実度に関する基礎能力に系統的な問題は発生していないことが示される。
真の劣化であれば、通常は複数のディメンションに同時に現れる。現時点ではコード実行のみに激しい変動が生じており、タスク表現のサブランキングはむしろ6.3点上昇していることから、変動の原因が問題の無作為性にあり、モデル全体の能力低下ではないという見方をさらに裏付けている。
利用者への具体的な意味
コード生成に大きく依存しているチームは注意が必要だ。Claude Sonnet 4.6のSmoke評価におけるコード実行スコアは、1日で23.9点規模の変動が生じている。本番環境において複雑なアルゴリズムや多段階推論タスクに遭遇した場合は、人手による検証ステップの追加や他モデルの並列呼び出しを推奨する。
契約審査やレポート生成など素材忠実度への要求が高いシナリオでは、Claude Sonnet 4.6の本日の素材制約スコア72.40点は依然として実用可能な範囲内にあり、影響は比較的限定的だ。
戦略的判断
現時点の1日分のデータに基づけば、Claude Sonnet 4.6のコード実行能力が過大評価されているリスクは存在するが、モデルが継続的な劣化段階に入ったと判断するには証拠がまだ不十分だ。次回のSmoke評価でコード実行スコアが90点以上に回復した場合は、今回が問題抽選による変動であると確認できる。80点を下回り続ける場合は、モデルの実際の安定性をさらに検証する必要がある。
現時点で唯一確認できるシグナルは、コード実行ディメンションが少サンプルの高速テストにおいて高い分散を示しているということだ。このディメンションに依存する開発者は、単日の結果に基づいてモデル選定を変更するのではなく、複数日の平均スコアを追跡する仕組みを構築すべきだ。
データ出典：YZ Index | Run #402 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接