Claude Sonnet 4.6は本日のSmoke評価においてメインスコアが80.99点から64.13点へと16.9点下落した。主な原因は材料制約ディメンションが88.30点から58.30点へと下落したことである。
スコア比較とデータの事実
コード実行ディメンションは75.00点から68.90点へと6.1点下落し、タスク表現は90.80点から80.80点へと10点下落した。エンジニアリング判断は100.00点を維持し、誠実性評価もpassを維持した。メインスコアはコード実行と材料制約の2つの監査可能なディメンションを加重平均して算出されており、今回の下落においては材料制約が大部分の下落幅を占めている。
考えられる原因の分析
Smoke評価は1日あたり10問のみで、各ディメンションにつき2問であり、1日のスコア変動はそれ自体正常な範囲内に収まる。材料制約ディメンションの下落幅は30点に達しており、コード実行の6.1点を大幅に上回っていることから、当日抽出された2問の材料制約問題がモデル出力の忠実性に対してより高い要求を課しており、モデルが引用や制約の遵守において明らかなミスを犯した可能性が示唆される。タスク表現の10点下落は同一問題セットにおける表現精度の問題と関連している可能性があるが、エンジニアリング判断がまったく変動していないことは、モデルがサイドスコアの能力において引き続き安定していることを示している。
ディメンション構成の観点から見ると、材料制約はモデルが与えられた材料に対してどれだけ忠実であるかに直接対応しており、1日あたり30点の下落幅はモデル能力の系統的な劣化よりも、問題抽選によるサンプルのばらつきから生じている可能性が高い。コード実行とタスク表現が同時に小幅下落していることも、抽選によるばらつきという説明をさらに裏付けている。
利用者にとっての具体的な意味
文書要約、契約審査、ナレッジベースQ&Aなど材料制約に強く依存するシナリオや、コード実行を重視するチームは、Claude Sonnet 4.6の本日の出力に材料からの逸脱が発生していないか追加検証する必要がある。エンジニアリング判断が満点を維持していることは、エンジニアリング上の意思決定が必要な補助シナリオにおいて、このモデルが引き続き安定した参照を提供できることを示している。
Claude Sonnet 4.6を複数ターンの材料処理タスクに使用している開発者は、特に金融や法律など材料制約に敏感なシナリオにおいて、人手によるサンプル検査工程を追加することを推奨する。タスク表現が10点下落していることも、出力の構造化レベルに変動が生じている可能性を示唆しており、一貫性チェックをプロセスに組み込む必要がある。
戦略的判断
現在のスコア比較に基づくと、材料制約の30点下落は通常の1日あたりの変動範囲を超えており、次回のSmoke評価で重点的に追跡する価値がある。翌日の材料制約スコアが回復すれば抽選によるばらつきと判断できるが、70点を下回る状態が続く場合はこのディメンションにおけるモデルの実際の安定性低下を検討する必要がある。エンジニアリング判断と誠実性評価が変わらず維持されていることは、コア能力への影響がないことを示しており、導入を検討している企業は引き続き利用可能であるが、材料制約シナリオに対しては追加の検証メカニズムを設ける必要がある。
データソース：YZ Index | Run #391 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接