Claude Sonnet 4.6は本日のSmoke評価において、総合スコアが82.31点から70.61点へと11.7点下落した。
スコア内訳：素材制約が下落を主導
総合スコアはコード実行と素材制約の加重平均のみで構成される。本日はコード実行が99.50点から94.50点へと5点低下し、素材制約は61.30点から41.40点へと19.9点低下した。素材制約の単項目下落幅が総合スコア下落の大部分を占め、全体順位を直接押し下げた。
エンジニアリング判断は60.80点から75.00点へと上昇し、タスク表現は37.50点で横ばいを維持した。誠実性評価はpassを維持している。
原因分析：抽選によるばらつきか、実質的な性能劣化か
Smoke評価は1日あたり10問、各次元2問のみで構成される。素材制約の1日19.9点という下落幅は、小サンプルの条件下では問題の抽選によって生じた可能性もあるが、モデルの素材への忠実度処理に系統的な偏差が生じていることを反映している可能性もある。コード実行の5点低下は通常のばらつき範囲内にとどまっている。エンジニアリング判断が逆に14.2点上昇していることから、サブスコアのタスクにおけるモデルの性能が同時に低下しているわけではないことが示されている。
現在のデータでは、一時的な抽選の異常と実質的な能力劣化を区別することはできない。素材制約の問題が長文引用や指示の競合を含む場合、1問の失敗だけで大きなスコア変動が生じうる。
利用者への影響
素材制約への依存度が高いシナリオが最も大きな影響を受ける。アップロードされた文書や指示にモデルが厳格に従うことを必要とする企業向けRAGシステム、契約審査ツール、ナレッジベースQ&Aアプリケーションは、直ちに人によるチェック工程を追加すべきである。コード実行のシナリオへの影響は小さく、日常的なスクリプト生成やデバッグは引き続き利用可能である。
開発者にとっては、エンジニアリング判断の上昇がアーキテクチャ設計系タスクにおけるモデルの余力を示しており、混合ワークフロー内でサブスコアタスクの処理にこのモデルを引き続き活用できる。
戦略的判断
素材制約における1日19.9点の下落幅は通常の抽選ばらつきの範囲を超えており、次回以降の検証が必要なシグナルを構成している。翌日の素材制約スコアが55点以上に回復した場合、今回の下落は問題のばらつきによるものと考えられる可能性が高い。一方、45点未満が継続する場合は、モデルの実質的な性能劣化を検討する必要がある。
現時点では1回分のデータのみであり、「継続的な劣化」という結論を支持するには不十分である。Claude Sonnet 4.6の素材制約パフォーマンスを毎日のトラッキングリストに加え、3回連続で観察した後にモデル選定の調整を行うことを推奨する。
データ出典：YZ Index | Run #426 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接