Claude Sonnet 4.6は本日のSmoke評価において、材料制約スコアが昨日の77.40点から52.60点へと24.8点下落し、コード実行スコアは48.60点から98.60点へと50点上昇した。メインボードの総合スコアは61.56点から77.90点となった。
スコア比較と主要事実
昨日から本日にかけての具体的な変化は以下の通り:コード実行 48.60→98.60、材料制約 77.40→52.60、エンジニアリング判断 50.00→62.50、タスク表現 56.30→76.30、誠実性評価はpassを維持。メインボードは正味16.3点増加し、主にコード実行の大幅上昇によって牽引された。
考えられる原因の分析
Smoke評価は1日あたり10問のみで、各次元2問ずつであるため、単日の変動は正常範囲内に収まる。材料制約の急落とコード実行の急騰が同時に発生した最も可能性の高い原因は、出題抽選のランダム性にある。本日の材料制約問題は忠実度への要求がより高かった可能性があり、コード実行問題は比較的シンプルであったか、現在のモデルの強みに合致していた可能性がある。もう一つの可能性として、モデルの材料処理環節における一時的な不安定性が考えられるが、エンジニアリング判断とタスク表現はいずれも向上しており、全体的な回答フレームワークに崩壊は見られない。
複数日にわたる同種問題の反復テストデータが存在しないため、出題変動と真の性能劣化を区別することはできない。10問の簡易テストにおける単日24.8点の下落は極端な値に該当するが、コード実行の逆方向50点上昇も同様に極端であり、抽選の影響によるものである可能性が高いと考えられる。
利用者への具体的な意味
材料制約を重視するシナリオのチーム——例えば指定文書に厳密に基づいた回答生成やハルシネーション回避が求められるRAGアプリケーション——にとって、本日の52.60点は当該モデルの忠実度に明確な弱点が生じていることを意味する。材料制約スコアがより高いモデルへの一時的な切り替え、または人手による検証プロセスの追加を推奨する。
コード実行に依存する開発者は、本日の98.60点という優位性を活用できる。複雑なアルゴリズムやデバッグタスクの処理において成功率が向上する可能性がある。エンジニアリング判断とタスク表現の双方が上昇したことは、構造化出力や意思決定支援を必要とするシナリオにとってポジティブな影響をもたらす。
戦略的判断
材料制約次元はメインボードにおける二大監査可能コアの一つであり、単日24.8点の下落はすでに通常の変動範囲を超えている。次回も引き続き追跡する価値がある。明日材料制約スコアが回復すれば、出題抽選によるものと基本的に判断できる。低位が続く場合は、モデルの真の性能劣化リスクを考慮する必要がある。現在のメインボード77.90点はコード実行によって押し上げられており、材料制約の弱点は部分的に隠蔽されている。モデル選定の際はメインボードのみを参照するのではなく、当該次元を個別に確認すべきである。
誠実性評価がpassを維持していることは、回答に系統的な虚偽や拒否の問題が生じていないことを示しており、データの信頼性には影響が出ていない。安定性次元については今回の具体的な数値が提供されていないが、単日における極端な変動はすでに一貫性が低い可能性を示している。安定した出力を必要とする本番環境では追加検証が必要となる。
データ出典:YZ Index | Run #439 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接