Claude Opus 4.7は本日のSmoke評価において、メインランキングスコアが昨日の90.51点から71.26点へと19.3点下落した。
主要次元のスコア変化
コード実行次元は91.50点から69.50点へと22点下落、素材制約次元は89.30点から73.40点へと15.9点下落した。エンジニアリング判断次元は75.00点から94.50点へと19.5点上昇、タスク表現次元は84.70点から58.90点へと25.8点下落した。誠実性評価はpassを維持した。
データの事実分析
Smoke評価は1日あたり10問のみで、各次元につき2問ずつ出題される。メインランキングはコード実行と素材制約という監査可能な2次元のみを集計する。本日は2つのコア次元が同時に15点以上下落し、メインランキング全体で19.3点の下落をもたらした。サイドランキングではエンジニアリング判断が顕著な上昇を示した一方、タスク表現は大幅に落ち込んだ。
原因の考察
1日10問の抽選による問題難易度や出題タイプの分布差が、最も直接的な説明となる。コード実行と素材制約が同時に失点したことは、本日抽選された問題が精確な計算と引用の忠実性に対してより高い要求を課している可能性を示している。一方でエンジニアリング判断のスコアが上昇したことは、同じ問題セットの中でモデルがエンジニアリングシナリオの判断においては安定していたことを示しており、全体的な能力の退化ではなく、次元によって問題への感応度が異なることを意味する。
モデルに真の性能低下が生じた場合、通常は複数の次元にわたって同時かつ継続的な下落として現れ、サイドランキングで逆方向の上昇が見られることはない。今回のデータにおけるエンジニアリング判断の19.5点上昇は、メインランキング2次元の大幅下落と並存しており、モデルのパラメータや学習レベルでの系統的変化ではなく、出題抽選のばらつきの特徴に合致する。
利用者への示唆
コード実行に強く依存する開発チームは、本日およびスコアが同様に変動した日においては、Claude Opus 4.7の出力に対して追加の人的検証を行う必要がある。特に数値計算と論理検証が関わるシナリオに注意が必要だ。素材制約スコアの下落は、引用の正確性が求められる調査・コンプライアンスシナリオにおいても確認頻度を高めるべきであることを意味する。
エンジニアリング判断スコアの上昇は、エンジニアリング上の意思決定支援が必要なシナリオでは、Claude Opus 4.7の本日のパフォーマンスが昨日を上回っており、その細分化タスクでは引き続き活用できることを示している。タスク表現次元の大幅な下落は、コンテンツ生成系タスクにおいて出力構造の安定性に注目する必要があることを示唆している。
戦略的判断
1日分のデータに基づくと、メインランキングの19.3点下落は出題抽選のばらつきによるものである可能性が最も高く、モデルの真の性能低下ではない。Smoke評価自体が単日の変動は通常範囲内であると説明しており、今回の変化は現時点では継続的な監視シグナルには該当しない。
次回の評価においてもコード実行と素材制約が70点以下を維持するようであれば、能力変化の有無をさらに検証する必要がある。両次元が85点以上に回復すれば、本日は典型的な抽選ばらつきであったと確認できる。現在のデータは、Claude Opus 4.7に対する能力評価の引き下げを支持するものではない。
データ出典：YZ Index | Run #224 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接