Claude Opus 4.7、主要ランキングで14点下落――コード実行スコアが100から69へ

Claude Opus 4.7はSmoke評価において、主要ランキングのスコアが96.99点から82.95点へと低下し、コード実行ディメンションは100.00点から69.00点へ31点下落した。

スコア変動の内訳

素材制約ディメンションは93.30点から100.00点へ上昇し、エンジニアリング判断は55.60点から100.00点へ上昇した一方、タスク表現は95.80点から78.90点へ低下した。主要ランキングはコード実行と素材制約の加重のみで構成されているため、コード実行の31点下落が全体スコアを直接14.04点押し下げた。

原因の考察

Smoke評価は1日あたり各ディメンションにつき2問のみ出題される。本日のコード実行2問の合計スコアは69点にとどまり、前日の満点から大きく乖離した。素材制約が同期間に満点まで上昇していることから、モデルの基本能力に系統的な劣化は生じておらず、最も可能性の高い原因は、本日のコード実行問題が境界条件の処理や多段階デバッグの面で前日の出題と異なっていたことだと考えられる。

エンジニアリング判断（サブランキング、AI補助評価）が100点まで上昇し、タスク表現が16.9点低下したことは、変動が特定ディメンションに集中しており、全体的な能力低下ではないことをさらに裏付けている。誠実性評価はpassを維持しており、一貫性の異常は発生していない。

利用者への示唆

コード実行を重視するチームは、日次Smokeシナリオにおいてバッファを確保しておく必要がある。単日69点のパフォーマンスは、自動化スクリプト生成の失敗率上昇につながる可能性がある。一方、素材制約が満点であることから、ドキュメントへの忠実性が重要なシナリオではClaude Opus 4.7を引き続き安心して使用できる。

複数ラウンドにわたるコードデバッグに依存する開発者は、重要なタスク実行前にローカル検証ステップを追加し、単日の出題サンプリング変動が成果物に直接影響しないよう対策することが推奨される。

戦略的判断

今回の主要ランキング14点下落は、主にコード実行2問のサンプリング変動によるものであり、モデルの真の劣化を示すシグナルではない。次回のSmoke評価でコード実行スコアが95点以上に回復すれば、本日の結果は孤立したイベントと確認できる。一方、80点を下回る状態が続く場合は、コード実行ディメンションの構成変化を重点的に追跡する必要がある。

現時点のデータは、Claude Opus 4.7の総合能力を引き下げる根拠とはならない。モデル選定を検討する企業は、引き続き前日の96.99点を基準として評価し、高頻度コード生成シナリオにおいてのみ冗長な検証を追加することを推奨する。

データ出典：YZ Index | Run #229 | 元データを見る