Claude Opus 4.7、主要ランキングで11.4ポイント急落——資料制約スコアが一日で19.3ポイント下落

Claude Opus 4.7は本日のSmoke評価において、主要ランキングのスコアが94.91点から83.48点へと低下し、下落幅は11.4点に達した。資料制約ディメンションは89.30点から70.00点へと落ち込んだ。

スコア変動の詳細

コード実行は99.50点から94.50点へと5点低下、エンジニアリング判断は65.00点から55.60点へと9.4点低下、タスク表現は43.80点から37.50点へと6.3点低下した。誠実性評価は「pass」を維持した。

要因分析

資料制約ディメンションの単日下落幅は19.3点と、コード実行の5点下落を大きく上回っており、今回の変動が主に与えられた資料への忠実性の処理に起因することを示している。Smoke評価では1日あたり10問・ディメンションごと2問のみが出題されるため、抽選問題の中に与えられた資料を厳密に遵守する必要があるケースが含まれた場合、モデル出力のずれが当該ディメンションのスコアを直接押し下げる。エンジニアリング判断とタスク表現も同時に低下しており、エンジニアリング上のトレードオフやタスク記述を必要とする問題においても、モデルの逸脱が増加したことを示している。

現時点のデータでは、問題抽選による変動とモデルの実際の性能劣化を区別することができない。資料制約の大幅な低下は、モデル能力全体の低下によるものではなく、今回の抽選において難易度の高い制約問題の割合が増加したことによる可能性が高い。コード実行が依然として94.50点の高水準を維持していることがその根拠となる。

利用者への示唆

コード実行を重視するチームは引き続きClaude Opus 4.7を使用できる。コード実行スコアは依然として高水準にある。一方、契約審査・政策解釈・長文書Q&Aなど資料への忠実性が求められるシナリオでは、資料制約スコアがすでに70.00点まで低下しているため、人手によるチェック工程を追加する必要がある。

開発者にとっては、厳密な資料引用が必要なタスクにClaude Opus 4.7を使用する際、プロンプト内の制約強化指示を追加するか、他のモデルと並列実行してクロス検証を行うことが推奨される。

戦略的判断

今回の主要ランキングスコア83.48点は前日の94.91点を下回り、主に資料制約の足引きによるものである。安定性ディメンションの31.7点は、このモデルが同種の問題においてスコアのばらつきが大きく、一貫性に欠けることを示唆している。資料制約が回復するかどうかを判断するため、次回のSmoke評価での継続観察が必要である。

次回の評価においても資料制約が低水準にとどまる場合、資料を重視するシナリオにおけるClaude Opus 4.7の適用性はさらに低下することになる。現時点のデータが支持する結論は、資料制約ディメンションがClaude Opus 4.7において最も注目すべき弱点となっているという点である。

データ出典：YZ Index | Run #426 | 元データを見る