Claude Opus 4.7、Smoke評価でメインスコアが26.1ポイント急落——コード実行と資料制約の両次元で失守

本日のSmoke評価において、Claude Opus 4.7のメインスコアは100.00点から73.92点へと下落し、降幅は26.1ポイントに達した。

スコア比較データ

コード実行次元は前日の100.00点から75.00点へと25ポイント下落し、資料制約次元は100.00点から72.60点へと27.4ポイント下落した。エンジニアリング判断は100.00点から94.50点へと5.5ポイント、タスク表現は88.90点から78.90点へと10ポイント下落した。誠実性評価は「pass」を維持している。

データの事実と原因分析

Smoke評価は1日あたり10問のみで、各次元2問というきわめて小さいサンプル数であるため、単日スコアの変動は正常な範囲内に属する。コード実行と資料制約の2つのメイン次元が同時に25ポイント以上下落した最も可能性の高い原因は、出題抽選によるコンテンツ分布の変化であり、モデル能力の系統的な退行ではない。エンジニアリング判断とタスク表現の降幅がメイン次元より明らかに小さいことも、この判断を支持している。

モデルが実際に退行した場合、通常は複数の次元で一貫した下落が見られる。現時点でエンジニアリング判断が94.50点を維持していることは、サブスコア能力に同期した問題が生じていないことを示している。資料制約次元が72.60点に下落したことは、当日抽選された問題がより厳格な引用やフォーマット要件を含んでいた可能性を示唆しており、モデルがそれを完全には満たせなかったと考えられる。

利用者への示唆

コード実行に強く依存するチームは、本日以降のタスクで人手による検証工程を追加する必要がある。特に複雑なロジックや複数ファイルを扱うシナリオでは注意が求められる。資料制約に敏感なアプリケーション（法律契約書の生成や学術引用の整理など）については、Claude Opus 4.7への信頼閾値を一時的に引き下げ、複数モデルによるクロス検証に切り替えることを推奨する。

安定性への要求が高い本番環境においては、単日26.1ポイントというメインスコアの変動はすでに許容範囲を超えている。Claude Opus 4.7をコアのワークフローから外し、複数日にわたるデータで確認が取れるまで待つことを推奨する。

戦略的判断

現時点の単日比較データに基づけば、Claude Opus 4.7の今回のスコア下落はSmoke評価の小サンプル変動によるものである可能性が高く、モデルの実際の退行ではないと考えられる。次回の評価では、コード実行と資料制約が95点以上に回復するかどうかを重点的に観察する必要がある。もし2日連続でメインスコアが80点を下回った場合は、さらなる根本原因の調査を開始すべきである。

現時点のデータは、今回の変動をモデル能力の永続的な低下と解釈することを支持しない。長期的なモデル選定の意思決定を即座に変更するのではなく、引き続き観察を続けることを推奨する。

データ出典：YZ Index | Run #240 | 元データを見る