Claude Opus 4.7、コード実行スコアが22点急落——総合ランキングも10.3点下降

Claude Opus 4.7は本日のSmokeテストにおいて総合ランキングスコア83.24点を記録し、昨日の93.54点から10.3点下落した。主な原因はコード実行ディメンションのスコアが97.00点から75.00点へと急落したことにある。

スコアの内訳と直接的な根拠

総合ランキングはコード実行と資料制約の2ディメンションの加重のみで構成されている。昨日はコード実行97.00点・資料制約89.30点だったのに対し、本日はコード実行75.00点・資料制約93.30点となった。コード実行単一ディメンションの22点下落が総合ランキングを直接10.3点押し下げた一方、資料制約は4点上昇し、下落幅を一部相殺した。エンジニアリング判断は100.00点で変わらず、タスク表現は78.90点から90.00点へ上昇、誠実性評価は引き続きpassとなっている。

原因分析：抽選による変動か、それとも能力の劣化か

Smokeテストは1日あたり各ディメンション2問、計10問のみで構成される。コード実行ディメンションで2問失点するだけで、1日に22点規模の変動が生じ得る——これはテスト規模に直接起因する。資料制約ディメンションが同じ問題セットで上昇していることから、モデル全体の状態が悪化したわけではないことがわかる。現在のデータはコード実行の2問で異常なパフォーマンスがあったことを示すにとどまり、「モデルの真の能力劣化」という結論を支持するには不十分であり、問題抽選によるランダムな変動である可能性が高い。

利用者への具体的な意味

コード実行に大きく依存するチームは、本日のテスト後にローカル検証のプロセスを追加する必要がある。75.00点は、このディメンションの2問のうち少なくとも1問で明らかなエラーが発生したことを意味する。資料制約スコアが上昇した開発者は、Claude Opus 4.7の資料忠実度への信頼を引き続き維持して構わない。タスク表現ディメンションが90.00点に上昇したことは、構造化出力を必要とするシナリオへの影響が比較的小さい。

戦略的判断

10問のテストにおけるコード実行の1日22点規模の変動は正常な範囲内であり、継続的な注意を要するシグナルには当たらない。次回の評価でもコード実行ディメンションが75点前後に留まるようであれば、複数日にわたる継続的な追跡を開始する必要がある。現時点では1日分のデータのみに基づいており、Claude Opus 4.7の総合ランキングのパフォーマンスは依然として通常の変動範囲内にある。

データ出典：YZ Index | Run #299 | 元データを見る