Claude Opus 4.7、コード実行スコアが17.4点急落・タスク表現が31.2点下落

Claude Opus 4.7は本日のSmoke評価において、コード実行スコアが75.00から57.60へ低下し、総合ランキングスコアが73.61から69.53へ下落した。

スコア比較データ

資料制約は71.90から84.10へ上昇、エンジニアリング判断は72.20から69.50へ小幅低下、タスク表現は57.50から26.30へ大幅に低下、誠実性評価はpassを維持した。Smoke評価は1日あたり10問のみであり、単日の変動は正常な範囲内とされる。

変動要因の分析

コード実行とタスク表現が同時に大幅に低下した最も可能性の高い原因は、当日の抽選問題における難易度分布の変化である。Smoke評価は各次元につき2問のみであるため、1問の失敗だけで10点以上の変動が生じ得る。資料制約スコアが逆に12.2点上昇したことは、制約遵守型の問題においてモデルが安定したパフォーマンスを発揮しており、総合的な能力の低下ではないことを示している。

エンジニアリング判断がわずか2.7点の小幅低下にとどまっていることも、総合ランキングの下落がコード実行とタスク表現の2次元によって主に引き起こされており、モデルの基盤能力の系統的な低下ではないことを裏付けている。

利用者への示唆

コード実行に大きく依存する開発チームは注意が必要である。単日のSmoke評価における57.60点は、当日の特定問題タイプにおけるパフォーマンスを反映している可能性があり、長期的なコーディング能力と直接同一視することはできない。資料制約スコアが84.10へ上昇したことは、厳密な指示遵守が求められる場面においてClaude Opus 4.7が引き続き高い信頼性を維持していることを示している。

タスク表現スコアが26.30という低水準にあることは、明確な出力構造を必要とするタスクに影響を与える可能性があり、企業が導入検討を行う際は複数日のデータを合わせて観察することが望ましい。

戦略的判断

単日データに基づけば、Claude Opus 4.7の総合ランキングスコア69.53は前日の73.61から4.1点低下しており、その主な要因はコード実行とタスク表現における抽選変動である。誠実性評価はpassを維持しており、モデルの基本的なコンプライアンスへの影響は見られない。

次回の評価では、コード実行とタスク表現のスコアが回復するかどうかを重点的に検証する必要がある。両次元が引き続き低水準にとどまる場合は、対応するタスクタイプにおけるモデルの安定性をさらに注視する必要がある。75点以上の水準に回復した場合は、今回の下落は真の能力低下ではなく問題抽選の偏りによるものと判断できる可能性が高い。

データ出典：YZ Index | Run #402 | 元データを見る