Claude Opus 4.7、主要ランキングで20.1点急落——コード実行は1日で28.1点下降

Claude Opus 4.7は本日のSmoke評価において、メインランキングのスコアが93.54点から73.45点へと下落した。コード実行次元は97.00点から68.90点へ、マテリアル制約は89.30点から79.00点へそれぞれ低下した。

データファクトの分解

コード実行次元は1日で28.1点下落、マテリアル制約は10.3点下落し、両者が合わさってメインランキングを20.1点押し下げた。エンジニアリング判断は88.90点から100.00点へ上昇し、タスク表現は45.60点から63.90点へ改善した。誠実性評価は「pass」を維持している。

Smoke評価は1次元あたり1日2問のみであり、サンプル数が極めて少ない。コード実行で28.1点の下落が生じたことは、当日抽出された2問のコード問題が実行失敗を集中的に露呈した可能性を示す。マテリアル制約の10.3点下落は比較的小幅であり、制約系問題のパフォーマンスが相対的に安定していたことを示している。

原因分析：抽出変動か真の性能劣化か

コード実行とマテリアル制約が同時に下落した一方、サブランキングではエンジニアリング判断とタスク表現が明確に上昇しており、モデル全体の出力構造に系統的な崩壊は生じていないことを示している。最大の下落幅はコード実行に集中しており、当日の問題が複雑な多段階推論や厳格なフォーマット要件を含んでいた可能性を示唆している。Claude Opus 4.7はこれら特定の問題において実行経路が中断したと考えられる。

マテリアル制約の10.3点下落はコード実行より小幅であり、モデルが引用と忠実度制御においてある程度の安定性を保っていることを示唆している。サブランキングの2項目がいずれも上昇したことは、当日のモデルが判断ロジックと表現の明確さで良好なパフォーマンスを示したことを反映しており、「全体的な劣化」の可能性をさらに低下させる。

総合的に見ると、1日10問の抽出による問題難易度の変動が、今回のメインランキング急落を説明する最も直接的なメカニズムである。真の能力劣化は通常、複数次元の同時下落を伴うものだが、今回はサブランキングの上昇とメインランキングの下落が並存しており、抽出要因が支配的であることを示している。

ユーザーへの具体的な示唆

コード実行に重度依存するチームにとって、本日のデータはクリティカルなタスクに人手によるレビュー工程を追加する必要性を示している。コード実行68.90点は、当日抽出された問題で実行エラーやフォーマット不適合が生じた可能性を意味しており、本番環境での呼び出し時にはフォールバック方案を準備すべきである。

文書生成や引用確認など、マテリアル制約に敏感なシナリオでは、79.00点は依然として使用可能な範囲にあるが、昨日の89.30点より低下している。プロンプトで引用要件を強化することで影響を緩和できる。

エンジニアリング判断とタスク表現の上昇は、論理的判断と明確な出力を必要とするシナリオにとってはポジティブなシグナルとなる。開発者は混合タスクにおいてClaude Opus 4.7を引き続き活用しつつ、コード実行部分のみを他のモデルに分離することを検討できる。

戦略的判断

今回のメインランキング急落は主にコード実行という単一次元の激しい変動によるものであり、マテリアル制約の下落幅は限定的で、サブランキングはむしろ改善されている。これはモデルに系統的な能力劣化が生じていないことを示す。1日あたりのSmoke評価サンプル数は極めて少なく、28.1点の下落は統計上正常範囲内に収まる。

次回のSmoke評価でもコード実行が70点以下を維持するようであれば、複数日にわたる継続追跡を開始し、真の劣化シグナルかどうかを確認する必要がある。現時点の単日データでは、モデルが過大評価または過小評価されているかを判定するには不十分である。

次回のコード実行とマテリアル制約の同時パフォーマンスに注目し、モデル選定戦略の調整が必要かどうかを判断する根拠とすることを推奨する。サブランキングが継続的に上昇する場合は、メインランキング外の能力における補完的パフォーマンスとみなすことができる。

データ出典：YZ Index | Run #381 | 元データを見る