Claude Opus 4.7は本日のSmokeテストにおいて、材料制約スコアが昨日の88.30点から71.40点へ16.9点下落したが、主榜スコアは79.56点から84.11点へ4.6点上昇した。
スコア比較データ
コード実行の次元は72.40点から94.50点へ22.1点上昇。材料制約の次元は88.30点から71.40点へ下落。エンジニアリング判断のサイドランキングは55.60点から50.00点へ下落。タスク表現のサイドランキングは85.40点から55.40点へ下落。誠実性評価はpassを維持。
主榜スコア上昇の直接的要因
主榜はコード実行と材料制約の2次元のみの加重で構成されている。コード実行が1日で22.1点上昇し、材料制約の16.9点下落によるマイナス影響を上回ったことで、主榜全体が上昇した。材料制約スコアの下落幅は大きいが、コード実行の上昇幅を相殺するには至らなかった。
考えられる要因の分析
Smokeテストは1日10問、次元あたり2問のみであり、1日あたりの出題変動が主な要因として考えられる。材料制約の問題において、原資料への忠実度が特に高く求められるケースが選ばれた場合、モデルの回答のずれがその次元のスコアを直接押し下げる。コード実行の問題において、比較的簡単なデバッグや計算タスクが選ばれた場合、モデルの成績は大幅に向上しやすい。タスク表現のサイドランキングが30点も下落したことは、当日の出題分布がモデルの安定した出力領域から外れていた可能性をさらに示しており、モデルの能力に系統的な劣化が生じたわけではないと考えられる。
実際の劣化の可能性については、現時点では複数日の連続データによる裏付けが不足している。1日で材料制約とタスク表現が同時に下落した一方でコード実行が大幅に上昇したことは、異なるタスクタイプにおけるモデルのパフォーマンス差が当日の出題によって拡大されたことを示している。
利用者にとっての具体的な意味
コード実行を重視するチームにとっては、本日のデータでより高い可用性が期待できる。Smokeテストにおけるコード実行のスコアはすでにでは94.50点と高水準に近い。一方、材料への忠実度に依存するユースケース（文書要約、契約審査、知識抽出など）はリスクに直面しており、材料制約の71.40点は昨日の水準を下回っており、出力が原文から逸脱するケースが増える可能性がある。
エンジニアリング判断とタスク表現のサイドランキングがともに低下したことは、複雑な意思決定や明確なタスク分解を必要とするプロセスにおいて、モデルの一貫性が変動する可能性を示唆している。開発者が本番環境で呼び出す際には、材料制約に関連する出力に対して二次検証のステップを追加する必要がある。
戦略的判断
1日分のデータに基づけば、主榜の上昇は主にコード実行に牽引されており、材料制約の下落はモデルの実際の劣化ではなく出題の変動によるものである可能性が高い。現時点のシグナルは、Claude Opus 4.7に系統的な問題が発生していると判断するには不十分であり、次回のSmokeテストでも材料制約とコード実行の2つの主榜次元を引き続き追跡することを推奨する。材料制約が2日連続で75点を下回った場合には、複数日にわたる安定性検証を開始する必要がある。
モデル選定を検討する企業にとって、本日のデータはClaude Opus 4.7を材料に敏感なユースケースから除外する根拠とはならないが、ワークフロー内に材料検証ステップを追加する必要がある。コード実行パフォーマンスの向上については、純粋なコードタスクにおいてさらなる検証を行う価値がある。
データ出典：YZ Index | Run #423 | 元データを見る
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接