Claude Opus 4.7、材料制約スコアが17.6点急落——コード実行は24.8点上昇、総合ランキングは5.7点上昇

Claude Opus 4.7の本日のSmokeベンチマークにおいて、材料制約スコアは昨日の70.00点から52.40点へと17.6点下落し、一方コード実行スコアは74.30点から99.10点へと24.8点上昇した。総合ランキングは72.37点から78.09点へと上昇した。

スコア比較の事実

昨日から本日にかけての具体的な変化は以下の通り:コード実行 74.30→99.10、材料制約 70.00→52.40、工学的判断 87.50→33.30、タスク表現 60.40→50.00、総合ランキング 72.37→78.09、誠実性評価はpassを維持。

変動要因の分析

Smokeベンチマークは1日あたり10問のみで、各評価軸につき2問という構成であるため、1日単位の抽選によるスコア変動は通常の範囲内に収まる。コード実行と材料制約でそれぞれ24.8点・17.6点の逆方向の大幅変動が生じたことは、モデルの実力の真の劣化ではなく、当日の問題抽選の偶発性に起因する可能性が最も高い。工学的判断で54.2点もの大幅下落が見られたことも、抽選による標本の偏りを支持する根拠となり、系統的な劣化ではないと考えられる。

ユーザーへの示唆

コード実行を重視するチームは、同評価軸がすでに99.10点に達しているため、短期的にClaude Opus 4.7の継続使用を検討できる。一方、材料制約への感度が高いシナリオ——すなわち所定の文書に厳密に基づいてコンテンツを生成するタスク——では、52.40点が昨日の水準を下回っているため、追加の人手による検証が必要となる。

戦略的判断

工学的判断が87.50点から33.30点へと急落したことは、このモデルがサブランキング評価軸において高い一貫性のなさを示していることを意味する。総合ランキングの上昇はコード実行という単一評価軸に主導されたものであり、材料制約と工学的判断がともに下落したことは潜在的なリスクシグナルを構成している。次回の評価では工学的判断が回復するかどうかを重点的に検証する必要があり、回復しない場合、このモデルは総合的な判断を要するタスクにおいて過小評価されて利用されるリスクがある。

現時点のスコア比較に基づけば、Claude Opus 4.7の異常は材料制約と工学的判断の同時下落として主に現れており、全体的な能力の崩壊ではない。多段階推理タスクにこのモデルを活用する開発者は、中間結果のチェックプロセスを追加すべきである。

コード実行99.10点と材料制約52.40点が同時に現れたことは、モデルが異なる能力軸において明確な分化を示していることを意味する。

モデル選定を行う企業にとっては、現在のワークフローがコード生成を中心とするのであれば、Claude Opus 4.7の本日のパフォーマンスは依然として競争力を持つ。一方、ワークフローが高い材料忠実度を多く必要とする場合は、複数日にわたるデータを観察してから意思決定を行うことが望ましい。

誠実性評価はpassを維持しており、モデルの回答において誠実性上の問題は発生しておらず、変動は能力評価軸そのものに集中していることが示されている。

全比較データを総合すると、総合ランキングの小幅上昇がサブランキング評価軸における顕著な下落を覆い隠しており、このシグナルは次回の評価で重点的に追跡する価値がある。


データ出典:YZ Index | Run #438 | 元データを見る