Claude Opus 4.7の材料制約スコアが15.9点急落、総合ランキングは5.8点上昇

Claude Opus 4.7は本日のSmoke評価テストにおいて、材料制約スコアが昨日の100.00点から84.10点へ15.9点下落した。一方、コード実行スコアは75.00点から98.50点へ23.5点上昇し、総合ランキングスコアは86.25点から92.02点へ5.8点上昇した。

主要評価軸スコアの比較

コード実行と材料制約が総合ランキングを構成する。本日のコード実行スコアは98.50点、材料制約は84.10点で、両者の加重平均により総合ランキングは92.02点となった。エンジニアリング判断は80.60点から100.00点へ上昇し、タスク表現は84.70点から45.60点へ下落した。誠実性評価は「pass」を維持した。

スコア変動の考えられる要因

Smoke評価テストは1日あたり10問のみで、各評価軸につき2問ずつである。材料制約が単日で15.9点下落した主な原因として、出題のサンプリングによるばらつきが最も考えられる。2問というサンプル数では、難易度の高い材料忠実度問題が1問出題されるだけで、その評価軸の平均スコアを引き下げるには十分である。コード実行が同期間に23.5点上昇したことも、モデル全体の劣化ではなく出題のランダム性を示唆している。タスク表現の39.1点という下落幅はさらに大きいが、この評価軸はサブランキングに属し、総合ランキングの順位に直接影響しない。

仮にモデルの真の劣化であれば、コード実行と材料制約は通常同じ方向に変動するはずだが、本日は両者が逆方向に動いており、出題のサンプリングによるばらつきという説明がより説得力を持つ。1日10問というテスト設計はもともと単日の標準偏差が大きくなることを許容しており、31.7点という安定性スコアもこうした変動が正常範囲内であることを示している。

利用者への具体的な意味

コード実行を重視するチームはClaude Opus 4.7の継続利用が可能で、本日の98.50点はこの評価軸において高い水準に達していることを示している。契約書の情報抽出、文献引用、データ整合タスクなど材料忠実度に依存するシナリオでは、追加の人的確認が必要であり、84.10点は昨日の100.00点から明確に低下している。

本日のエンジニアリング判断は100.00点であり、アーキテクチャ上の意思決定を必要とする開発者にとって有利な結果となっている。タスク表現の45.60点は、長い指示への追従や文体の一貫性が求められるシナリオにおいて、出力品質が低下する可能性を示唆している。

戦略的判断

総合ランキング92.02点は昨日を上回っており、材料制約の単一評価軸における急落は全体的な順位を変えるには至らなかった。現時点のスコア比較に基づくと、Claude Opus 4.7はコード実行評価軸での改善が材料制約の損失を相殺しており、現在の総合ランキングパフォーマンスは依然として堅調である。次回のSmoke評価テストでは、材料制約が95点以上に回復するかどうかを重点的に検証する必要があり、もし2日連続で90点を下回る場合は、要観察リストへの追加を検討すべきである。

エンジニアリング判断とタスク表現のサブランキングデータは参考情報に留まり、総合ランキングの結論を変えるものではない。企業が導入を検討する際は、コード実行と材料制約という2つの監査可能な指標を優先的に注視すべきであり、本日のデータは即時の代替ではなく継続的な観察を支持するものである。

データ出典：YZ Index | Run #370 | 元データを見る