Claude Opus 4.7は本日のSmoke評価テストにおいて、コード実行の次元が94.50点から75.00点へ低下し、降下幅は19.5点。素材制約は70.00点から89.30点へ上昇し、上昇幅は19.3点。メインボードの総合スコアは83.48点から81.44点へと、わずか2点の低下にとどまった。
データの事実と次元別分析
Smoke評価テストは1日あたり10問のみで、各次元につき2問構成となっている。コード実行と素材制約がメインボードを構成し、エンジニアリング判断とタスク表現がサイドボードを構成する。本日はコード実行75.00点・素材制約89.30点がメインボード81.44点を決定した。エンジニアリング判断は55.60点から75.00点へ、タスク表現は37.50点から50.00点へそれぞれ上昇し、誠実性評価はpassを維持した。
原因分析：抽選による変動かモデルの劣化か
1日10問というサンプル数のもとでは、問題の抽選によるランダム性が最大の要因となる。コード実行と素材制約が同時に約20点の逆方向の変動を示したことは、モデルが異なる問題タイプにおいて示すパフォーマンスの差異が増幅されたことを意味する。真の劣化であれば、通常は複数の次元が同時に低下するはずだが、本日はサイドボードの2項目がいずれも上昇しており、能力全体の低下ではなく問題の分布に起因することを示している。
素材制約スコアが19.3点上昇したのは、本日の抽選で引用の忠実度に対してより高い要求が課される問題が選ばれた可能性がある。一方、コード実行の急落は、複雑な多段階推論やエッジケースを要するコード問題が抽選されたことによる可能性がある。両者のスコアが逆方向に相殺し合った結果、メインボードはわずか2点の微減にとどまった。
利用者にとっての具体的な意味
コード生成に強く依存するチームは注意が必要だ。本日のコード実行75.00点は、複雑なデバッグや複数ファイルのリファクタリングのシナリオにおいて、モデル出力の安定性が前日の94.50点水準を下回る可能性があることを意味する。一方、素材制約89.30点は、参照ドキュメントへの厳密な準拠が求められるRAGシナリオにおいて、本日のパフォーマンスが昨日を上回ることを示している。
エンジニアリング判断とタスク表現のサイドボード2項目が上昇したことで、モデルにアーキテクチャの意思決定や要件の分解を求める開発者にとって、本日の使い勝手は改善されている。ただし、メインボードの変動は、モデル選定の際に単日のスコアだけを参照するのではなく、複数日にわたる一貫性を観察する必要があることを示唆している。
戦略的判断
本日のデータに基づけば、Claude Opus 4.7のメインボードスコアの変動は主にコード実行と素材制約の無作為な相殺によるものであり、モデルの真の劣化を支持するエビデンスは現時点では存在しない。Smoke評価テストの1日2問/次元という設計は本質的に変動を増幅させるものであり、単日19.5点の下落幅は正常範囲内にある。
次回以降もコード実行が80点以下を維持し、かつ素材制約が低下した場合には、コード系タスクにおけるモデルの問題タイプへの感度を重点的に検証する必要がある。現時点のデータは抽選による変動を示すのみであり、継続的な注視が必要なシグナルにはまだ至っていない。
データ出典：YZ Index | Run #427 | 元データを確認
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接