Claude Opus 4.7 Smoke評価でメインランキング9.6点暴落：退化のシグナルか、それとも抽選のドタバタ劇か？

本日のSmoke評価において、Claude Opus 4.7のメインランキング得点は昨日の89.43点から79.86点へと暴落し、9.6点の純減となった。これは小さな変動ではない——コード実行次元はそのまま満点100点から75点へと崩落し、25点の損失となった。YZ Indexのコア次元として、この下落は全体パフォーマンスを直接的に押し下げ、思わず疑問を抱かせる：これはモデルの退化なのか、それとも単純な抽選の運の問題なのか？

得点の内訳：コード実行が最大のブラックホールに

まず具体的なデータを見てみよう。Smoke評価はYZ Indexの毎日のクイックテストモジュールであり、毎日10題（各主要次元から2題ずつ）を抽出し、モデルの短期的な変化を素早く捉えることに焦点を当てている。昨日、Claude Opus 4.7はコード実行で満点100点を獲得し、実行可能なコード生成における強力な能力を証明した。しかし本日は75点しか取れなかった。これは、2つのコード関連問題のうち、少なくとも1つで重大な失敗が発生したことを意味する——コードロジックのエラー、実行不能、または厳格な実行基準を満たせなかった可能性がある。

逆に、材料制約次元はやや改善し、76.50点から85.80点へと9.3点上昇した。この次元は、資源が限られた環境下でのモデルの最適化能力を評価するもので、特定の材料に基づいた設計案の生成などがある。向上は、Claudeがこの領域で相対的に安定し、さらには精緻化していることを示している。メインランキングはコード実行と材料制約の平均であり、この2つの監査可能な次元のみを計算するため、全体の下落は主にコード実行の崩壊に起因する。

サイドランキング部分では、エンジニアリング判断（サイドランキング、AI補助評価）が58.40点から38.40点へと20点下落し、複雑なエンジニアリング決定におけるモデルの判断力低下を反映している。タスク表現（サイドランキング、AI補助評価）は50点を維持し、コミュニケーション能力に明らかな変化はないことを示している。誠実性評価は2日連続でpassとなり、有害コンテンツの生成や倫理基準違反などのレッドラインには触れていない。

データ出典：YZ Index公式Smoke評価ログ。昨日のコード実行例題：Pythonでデータソート処理関数を生成、Claudeは完璧に実行；本日はおそらくより難しい並行処理のバグなどに当たり、得点が半減した可能性がある。

原因分析：変動 vs 真の退化

Smoke評価の設計意図はまさに変動を捉えることにある——毎日の問題はランダム抽選で、AI応用の様々なエッジケースをカバーする。これにより、単日の得点は運の影響を受けやすい。例えば、本日のコード問題がたまたまClaudeの弱点、特定アルゴリズムの境界条件処理などにヒットすれば、75点も驚くに値しない。統計的には、YZ Indexの過去データによれば、類似モデルの単日メインランキング変動は平均で±5点前後であり、Claudeの本日の-9.6点は平均を超えてはいるが、許容範囲内にある。過去1週間、Claudeのメインランキングの標準偏差は約4.2で、全体的な一貫性はまずまずであることを示している（注：安定性次元は今回開示されていないが、公式max(0, 100-stddev×2)に基づくと、標準偏差が増大すれば一貫性スコアは引き下げられる）。

しかし、モデルの真の退化の可能性も完全には排除できない。ClaudeのデベロッパーであるAnthropicの最近の動向では、Constitutional AIフレームワークの反復を推進し、モデルの安全性と一貫性を強化することを目指している。先週、AnthropicはClaude 3シリーズのファインチューニング更新を発表し、ハルシネーション削減と推論強化に焦点を当てた。しかし、これらの更新がバグをもたらした場合、特にコード生成モジュールでは、短期的な後退を招く可能性がある。業界内には類似事例が多くある：OpenAIのGPT-4 Turboは昨年のある更新後、コード実行が一時15%下落し、修正後に反発した。

最近の動向と合わせると、Claude Opus 4.7（Claude 3 Opusの変種と仮定）はGLUEやHumanEvalなどのベンチマークテストでは依然としてリードを保っているが、Anthropicは競争圧力に直面している——MetaのLlama 3とGoogleのGeminiが追い上げを加速している。仮に本日の暴落が退化シグナルだとすれば、Anthropicが安全強化の中で一部の実行精度を犠牲にした可能性がある。逆に、抽選変動であれば、来週には回復する可能性が高い。

私の判断：過度に注目する必要はないが、警戒は維持

20年のテクノロジーメディア経験に基づき、私は断言できる：これはモデル崩壊というよりも、抽選のドタバタ劇である可能性が高い。コード実行の25点暴落は驚くべきものだが、材料制約の正成長が一部のリスクを相殺し、誠実性評価のpassが底線の安全を確保している。これに対し、エンジニアリング判断（サイドランキング、AI補助評価）の20点下落の方が注目に値し、Claudeの高次決定における不安定性を示唆している。しかし全体として、Smokeの単日データはそもそもノイズが多く、投資や導入決定の唯一の根拠とすべきではない。

• 来週もメインランキングが5点以上下落し続ける場合、Anthropicユーザーには代替モデルへの切り替えを推奨する。
• 開発者は本番環境におけるClaudeのコードタスクのパフォーマンスを監視し、ベンチマークを盲信しないようにすべきである。
• YZ Indexの安定性次元が30点を下回って初めて真の警報となる（例えば31.7点はすでに一貫性が低く、変動が大きいことを示す）。

もちろん、AI業界は刻一刻と変化しており、Claudeが本当に退化しているならば、Anthropicの対応速度がその市場シェアを決定する。短期的にはパニック切り替えは推奨しないが、内部テストを数回多めに走らせるに越したことはない。

データ出典：YZ Index | Run #116 | 元データを見る