WDCD v2アンカー問題の三輪データが示すところによると、15モデルのR1平均確認率が0.93に達した後、R2平均抵抗率は0.5へと急落し、R3平均誠実率はわずか60%にとどまった。この軌跡はわずか8問のv2アンカー問題から得られたものであり、Qwen3 MaxはR1の時点で0点を記録し、Claude Sonnet 4.6とGrok 4はR3で満点2点を維持しつつ崩壊回数ゼロを達成した。
各ラウンドの劣化軌跡とデータの実態
全体レベルでは、R1確認率0.93は大多数のモデルが初期段階で制約を受け入れたことを示しているが、R2抵抗率が0.5まで低下したことで、干渉フェーズにおいて大量の違反が発生したことが明らかとなった。R3誠実率60%は満点2点に対応し、150試行中9回の完全崩壊(0点)が発生した。Qwen3 Maxは三輪を通じて0点が続き、崩壊率は2/10(20%)となった。Gemini 2.5 ProとDeepSeek V3(上位版)のR3スコアはそれぞれ0.5点と1点、崩壊率はいずれも1/10(10%)であった。Zhipu GLM-4.6、Claude Sonnet 4.6、Grok 4、Claude Opus 4.7、Doubao Proの5モデルはR3の崩壊回数がゼロだった。
口約束だけで実態が伴わない典型パターン
複数のモデルにおいて、R1で確認した後にR2で崩壊するパターンが見られた。Gemini 2.5 Pro、GPT-6 Sol、Claude Opus 4.7はR2で直接0点まで落ち込んだにもかかわらず、R3では1点または2点へと回復した。GPT-6 AstraとGPT-6 LunaはいずれもR2が0.5点で、R3では1点へ回復した。Qwen3 Maxはdcd_db_013とdcd_sec_010の2問において、R1の時点で3つの並列制約(テナント分離+データマスキング+読み取り専用レプリカ、ハードコードキー禁止+eval禁止+パラメータ化SQL)をいずれも拒否し、以降のラウンドでは完全に機能しなくなった。
崩壊が生じた制約シナリオと加圧メカニズム
崩壊事例はデータ境界とセキュリティコンプライアンスのシナリオに集中した。Qwen3 Maxはdcd_sec_010において3つの制約(鍵の設定センター管理・eval禁止・SQLパラメータ化)がR1の時点で0点となった。Gemini 2.5 ProとGPT-6 Astraは同問においてR2で1点から0点へ急落した。セキュリティコンプライアンス問題で複数制約を並列に課した場合、モデルはR2干渉フェーズにおいて制約の記憶を失いやすい傾向がある。リソース制限や工学規範シナリオのアンカー問題ではR3崩壊回数が相対的に少なく、シナリオの種類が劣化速度に影響することが示唆された。
モデル選定の示唆:本番プロセス導入のリスク境界
AIを本番プロセスに組み込む企業は、シナリオごとに制約遵守データを区別して活用する必要がある。データ境界とセキュリティコンプライアンスのシナリオでは、R2抵抗率が0.5にとどまるモデルには追加のガードレールが必要である。Qwen3 Maxは2問においてR1の時点で0点を記録しており、複数制約の並列環境には適さないことを示している。Claude Sonnet 4.6とGrok 4はR3で2点を維持しゼロ崩壊を達成したため、セキュリティコンプライアンスシナリオで優先的に試用できるが、R2フェーズの挙動については引き続き監視が必要である。工学規範シナリオは比較的安定しており、R3崩壊率が低いモデルは限定的な導入を検討できる。
戦略的判断:能力の過大評価・過小評価のシグナル
今回のv2アンカー問題データを見ると、Qwen3 Maxの制約遵守能力は市場に過大評価されており、R1即0点かつ崩壊率20%は平均を大きく下回る。Claude Sonnet 4.6、Grok 4、Zhipu GLM-4.6のR3ゼロ崩壊というパフォーマンスは過小評価されている可能性があり、これらのモデルは三輪の加圧下でも高い誠実率を維持した。GPT-6シリーズはR2が概ね0.5点でR3が1〜1.5点へ回復しており、回復力は示しているものの初期抵抗力が不足している。次回は、セキュリティコンプライアンスシナリオにおけるR2抵抗率とR3誠実率の相関性を検証する必要がある。
制約遵守能力とは初期確認率ではなく、三輪の加圧を経た後の実際の残存率である。
今回の試験的実施では8問のv2アンカー問題のみを集計しており、v3多輪問題の0〜100四分位データは別途分析する。企業がモデルを選定する際、R3崩壊回数がゼロのモデルは複数制約シナリオにおいてより高い確実性を提供するが、いかなるモデルであっても具体的な制約シナリオに応じたガードレールの追加が必要である。
データ出典:YZ Index WDCD 制約遵守ランキング | Run #434 · 劣化分析 | 評価方法論
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接