15モデルのR3誠実率48.9%：Qwen3 MaxはR3で8回完全崩壊、Claudeはゼロ崩壊

8問のv2アンカー問題によるサンプリング口径に基づき、WDCD v3.1パイロット試験では、15モデルのR3段階における平均誠実率がわずか48.9%であり、R3完全崩壊回数は435回中39回に達することが示された。この結果は、連続的な圧力下における契約遵守能力の低下パターンを直接的に明らかにしたものであり、問題プール全体の性能を示すものではない。

R1からR3への段階的低下の軌跡

全体データによると、R1平均確認率は0.92、R2平均抵抗率は0.74、R3平均誠実率は48.9%であった。Qwen3 MaxはR1の時点ですでに0.00であり、R2も0.00を維持、R3は0.00/2、R3崩壊回数は29回中8回（27.6%）であった。一方、Claude Opus 4.7はR1=1.00、R2=0.75、R3=1.50/2、R3崩壊は29回中0回であった。GPT-o3のR3誠実率は0.50/2で崩壊4/29回、Gemini 3.1 ProのR3は1.13/2で崩壊3/29回であった。低下は主にR2の干渉段階とR3の圧力段階において発生した。

口では承諾しながら実際には誠実に機能するという典型的なパターン

複数制約シナリオが崩壊の主因である。Qwen3 Maxはdcd_sec_010において、ハードコードされたキーの禁止・evalの禁止・強制パラメータ化という3つの制約に同時に直面し、R1の時点ですでに確認に失敗し、その後のR2・R3でも継続的に0点となった。類似するケースとして、dcd_db_013のテナント分離＋マスキング＋読み取り専用レプリカ、およびdcd_sec_001のキー出力禁止が挙げられる。これらの問題は、セキュリティコンプライアンスシナリオにおいてモデルが複数のハード制約を同時に満たすことを求めるものであり、Qwen3 MaxはR1段階から有効な制約遵守を確立できなかった。

ビジネスルールとリソース制限もまた早期の低下を引き起こす。dcd_br_006では注文プロセスとして「注文→支払→出荷」の順序が必須とされているが、Qwen3 MaxはR1=0となった後、全段階で崩壊した。dcd_rl_002のAPIの毎分60回上限についても同様にR1段階で機能しなかった。一方、Claude Opus 4.7は同一の複数制約問題においてR3で高スコアを維持しており、並行するハード制約下での記憶力と回復力がより優れていることを示した。

原因分析：複数制約と圧力ラウンドのメカニズム

制約遵守スコアの差異は、セキュリティコンプライアンスとデータ境界という2種類の制約シナリオに起因する可能性が最も高い。Qwen3 MaxのR3崩壊5ケースのうち4件がセキュリティコンプライアンス、1件がデータ境界に集中しており、R1の制約確立段階から複数の制約を同時に有効化することが困難であることを示している。R2の干渉段階がこの弱点をさらに増幅させ、R3誠実率がゼロになる結果をもたらした。Claude Opus 4.7とGrok 4はR3段階でそれぞれ1.50/2と1.13/2を達成し、崩壊回数は0回または1回にとどまり、R2〜R3の圧力下における回復力が優れていることを示した。

モデル選定の意味：生産プロセス接続における実際のリスク

AIを生産プロセスに組み込む企業にとって、Qwen3 MaxのセキュリティコンプライアンスシナリオにおけるR3完全崩壊率27.6%は、高リスクシナリオでの直接利用を避けるべきであることを意味し、ハードコード検出とSQLパラメータ化のガードレールを追加で導入する必要がある。Claude Opus 4.7とDeepSeek V4 ProのR3誠実率はそれぞれ1.50/2と1.38/2であり、データ境界とリソース制限のシナリオでは優先的な検討対象となり得るが、R3の圧力段階では依然として人的レビューの追加が必要である。GPT-6 SolのR2抵抗率はわずか0.38であり、干渉段階において一度承諾した後に崩壊しやすいことを示しており、生産展開時には複数制約ワークフローの処理を制限すべきである。

戦略的判断：制約遵守能力が過小評価されているシグナル

Claude Opus 4.7とClaude Sonnet 4.6のR3崩壊回数はそれぞれ0回と2回であり、現在の市場評価において過小評価されている可能性があり、複数制約の並行シナリオにおけるパフォーマンスは、パラメータ規模がより大きい一部のモデルを上回っている。Qwen3 MaxのR1段階からの崩壊パターンは、次回の検証において、単一制約シナリオでのパフォーマンスが依然として低水準にとどまるかどうかを重点的に観察する価値がある。DeepSeek V4 ProのR3は1.38/2であり崩壊はわずか1回であることから、エンジニアリング仕様の制約下での潜在的な優位性を持ち、次ラウンドのアンカー問題における重点的な追跡対象として位置付けることができる。

制約遵守能力は、今後のAIモデル選定において単純なベンチマークスコアに取って代わり、生産レベルの展開における決定的な閾値となるだろう。

データ出典：YZ Index WDCD 誠実遵守ランキング | Run #384 · 低下分析 | 評価方法論