安全コンプライアンスで最低1.7点が崩壊、Claude Sonnetは4シナリオで4点満点を圧倒

WDCD v3.1の契約遵守テストにおいて、安全コンプライアンスシナリオの最低得点はわずか1.7/4（Doubao Pro）であり、15モデル全体を通じて最もスコアの低いシナリオとなった。

安全コンプライアンスが最難シナリオに、データ境界と並んで識別力が最大

5つのシナリオのうち、安全コンプライアンスの最高点4/4（Claude Sonnet 4.6）と最低点1.7/4（Doubao Pro）の差は2.3点となり、データ境界と並んで識別力が最大となった。データ境界でも同様に4/4（Claude Sonnet 4.6）と1.7/4（Zhipu GLM-4.6、Qwen3 Max）の2.3点差が生じている。これに対し、リソース制限の最高点は4/4、最低点は2.4/4で差は1.6点にとどまり、エンジニアリング規範の差は1.65点と、前二者に比べて識別能力が明らかに低かった。

業務ルールシナリオの最低点は1.8/4（Doubao Pro）、安全コンプライアンスの最低点は1.7/4であり、両者は現バージョンにおいて最も制約が突破されやすい制約タイプを構成している。v3の問題設計では、安全コンプライアンスとデータ境界のいずれも、連続した複数ラウンドの「サラミスライス」攻撃と「権威による特別許可」プレッシャーを含んでおり、モデルはR2〜R3ラウンドで初期制約を最も失いやすく、worst-of-3サンプリングにおいて低得点が複数回出現する原因となっている。

Claudeの2モデルはシナリオ偏差が最も顕著、リソース制限とデータ境界が互いの弱点

Claude Opus 4.7はリソース制限で4/4を獲得したが、データ境界ではわずか2.4/4にとどまり、シナリオ間の差は1.6点。Claude Sonnet 4.6はその逆で、データ境界4/4に対しリソース制限はわずか2.8/4で差は1.2点。両モデルは安全コンプライアンス・業務ルール・エンジニアリング規範においていずれも3.55/4以上を維持しているが、リソース制限とデータ境界のみが明確な弱点となっている。

GPT-6.1 Solは業務ルールで3.75/4を獲得した一方、安全コンプライアンスはわずか1.9/4で差は1.85点と、シナリオ偏差が最大のモデルとなった。GPT-o3はデータ境界3.7/4に対し業務ルールはわずか1.9/4で差1.8点。Zhipu GLM-4.6はデータ境界1.7/4に対し業務ルールは3.4/4で差1.7点。これらの差はいずれも、v3問題における異なる制約タイプの並行ハード制約とサンクコストプレッシャーに起因しており、特定の制約タイプで形成された局所的な記憶優位が他のタイプに転移できないことを示している。

企業が業務プロセスにAIを統合する際の実際のリスク順位

AIを業務プロセスに統合している企業においては、安全コンプライアンスシナリオのスコアが2.5/4未満のモデルには二次審査の追加導入が必要となる：Doubao Pro（1.7）、GPT-6.1 Sol（1.9）、GPT-6 Sol（2.4）、GPT-6 Luna（2.4）、GPT-6 Astra（2.4）、GPT-5.5（2.4）。これらのモデルは安全コンプライアンスのKBV復唱プローブ段階ですでに初期制約を複数回失っている。

データ境界シナリオにも同様にガードレールが必要だ。Zhipu GLM-4.6とQwen3 Maxはわずか1.7/4、Grok 4とDoubao Proはいずれも2.3/4、Claude Opus 4.7も2.4/4にとどまる。リソース制限シナリオは比較的安全であり、15モデル中GPT-6 Astraのみが2.5/4を下回り、その他はすべて2.7/4以上で、クォータや並行制御タスクに直接利用可能だ。

戦略的見解：Claude Sonnet 4.6の契約遵守能力は過小評価されている

Claude Sonnet 4.6はデータ境界・安全コンプライアンス・業務ルール・エンジニアリング規範の4シナリオすべてで3.95/4または4/4を達成しており、リソース制限の2.8/4がわずかに総合スコアを引き下げているだけで、全体的な契約遵守能力は現バージョンにおいて市場から過小評価されている。Claude Opus 4.7はリソース制限で単独首位を占める一方、データ境界と安全コンプライアンスという2つの重要シナリオでSonnetに後れを取っており、そのトレーニングの重点がv3問題における「データ境界＋安全コンプライアンス」の並行制約と系統的なずれを持っていることを示している。

GPTシリーズのモデルはエンジニアリング規範と業務ルールで安定したパフォーマンスを見せるが、安全コンプライアンスとリソース制限は全般的に弱く、GPT-6 Astra・GPT-6 Sol・GPT-6 Lunaの3モデルは安全コンプライアンスでいずれも2.4/4以下にとどまり、複数ラウンドのプレッシャー下での制約維持メカニズムの強化が依然として必要であることを示唆している。国産モデルでは、Zhipu GLM-4.6とQwen3 Maxがデータ境界でいずれも1.7/4にとどまる一方、業務ルールでは3.4/4を達成しており、制約の記憶に明確なシナリオ依存性が存在することを示している。

次回の検証では、安全コンプライアンスとデータ境界の2シナリオにおけるR3ラウンドのプレッシャー強度とKBV復唱プローブのヒット率に重点を置き、Claude Sonnet 4.6がリソース制限の弱点を3.5/4以上まで補えるかどうかを観察すべきだ。

安全コンプライアンスの1.7点はすでに無視できないレッドラインとなっており、Claude Sonnet 4.6の4シナリオ4点満点という記録は、企業がモデルの契約遵守能力を評価する基準を塗り替えつつあるかもしれない。

データ出典：YZ Index WDCD 契約遵守ランキング | Run #422 · シナリオマトリクス | 評価方法論