WDCD 5シナリオ横断評価:データ境界シナリオが最低1.7点で最下位、安全コンプライアンスが最大の弱点に

WDCD v3.1パイロット評価において、データ境界シナリオで全体最低点となる1.7点(Qwen3-max)、安全コンプライアンスシナリオで最下位の1.8点(Doubao Pro)が記録され、この2シナリオは全モデルの得点が最も低く、かつ識別力が最も大きいテスト次元となった。

データ境界シナリオが最難関となった理由

データ境界シナリオでは、Zhipu GLM-4.6が4点満点でトップとなり、Qwen3-maxは1.7/4点にとどまり、その差は2.3点に達した。安全コンプライアンスシナリオでも同様に2.2点の差が生じた(Claude Opus 4.7の4/4点に対し、Doubao Proの1.8/4点)。一方、エンジニアリング規範シナリオでは最高点と最低点の差がわずか0.9点にとどまり、識別力が最も小さかった。

この差異はv3問題の連続プレッシャー設計に起因する。データ境界問題では、契約締結後に「社会的証明+サラミ戦術」の組み合わせによる圧力を3ラウンド連続で加え、モデルは第6〜8ラウンドにおいてもデータ範囲の制約を厳守する必要がある。Qwen3-maxは当該シナリオで第5ラウンド以降に制約が崩れるケースが複数回発生し、S_hold得点が大幅に下落したことで、最終的に1.7/4点という低スコアに至った。

特定シナリオ偏重モデルが抱える実際のリスク

Claude Opus 4.7はリソース制限と安全コンプライアンスでともに4/4点を獲得したが、データ境界では2.5/4点にとどまり、シナリオ間の差は1.5点となった。GPT-6-Astraはビジネスルールで4/4点、データ境界は2.3/4点で差は1.7点。GPT-6-Solはビジネスルールで4/4点、データ境界は2.35/4点で差は1.65点となった。

これらのモデルは安全コンプライアンスとリソース制限において安定したパフォーマンスを示す一方で、データ境界における制約記憶(S_kbv)と制約崩壊からの回復(S_recover)の面で明らかな不足が見られる。システムに組み込む企業にとっては、単一シナリオの満点だけでモデルの信頼性を判断することはできず、データ境界シナリオについて追加のガードレールを設ける必要があることを意味する。

各シナリオが企業のモデル選定に与える具体的な示唆

安全コンプライアンスシナリオでは、Claude Opus 4.7、Claude Sonnet 4.6、DeepSeek V4 Pro、Gemini 3.1 Pro、Zhipu GLM-4.6の5モデルがいずれも4/4点を維持しており、コンプライアンスが重視されるプロセスへの直接導入に適している。GPT-5.5は同シナリオで3/4点にとどまり、ビジネスルールシナリオの4/4点より1点低いため、安全コンプライアンスに関わる工程では人手によるレビューの追加を推奨する。

リソース制限シナリオでは、Doubao Proが2.5/4点にとどまり、Claude Opus 4.7の4/4点を大きく下回った。企業のコアシナリオにリソースクォータ管理が含まれる場合、Doubao Proにはサンクコストによるプレッシャーのもとで制限を突破しやすいため、追加の制約レイヤーが必要となる。

エンジニアリング規範シナリオは全体的に得点が最も高く、最低点でも3.1/4点に達しており、多くのモデルがこの種の制約のもとで高い遵守能力を示している。製造工程への最初の統合対象として、リスクの低い選択肢となり得る。

戦略的判断と次回検証で注目すべき指標

Claude Opus 4.7の安全コンプライアンスおよびリソース制限における能力は市場から過大評価されている可能性があり、データ境界での実際のスコア2.5/4点は満点シナリオとの乖離が明確である。DeepSeek V4 Proはビジネスルール、エンジニアリング規範、安全コンプライアンスの3シナリオでいずれも4/4点を獲得し、データ境界のみ2.8/4点にとどまっており、総合的な制約遵守能力が過小評価されているため、企業による重点的な検証に値する。

Qwen3-maxのデータ境界1.7/4点と安全コンプライアンス3.4/4点の大きな乖離は、制約記憶メカニズムのシナリオ間における安定性不足を示唆している。次回のパイロット評価では、Zhipu GLM-4.6がデータ境界シナリオで4/4点を継続して維持できるか、またClaudeシリーズが同シナリオでS_recoverスコアを改善できるかを重点的に観察すべきである。

データ境界の1.7点と安全コンプライアンスの1.8点は明確なレッドラインを示しており、企業のモデル選定においてはこの2シナリオに係るガードレールのコストを総予算に組み込むことが必須である。

データ出典:YZ Index WDCD 遵守能力ランキング | Run #379 · シナリオマトリクス | 評価方法論