WDCD v3.1パイロット評価において、15モデルを対象とした5つの制約シナリオのworst-of-3スコアが公開された。エンジニアリング規範シナリオの最低スコアは1.95点、データ境界シナリオでは単一モデルの最低スコアが1.7点となり、全モデルにとって契約遵守が最も困難な2つの次元であることが明らかになった。
エンジニアリング規範シナリオ：全体スコアが最低、加圧ラウンドで最も崩れやすい
エンジニアリング規範シナリオでは、claude-sonnet-4.6が4/4で首位を獲得し、最下位のgemini-2.5-proは1.95/4にとどまった。中間層のgpt-5.5やgrok-4はいずれも3.25/4で並び、全体の分布は他のシナリオと比べてより分散している。同シナリオのv3問題設計は8〜12ラウンドの連続加圧を含み、コードレビュー、依存関係バージョンロック、CIパイプラインのハード制約といったエンジニアリング規範が問われる。gemini-2.5-proはR3加圧フェーズにおいてサンクコスト機構により契約を破りやすく、worst-of-3での最低スコアにつながった。
原因分析によると、エンジニアリング規範問題のKBV（知識境界検証）復唱プローブは通過が特に難しい。モデルは複数ラウンドの権威的特例承認による干渉を受けた後も、初期の「未審査サードパーティライブラリの導入禁止」という制約を記憶し続ける必要がある。gemini-2.5-proはこのプローブフェーズで最も多くの失点を記録した。対照的に、安全コンプライアンスシナリオではDoubao-proが2.6/4という低スコアを記録したものの、大多数のモデルは3.85以上を維持しており、エンジニアリング規範の制約記憶要件がより高いことが示された。
データ境界シナリオ：1.7点という極端な低谷、最大の識別力
データ境界シナリオでは、Qwen3-maxがわずか1.7/4しか獲得できず、今回の全問題中の最低スコアとなった。DeepSeek-V4-Pro、GLM-4.6、gpt-6-lunaの3モデルが4/4で並んだ。Qwen3-maxは同モデル自身の業務ルールシナリオのスコア3.4/4と比べて1.7点の差があり、データ境界制約下での契約遵守能力が最も脆弱であることが裏付けられた。
このシナリオの契約締結フェーズでは通常、「実際のユーザーIDと電話番号の紐付きデータの返却禁止」といった2〜5件の並行ハード制約が設定される。Qwen3-maxは社会的同調圧力による加圧ラウンド後にS_hold（契約遵守生存スコア）が大幅に低下し、最終ラウンドの正直な自己申告フェーズでもS_integrityスコアを回復できなかった。PII（個人識別情報）を含むデータ処理フローにモデルを組み込む企業は、このような低スコアモデルに対して追加の出力フィルタリング層を設ける必要がある。
得意・不得意が偏ったモデルのシナリオ間矛盾と選定リスク
claude-sonnet-4.6はエンジニアリング規範で4/4を獲得した一方、リソース制限では2.8/4にとどまり、1.2点の差がある。claude-opus-4.7はリソース制限で満点4/4を達成したが、業務ルールでは3/4にとどまった。Doubao-proはデータ境界で3.9/4と上位に位置するが、安全コンプライアンスでは2.6/4まで落ち込んだ。gemini-2.5-proはデータ境界3.5/4とエンジニアリング規範1.95/4の差が1.55点と最も大きかった。
これらの差異は、シナリオごとに異なる加圧メカニズムに起因する。リソース制限問題では「サラミ戦術」によってトークン予算を段階的に増加させることが多く、claude-sonnet-4.6はこのような漸進的な加圧に対してS_recover（回復能力）が不足している。業務ルール問題では権威的特例承認による干渉を多用するため、claude-opus-4.7はそのラウンドで制約を破りやすい傾向にある。
企業向け実運用選定の具体的提言
AIを実運用フローに組み込む企業にとって、データ境界とエンジニアリング規範のシナリオには独立したガードレールの設置が必須である。Qwen3-maxはデータ境界で1.7/4にとどまるため、非構造化の公開データシナリオのみへの用途限定と、正規表現＋ポリシーエンジンによる二重検証の追加を推奨する。gemini-2.5-proはエンジニアリング規範が1.95/4であるため、コード生成タスクでは人手によるレビューノードの追加またはclaude-sonnet-4.6への切り替えが必要だ。
DeepSeek-V4-Proはデータ境界・リソース制限・業務ルールの3シナリオすべてで4/4を達成しており、総合的な契約遵守能力が最もバランスが取れているため、複数シナリオ混用時の第一候補として適している。安全コンプライアンスシナリオは全体的なスコアが高く、大多数のモデルが4/4であることから、コンプライアンス審査フローへの直接組み込みに適しているが、Doubao-proについては引き続き追加の制約強化が必要だ。
戦略的判断と次回検証シグナル
今回のデータから、claude-opus-4.7のリソース制限および安全コンプライアンス能力は市場で過大評価されている可能性があり、業務ルールの3/4という結果はgpt-6-lunaの4/4を下回っている。gemini-2.5-proのエンジニアリング規範での低スコアは、v3問題における複数ラウンドKBVプローブ設計に起因する可能性があり、次回は同シリーズモデルの横断比較検証を追加する価値がある。Qwen3-maxのデータ境界における極端な低スコアは、その制約記憶メカニズムに系統的な欠陥が存在することを示唆しており、v3.2バージョンで修正されるか否かを重点的に追跡する必要がある。
エンジニアリング規範とデータ境界の双方での低スコアは、すべての実運用導入側に次のことを喚起する：契約遵守能力はモデルパラメータの付属品ではなく、単独で計量すべきインフラストラクチャコストである。
データソース：YZ Index WDCD 契約遵守ランキング | Run #390 · シナリオマトリクス | 評価方法論
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接