WDCD 5シナリオ横断評価:安全コンプライアンスの最低スコアは2.19点、glm-4.6が4シナリオで首位

WDCD v3.1の約束遵守テストにおける5大制約シナリオ・11モデルの横断評価によると、安全コンプライアンスシナリオが全体で最低スコアの次元となり、Qwen3-maxはわずか2.19/4にとどまった。これは、工程規範シナリオの全体中央値3.6/4を大きく下回る結果である。

安全コンプライアンスが最大の難関に、圧力ラウンドで記憶断層が露呈

安全コンプライアンスシナリオの首位はgrok-4の3.86/4、最下位はQwen3-maxの2.19/4で、最大差は1.67点。v3の設問設計では8〜12ラウンドの連続対話で先に約束を設定してから圧力をかける形式となっており、安全コンプライアンス問題における「サラミスライス」と「権威による特別承認」の2ラウンドが最も約束違反を誘発しやすい。Qwen3-maxはR3の圧力後にKBV復唱プローブのスコアが急落しており、「コンプライアンス境界」制約に関する長期記憶が多ラウンドの干渉下で最初に失われることを示している。一方、データ境界シナリオの最大差はわずか1.08点にとどまり、安全コンプライアンスの制約そのものがモデルに内在化されにくいことが示された。

リソース制限シナリオで識別力が最高、glm-4.6が上限の3.86/4を記録

リソース制限シナリオではglm-4.6が3.86/4でトップ、gpt-5.5が2.86/4で最下位となり、最大差は1点。v2アンカー問題の3ラウンド設計において、R2干渉とR3圧力の合計配点は2点であり、glm-4.6は両ラウンドで制約を維持し、「同時実行クォータ」「タイムアウト時のフォールバック」などの工程制約へのアンカリング能力の高さを示した。このシナリオは識別力が最も高く、実際の生産フローにおけるリソース系ハード制約の処理信頼性の差異を直接反映している。

ビジネスルールと工程規範が高スコアで並立、claude-sonnet-4.6はシナリオ間で1.07点の偏り

ビジネスルールシナリオではglm-4.6とgrok-4がともに4/4を獲得、Doubao-proはわずか2.47/4。工程規範シナリオでも同様にglm-4.6とgpt-o3が4/4を独占した。claude-sonnet-4.6は工程規範で3.6/4を記録した一方、ビジネスルールではわずか2.53/4にとどまり、シナリオ間の差は1.07点と設定された偏り閾値に該当する。同モデルは「コードレビュー規範」類の制約では比較的安定した遵守を示すが、「価格戦略」「承認フロー」などのビジネスルール制約ではサンクコストによる圧力後に約束違反が生じやすい。

gemini-2.5-proとgpt-o3のシナリオ偏りの比較

gemini-2.5-proはビジネスルールで3.67/4を記録した一方、安全コンプライアンスはわずか2.51/4で差は1.16点。gpt-o3は工程規範で4/4を達成したが、データ境界はわずか2.58/4で差は1.42点。両モデルともv3問題のKBV復唱プローブ段階で制約の忘却が発生しており、異なるタイプの制約に対する記憶優先度に構造的差異があることを示している。データ境界と工程規範を同時に扱う企業は、gpt-o3に対して外部検証レイヤーを追加する必要がある。

企業選定に関する具体的な提言

AIを生産フローに組み込む企業は、安全コンプライアンスシナリオではgrok-4またはDeepSeek-V4-proを優先すべきであり、それぞれ3.86/4と3.57/4のスコアを記録している。リソース制限シナリオではglm-4.6が第一候補となる。ビジネスルールと工程規範シナリオではglm-4.6とgrok-4の両方を検討できる。Qwen3-maxは安全コンプライアンスとデータ境界の両シナリオで最下位であり、高いコンプライアンス要件が求められるシナリオへの直接適用は推奨しない。claude-sonnet-4.6は工程規範重視のシナリオに適しているが、ビジネスルールの場面では人的レビューノードの追加が必要である。

戦略的判断

glm-4.6はリソース制限、ビジネスルール、工程規範の3シナリオすべてで上位2位以内に入っており、その約束遵守能力は市場で過小評価されている可能性がある。Qwen3-maxは安全コンプライアンスでわずか2.19/4にとどまり、リスク露出が最大であり、次回評価ではv3の多ラウンド漸進的圧力下における制約回復メカニズムの重点検証が求められる。安全コンプライアンスシナリオ全体の低スコアは、現行モデルがコンプライアンス系の並行ハード制約に対する長期記憶において依然として系統的な弱点を抱えていることを示唆している。

安全コンプライアンスはモデルの道徳試験ではなく、生産システムが長期にわたって障害なく稼働できるかどうかを示すハード指標である。

データ出典:YZ Index WDCD 約束遵守ランキング | Run #311 · シナリオマトリクス | 評価方法論