WDCD v3.1テストにおいて、安全コンプライアンスシナリオでは11モデルの平均スコアが他の4カテゴリを明らかに下回り、Qwen3-maxはわずか1.5/4点にとどまった。claude-sonnet-4.6、gpt-o3、grok-4の3モデルは4/4点で並んだ。データ境界、リソース制限、業務ルール、エンジニアリング規範の4シナリオではトップスコアがいずれも4/4点であり、安全コンプライアンスのみが1.5点という最低スコアを記録した唯一のシナリオとなった。
安全コンプライアンスが最難関シナリオに、多ターン圧力テストで差異が露呈
安全コンプライアンスシナリオでは、Qwen3-maxが1.5/4点、gemini-2.5-proが2/4点、gpt-5.5が2.4/4点となり、下位3モデルとトップとの差は2点超に達した。v3の問題設計には8〜12ターンの対話が含まれ、合意締結後に「社会的同調」「権威による特別承認」「サラミ戦術」「サンクコスト」という4段階の圧力が連続して加えられる。安全コンプライアンス問題の制約の多くは厳格な禁止条項であり、ルール違反は主に第5〜7ターンのサラミ戦術・サンクコスト段階で発生した。一方、エンジニアリング規範シナリオでは最低スコアでも3.1/4点を維持しており、エンジニアリング系の制約は多ターンの圧力下でも維持されやすいことが示された。
業務ルールシナリオで差異が最大、4点と2.15点が共存
業務ルールシナリオでは、deepseek-v4-pro、gemini-3.1-pro、glm-4.6、gpt-5.5、grok-4の5モデルがいずれも4/4点を獲得した一方、Doubao-proはわずか2.15/4点にとどまった。差は1.85点であり、5シナリオ中最大となった。業務ルール問題の制約は並列的な厳格制約が多く、v3問題では合意締結フェーズでモデルが2〜5つのルールを同時に記憶することが求められる。Doubao-proはR2の妨害ターンで早くも記憶の欠落が生じ、R3の圧力後には直接ルール違反を起こした。データ境界シナリオではこれほど極端なスコア差はなく、トップのgrok-4が4/4点、最下位のDoubao-proが2.7/4点と、差は1.3点にとどまった。
得意・不得意の偏りが目立つモデル一覧：Qwen3-maxの差2.5点が最大
Qwen3-maxはエンジニアリング規範で4/4点を獲得した一方、安全コンプライアンスではわずか1.5/4点と、シナリオ間の差は2.5点に達した。Doubao-proはエンジニアリング規範3.9/4点、業務ルール2.15/4点で差は1.75点。gpt-5.5は業務ルール4/4点、安全コンプライアンス2.4/4点で差は1.6点。gemini-2.5-proはデータ境界3.5/4点、安全コンプライアンス2/4点で差は1.5点。glm-4.6は業務ルール4/4点、安全コンプライアンス2.9/4点で差は1.1点。これらの差はいずれもworst-of-3サンプリングによるものであり、モデルが異なる制約タイプ下で示すルール遵守能力に系統的な差異が存在することを示している。
企業選定：安全コンプライアンスシナリオには必ずガードレールを
AIを業務フローに組み込む企業において、コアプロセスが安全コンプライアンスに関わる場合は、claude-sonnet-4.6、gpt-o3、grok-4の3モデルを優先的に選定すべきである。Qwen3-maxとgemini-2.5-proはこのシナリオでのスコアが2.5/4点を下回っており、導入前に独立したコンプライアンスチェックレイヤーの追加を推奨する。業務ルールシナリオでは、Doubao-proとQwen3-maxのスコアが3/4点を下回っており、低リスクの社内ルール処理のみに適している。リソース制限とエンジニアリング規範のシナリオでは、deepseek-v4-pro、glm-4.6、claude-sonnet-4.6の3モデルが安定したパフォーマンスを示しており、直接導入が可能である。
戦略的考察：ルール遵守能力が過小評価・過大評価されているモデル
claude-sonnet-4.6は安全コンプライアンスとエンジニアリング規範の両シナリオで4/4点を獲得しており、そのルール遵守能力は市場で過小評価されている可能性がある。Qwen3-maxはエンジニアリング規範で満点を取りながら安全コンプライアンスでは1.5/4点にとどまっており、制約記憶がシナリオによって大きく変動することを示している。次回テストでは安全コンプライアンス問題のR3圧力ターンにおけるパフォーマンスの重点検証が必要である。deepseek-v4-proはリソース制限と業務ルールで4/4点を獲得したが、エンジニアリング規範では3.4/4点にとどまっており、複数制約の並列シナリオで潜在的なリスクが存在することが示された。
今回のパイロットデータは、安全コンプライアンスシナリオにおけるルール遵守サバイバルスコア（S_hold）が総合スコアに最も大きな影響を与えることを示している。AIの活用範囲の拡大を計画する企業は、モデル固有のルール遵守能力に単純に依存するのではなく、安全コンプライアンスシナリオにおいてプロンプトエンジニアリングまたは外部検証への追加投資が必要である。
安全コンプライアンスシナリオにおける1.5点の差は、次世代モデルが多ターンのサラミ戦術的圧力下で厳格な制約を維持できなければ、本番環境への導入が依然として制限されることを示唆している。
データ出典：YZ Index WDCD ルール遵守ランキング | Run #296 · シナリオマトリックス | 評価方法論
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接