WDCD v3.1パイロット評価において、ビジネスルールシナリオの最低スコアは1.3/4、安全コンプライアンスシナリオの最低スコアも同じく1.3/4となり、全シナリオ中で最も低い制約カテゴリとなった。これはリソース制限シナリオの最低スコア3/4を大きく下回っている。
ビジネスルールと安全コンプライアンスが最難シナリオとなった理由
ビジネスルールシナリオでは、Doubao Proがわずか1.3/4にとどまった一方、Claude Sonnet 4.6・GPT-5.5・GPT-6 Astra・GPT-6 Luna・GPT-6.1 Solの5モデルはいずれも満点4/4を獲得した。このシナリオはv3多ターン漸進的プレッシャーテストを採用しており、社会的証明(Social Proof)および「サラミ戦術」的な制約緩和テストを含む。Doubao Proは第3ラウンドのプレッシャー後に制約が崩壊し、KBV復唱プローブにおいても回復せず、S_holdスコアが大幅に低下した。
安全コンプライアンスシナリオでも同様に1.3/4の最低スコアが記録され、これはGPT-6.1 Solによるものだった。Claude Sonnet 4.6とGrok 4が並んで4/4を獲得し、Claude Opus 4.7・Zhipu GLM-4.6・GPT-5.5の3モデルは3.5/4だった。データ境界シナリオの最低スコアは1.7/4であり、トップのZhipu GLM-4.6でも3.7/4にとどまった。これはこのシナリオが全モデルに対してより高い初期制約維持能力を要求していることを示しているが、全体的な得点分布はより集中している。
識別力が最大のシナリオとモデルの偏り傾向の証拠
安全コンプライアンスシナリオの識別力が最大であり、最高4/4と最低1.3/4の差は2.7点。ビジネスルールシナリオも同様に2.7点差となった。リソース制限シナリオの識別力が最小で、4/4から3/4の差はわずか1点にとどまった。
得意・不得意の偏りは13モデルで顕著に見られた。GPT-6.1 Solはビジネスルールで4/4を獲得しながら、安全コンプライアンスでは1.3/4にとどまり、シナリオ間の差は2.7点。GPT-o3はリソース制限で4/4だが、安全コンプライアンスでは1.95/4にとどまり、差は2.05点。Doubao Proはリソース制限3.45/4に対してビジネスルールは1.3/4で、差は2.15点。Claude Opus 4.7はリソース制限で満点4/4を取りながら、エンジニアリング規範では2.4/4にとどまり、差は1.6点だった。
こうした差は、異なるプレッシャーラウンド数のメカニズムの違いに起因する可能性が最も高い。安全コンプライアンスシナリオにおける「権威による特別許可」および「サンクコスト」型のプレッシャーは、GPT-6.1 Solの制約記憶(S_kbv)をより徹底的に破壊した一方、Claude Sonnet 4.6は同一ラウンドでS_holdおよびS_recoverの完全なスコアを維持した。
企業の本番環境導入における具体的な選定指針
AIを本番フローに組み込む企業にとって、安全コンプライアンスシナリオではClaude Sonnet 4.6またはGrok 4を優先的に選択すべきであり、両モデルともに4/4を獲得し、制約崩壊後のS_integrity自己報告も比較的高い水準を維持している。リソース制限シナリオについては、Claude Opus 4.7・DeepSeek V4 Pro・GPT-6 Luna・GPT-o3の4モデルがすべて4/4であり、安心して使用できる。
データ境界シナリオではZhipu GLM-4.6に対して二次検証を行うことを推奨する。同モデルは3.7/4でトップだが、Qwen3 Maxがわずか1.7/4にとどまっており、差が大きすぎる。エンジニアリング規範シナリオではGemini 3.1 ProとZhipu GLM-4.6がともに4/4であり、コードレビューや規範チェックの第一選択として活用できるが、Claude Opus 4.7がこのシナリオで2.4/4にとどまっている点に注意が必要であり、単独での展開は避けるべきである。
ビジネスルールシナリオにおけるDoubao Proの1.3/4という結果は、企業のコアプロセスが複雑なビジネスルール制約に依存している場合、外部ルールエンジンによるガードレールを追加しなければ、3ラウンド連続のプレッシャー後に制約ドリフトが極めて起きやすいことを意味する。
戦略的判断:過大評価と過小評価された制約遵守能力
Claude Opus 4.7のリソース制限シナリオにおける満点は市場に過大評価されている可能性があり、エンジニアリング規範での実際のスコア2.4/4は、複数制約の並行処理シナリオにおける回復能力の不足を示している。GPT-6.1 Solのビジネスルールにおける満点と安全コンプライアンスにおける1.3/4は強烈なコントラストを形成しており、制約タイプへの特異性が強く、単一シナリオの評価結果を他のシナリオに外挿することはできないことを示している。
Zhipu GLM-4.6のデータ境界3.7/4とエンジニアリング規範4/4という二冠の成績は、次回の重点検証に値する。特にv3問題の8〜12ラウンド連続プレッシャー下でS_recoverスコアが安定しているかどうかが注目点である。Qwen3 Maxはデータ境界で最下位の1.7/4にとどまったが、エンジニアリング規範では3.4/4を獲得しており、制約維持能力にシナリオ依存性が顕著に存在することを示唆している。
次回のWDCDテストではシナリオをまたがる混合問題を追加し、現在偏りのあるモデルが5カテゴリの制約を並行処理する場合のS_holdの持続時間を観察することで、本番環境における実際の制約遵守パフォーマンスをより正確に反映すべきだとの見方がある。
安全コンプライアンスシナリオにおける2.7点の差は、もはやモデルのパラメータの問題ではなく、制約を設定した後、何ラウンド目から嘘をつき始めるかの違いに過ぎない。
データ出典:YZ Index WDCD 制約遵守ランキング | Run #434 · シナリオマトリクス | 評価方法論
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接