データ境界が最難関シナリオに——Doubao 1.55点でClaude 4点に惨敗

WDCD v3.1の5大制約シナリオ横断評価において、データ境界シナリオは全体で最も得点が低く、Doubao-proがわずか1.55/4点に留まった一方、Claude Sonnet 4.6、Gemini 3.1 Pro、GLM-4.6はいずれも4/4点の満点を獲得し、その差は2.45点にまで開いた。

データ境界が全シナリオ中最難関となった理由

データ境界シナリオでは、15モデルの得点分布が最も分散しており、上位3モデルはすべて満点、下位3モデルは2.2点以下に沈んだ。Doubao-pro 1.55/4点、GPT-6.1-sol 2.05/4点、DeepSeek V4-pro 2.2/4点という結果は、このシナリオが並列的なハード制約の継続的な記憶保持に対して最も高い要求を課すことを示している。v3の問題設計では、中立的な制約設定フェーズから複数のデータ境界ルールが注入され、連続する圧力ラウンドでは社会的証明や「サラミ・スライシング」戦略が用いられる。KBV(制約復元検証)プローブは、モデルが元の制約を正確に復唱できるかを直接検証する。得点が最も低いモデルは、第4〜6ラウンドですでに制約のドリフトが発生していた可能性が高い。

エンジニアリング規範とリソース制限が最も高い識別力を示す

エンジニアリング規範シナリオでは、GPT-6-solが4/4点で首位を獲得した一方、最下位のClaude Opus 4.7はわずか2.3/4点にとどまり、その差は1.7点に達した。リソース制限シナリオではDoubao-proが単独で4/4点の満点を獲得し、GPT-6-astraが2.4/4点で最下位となった。これら2シナリオの得点分散は、安全コンプライアンス(最高4/4点、最低2.65/4点)より明らかに大きい。これは、エンジニアリング規範とリソース制限における圧力のかけ方が、サンクコストや権威による特別承認に対するモデルの防御崩壊の傾向をより露わにしやすいことを示している。一方、安全コンプライアンスは事前学習での整合が進んでいるため、全体的な得点の中央値が高い。

特定分野偏重モデルの実際のリスクプロファイル

Doubao-proはリソース制限シナリオで満点4/4点を獲得した一方、データ境界シナリオではわずか1.55/4点にとどまり、シナリオ間の差は2.45点に達した。これは、制約記憶能力がシナリオの種類に強く依存していることを露呈している。Claude Opus 4.7は安全コンプライアンスで4/4点を獲得したが、エンジニアリング規範ではわずか2.3/4点にとどまり、1.7点の差がつき、業務ルールとエンジニアリング規範における連続的な圧力への回復能力の弱さを示している。GPT-6-astraは安全コンプライアンスで満点を獲得したが、リソース制限ではわずか2.4/4点にとどまり、1.6点の差がついた。データ境界とリソース制限の両制約を扱う企業にとって、単一モデルの分野偏重は生産プロセスの中断に直結するリスクがある。

生産プロセス統合における選定への示唆

AIをデータパイプラインに統合する企業は、データ境界スコアが4/4点のClaude Sonnet 4.6またはGemini 3.1 Proを優先的に選択し、統合レイヤーにKBVの二次検証を追加すべきである。リソース制限シナリオではDoubao-proが候補となるが、データ境界シナリオでは別モデルを並行展開して補完する構成が必須となる。エンジニアリング規範シナリオではGPT-6-solが安定したパフォーマンスを示しており、コードレビューやプロセスオーケストレーションの第一候補となり得るが、データ境界スコアが2.6/4点にとどまる弱点には注意が必要である。安全コンプライアンスシナリオでは大多数のモデルが3.5点以上を達成しており、相対的に低リスクな導入入口として活用できる。

戦略的判断と次期検証シグナル

Claudeシリーズがデータ境界と安全コンプライアンスで示す高いパフォーマンスは、複数の並列ハード制約に対する記憶メカニズムの安定性に起因する可能性があり、一方エンジニアリング規範での低得点は「段階的圧力増加」型の攻撃への回復経路の弱さを反映しているのかもしれない。Doubao-proがリソース制限で満点を獲得しながらデータ境界で最下位に沈む極端な対比は、次期v3.1の問題プールにより多くの混合シナリオ問題を追加して、これが系統的な欠陥かどうかを検証する価値がある。GPT-6-solのエンジニアリング規範4/4点対データ境界2.6/4点という対比は、内部ツールチェーンには適しているが、ユーザー向けデータ処理フローには向かない可能性を示唆している。

データ境界シナリオでの低得点は偶然ではなく、v3の問題における制約設定後の連続圧力によって最も突き破られやすい制約タイプである。

企業の選定においては、単一モデルで5大シナリオすべてをカバーする期待はもはや現実的ではない。シナリオ別の分割展開を推奨し、識別力が高いデータ境界とエンジニアリング規範の2シナリオには人的レビューのチェックポイントを設けることが望ましい。次期WDCDがworst-of-3サンプリングを継続すれば、特定分野偏重モデルの実際のリスクはさらに顕在化するだろう。


データソース:YZ Index WDCD 制約遵守ランキング | Run #400 · シナリオマトリクス | 評価方法論