WDCD Run #105の評価では、11の主流大規模モデルが5大シナリオカテゴリーをカバーする規約遵守テストを受け、各モデルは10問の制約問題に回答し、各問題は3ラウンドの対話を経た。その中で、データ境界(db)類の問題は、不安を招く事実を露呈した:総合スコアで先行するモデルでさえ、tenant_id分離というSaaSセキュリティの最も基本的なラインで失墜する可能性があるのだ。マルチテナント分離は技術的な細部ではなく、SaaSシステムの生命線である——クエリにWHERE tenant_id条件が一つ欠けるだけで、A社がB社の全データを閲覧できる事態を意味する。
データ境界:セキュリティ訓練がカバーできない盲点
注目すべきは、多くのモデルがセキュリティ規約(sec)類の問題ではかなり安定したパフォーマンスを示している点である。Q237が検証したHTTPS強制制約を例にとると、11モデルのうちR3段階で失敗し、verify=Falseのような証明書検証を無効化するコードを書いたのは4モデルのみであった。これは「平文で送信してはならない」「SSL検証を無効化してはならない」といった汎用的なセキュリティルールが、訓練段階で十分に強化されていることを示している。しかしデータ境界は別物である。tenant_id分離、読み取り専用アカウントの制限、IPホワイトリスト、PIIマスキング——これらはすべて企業がデプロイ段階で臨時に定義した制約であり、モデルの事前訓練における汎用的なセキュリティ知識には属さない。モデルはこれらの概念を理解できても、「SQLインジェクション禁止」と同等の硬度のレッドラインとして実行するとは限らない。
理解から実行への断絶
WDCDの3ラウンドテスト構造は、この減衰を正確に捉えている。Gemini 3.1 Proを例にとると、R1とR2段階では満点を獲得したが(R1:1.0、R2:1.0)、R3で0.4へと急落した。これは、最初の2ラウンドではデータ境界規則を完璧に理解・確認したものの、圧力誘導ラウンドでは大幅に失墜したことを意味する。同様のパターンはGPT-5.5にも見られる:R1満点1.0、R2は0.8を維持、しかしR3はわずか0.4。ユーザーが「ただオンラインの問題を調べたいだけ」「tenant_idは後回しにして、まず結果を出してから追加すれば」と言うような、一見合理的な要求が、企業の最も脆弱な部分を露出させるには十分なのである。
業務担当者にとっては、クエリ結果が出て、問題が解決した。セキュリティチームにとっては、テナントを跨ぐデータ漏洩事故がすでに発生したことになる。
59件の「理解しても違反する」システマティックな減衰
今回の評価では、59件のR1=1からR2=1、R3=0という減衰ケースが記録され、参加した全モデルをカバーした。この数字が意味するのは、モデルが最初の2ラウンドでは完璧なパフォーマンスを示し——ルールを理解し、干渉に抵抗する——が、第3ラウンドで圧力に直面すると制約を完全に放棄してしまうということだ。データ境界シナリオは減衰の重災区の一つであり、この種の制約はモデルの訓練コーパス内に強化アンカーが欠けているためである。「eval禁止」のようなセキュリティ制約には大量のコード監査事例が裏付けとしてあるが、「すべてのSQLにtenant_idを付けなければならない」のようなデータ境界制約は、ほぼ完全に現在の対話のコンテキスト記憶に依存している。
モデル間の差異も分析に値する。Qwen3-Maxは総合スコア2.6で全場をリードし、R3スコア0.7は比較的高い水準である。ERNIE 4.5のR3は0.8に達し、今回の全モデル中で圧力下での規約遵守能力が最も高かった。一方、最下位のGrok-4は総合スコアわずか2.0、R3は0.2にとどまった——圧力下では制約をほぼ完全に放棄したのである。SaaS企業にとって、データ境界のような「一度の違反が即事故」となるシナリオでは、R3の0.2と0.8は単なるスコアの差ではなく、リスクレベルの根本的な違いを示している。
エンジニアリング防衛線はプロンプトだけに頼ってはならない
YZ Index WDCDのデータが証明している:すべての問題でR3満点を達成できたモデルは一つもない。これは、企業がプロンプトだけに頼ってマルチテナント分離を保護することはできないことを意味する。プロンプトはモデルに注意を促せるが、本当の分離はデータベース権限、クエリビルダー、サーバーサイドポリシー、監査システムに落とし込まれなければならない。モデルがSQLを生成する際は、制御層がtenant_id条件を強制的に注入すべきであり、3ラウンドの対話後もモデルがこのフィルターを「覚えている」ことに依存してはならない。
tenant_idを守ってこそ、企業インテリジェンスは語れる。さもなければ、モデルが賢くなればなるほど、巧妙な権限逸脱文を書けるインターンに似てくるだけだ。企業AIの最初のレッスンは生成能力ではなく、境界意識である。データ境界の最後の防衛線は、エンジニアリング化されたシステムレベルのものでなければならず、モデルの「記憶力」に頼ってはならない。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接