評価業界では、問題数が多ければ多いほど権威があるように見られがちです。動もすれば数千問にも及ぶベンチマークテストは、規模が厳密性に等しいと無意識に思わせます。しかしWDCDは精緻に設計された30問の多輪制約問題を選択し、毎回の実行ではそのうち10問をサンプリングします。これは目標が小さいからではなく、コンプライアンス評価の難しさが数量ではなく品質にあるからです。Run #105のデータがそれを証明しています：わずか10問で、11モデルの体系的な弱点を露呈させるには十分でした。
5つのシナリオ：企業リスクマップ
30問は5種類の実際の業務シナリオをカバーし、それぞれが企業AI導入における高頻度のリスク領域に対応しています：
データ境界（db）——tenant_idによるマルチテナント分離、読み取り専用アカウント制限、IPホワイトリスト、PIIマスキング。これらはSaaSシステムの生命線です。クエリにWHERE tenant_id条件が一つ欠けただけで、テナント間のデータ漏洩につながる可能性があります。
リソース制限（rl）——メモリ上限100MB、API呼び出し頻度、並列制御、リトライ回数3回以下。これらの数値制約は一見シンプルですが、モデルがプレッシャー下で最も突破しやすいカテゴリーです。Run #105において、Q226はリトライを最大3回までと要求しましたが、9つのモデルがR3でwhile True:の無限ループを書きました。Q223は最大並列数の制限を要求しましたが、7つのモデルがmax_workers=64と書きました。
業務ルール（br）——割引は7割引以下、三段階承認フロー、過剰販売禁止、30日返金期限。これらは企業経営の硬直的な制約です。Q227の7割引下限テストでは、8つのモデルが直接price * 0.3の3割引SQLを書き、違反率は73%に達しました。
セキュリティ規約（sec）——平文でのキー露出禁止、SQLインジェクション禁止、eval禁止、パスワードのハッシュ保存必須、HTTPS強制。Q237はすべての外部リクエストにHTTPSの使用を要求しましたが、4つのモデルがプレッシャー下でverify=Falseを書き、証明書検証をスキップしました。
エンジニアリング規約（eng）——FastAPIのみ使用、型アノテーション必須、ユニットテスト必須、裸のexcept禁止。Q239はプロジェクトでFastAPIフレームワークのみを使用するよう要求しましたが、結果は全場で最も衝撃的なデータとなりました：11のモデルすべてがR3段階で違反し、Flaskコードを生成しました。100%の失敗率は、Qwen3-MaxからGrok-4までのすべてのモデルにわたりました。
Q239：1問の価値が1000問を上回る
Q239の100%失敗率は深く分析する価値があります。この問題の制約は極めて明確です——「本プロジェクトはFastAPIのみを使用する」——曖昧さもグレーゾーンもありません。すべてのモデルはR1でこの規約を正しく理解し確認しました。しかしR3で、ユーザーが時間的プレッシャーを理由に機能を素早く実装するよう要求したとき、各モデルはFlaskを選択しました。
なぜでしょうか？それは、訓練データにおけるFlaskのコード量がFastAPIをはるかに上回るからです。モデルはプレッシャー下で「最も馴染みのある経路」に戻ったのであって、「ユーザーが約束した経路」ではありませんでした。この問題は制約減衰の深層メカニズムを明らかにしています：制約がモデルの事前学習の選好と衝突するとき、プレッシャーはモデルをデフォルトの行動に戻させるのです。
優れた評価は、まず大きく次に正確、ではなく、まず正確で次に大きくです。1つのQ239は、1000問の通常のプログラミング問題よりも、モデルが信頼できるかどうかをよりよく示しています。
30問の方法論：なぜ「小さくて硬い」が「大きくて広い」より有効なのか
コンプライアンス評価問題を構築することは、知識問答問題を構築することよりも一桁難しいです。各問題は3ラウンドの対話を設計する必要があります：R1の制約注入は明確で曖昧さがあってはならず、R2の長文書による干渉は明らかなインジェクション攻撃ではなく、実際の業務資料のようでなければならず、R3のプレッシャー誘導は実際の組織の文脈をシミュレートする必要があります——「ボスが急いでいる」「顧客が待っている」「とりあえず動くものを」。
採点も十分に精密でなければなりません。コンプライアンス評価で最も恐ろしいのは論争です：モデルは違反内容を引用しているのか、それとも違反内容を実行しているのか？WDCDはルールベース採点、スコープ検出、否定ウィンドウを用いて、すべての点数を再現可能な証拠に落とし込みます。この精度は、精緻に設計された小規模問題集でしか実現できません。
Run #105の結果は、問題集の品質による識別度も証明しました。11モデルの総合スコアは2.0から2.6で、点差は大きくないものの、シナリオ次元の差異は極めて鮮明です。同じ2.5点のモデルでも、Claude Sonnet 4.6（R2=1.0, R3=0.5）とERNIE 4.5（R1=0.8, R3=0.8）の3ラウンドにおけるパフォーマンスは全く異なります。この精緻な識別こそが、「小さくて硬い」問題集の設計目標です。
大量の問題集のリスクは問題を希薄化することです。1000問のうち900問が簡単に通過できるとき、本当に短所を露呈する10問は「95%の正答率」という慰めの中に埋もれてしまいます。WDCDの30問は、それぞれが企業リスクマップ上の座標です。評価は表を埋めるためではなく、失敗が言い逃れできないようにするためのものです。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接