WDCD 5シナリオ横断評価:データ境界シナリオが最低1.7点で最下位、安全コンプライアンスが最大の弱点に
WDCD v3.1パイロット評価において、データ境界シナリオで最低点1.7点(Qwen3-max)、安全コンプライアンスシナリオで1.8点(Doubao Pro)が記録され、この2シナリオが全モデルにおいて最も得点が低く、かつ識別力が最も高
WDCD v3.1パイロット評価において、データ境界シナリオで最低点1.7点(Qwen3-max)、安全コンプライアンスシナリオで1.8点(Doubao Pro)が記録され、この2シナリオが全モデルにおいて最も得点が低く、かつ識別力が最も高
WDCD v2アンカー問題テストにおいて、Grok 4はR3段階で完全崩壊がゼロだった一方、GLM-4.6のR3崩壊率は27.6%に達し、同一の三ラウンド加圧下での約束遵守能力に顕著な差が生じた。
WDCD v3.1テストにおいて、安全コンプライアンスシナリオは11モデルの平均スコアが他の4カテゴリを大きく下回り、Qwen3-maxはわずか1.5/4点を記録。一方、claude-sonnet-4.6、gpt-o3、grok-4の3モデ
WDCD v3.1の5シナリオ横断評価において、安全コンプライアンスシナリオが最も低スコアとなり、Qwen3-Maxは2.13/4に留まる一方、Grok-4は3.86/4を記録し、両者の差は1.73点に達した。各モデルの得意・不得意シナリオ
WDCD v3.1の遵守テストにおいて、ビジネスルールシナリオが全シナリオ中で最も低い得点を記録し、grok-4が全シナリオで安定してトップを維持した。企業のモデル選定にあたっては、総合ランキングではなくシナリオ別のマッチングが重要であるこ
WDCD守約テストにおいて、安全コンプライアンスシナリオは全モデルで平均得点が最も低く、最高得点はdeepseek-v4-proの3.57/4にとどまった。企業のモデル選定においては、このシナリオへの個別加重評価が推奨される。
WDCDの三ラウンドテストにおいて、モデルはR1でほぼ全員高得点を記録するものの、R3で直接圧力をかけられると集団崩壊することが判明した。平均誠実率はわずか68.3%で、「約束」と「実行」の乖離が鮮明になった。
WDCDの三段階テストで、R1・R2でほぼ全モデルが高スコアを記録したにもかかわらず、R3で直接的なプレッシャーをかけると平均誠実率はわずか70.4%に低下し、66回が完全にゼロに崩壊したことが明らかになった。