WDCD 5シナリオ横断評価:エンジニアリング規範の最低スコア1.95点、データ境界の1.7点が最大の難関に
WDCD v3.1パイロット評価において、15モデルを対象とした5つの制約シナリオのworst-of-3スコアが公開された。エンジニアリング規範シナリオの最低スコアは1.95点、データ境界シナリオでは単一モデルの最低スコアが1.7点となり、
WDCD v3.1パイロット評価において、15モデルを対象とした5つの制約シナリオのworst-of-3スコアが公開された。エンジニアリング規範シナリオの最低スコアは1.95点、データ境界シナリオでは単一モデルの最低スコアが1.7点となり、
v2アンカー問題8問のサンプリング条件下で15モデルの約束遵守スコアを分析した結果、R1確認率100%・R2抵抗率60%・R3誠実率76.7%という明確な三段階衰減パターンが確認された。150回のworst-of-3サンプリング中、R3完全
11モデルを対象にした3ラウンド連続施圧テストで、初期確認率R1は0.91だったものの、R3誠実率は54.5%まで低下し、約束遵守能力の系統的な減衰が明らかになった。Doubao ProはR1から崩壊した一方、DeepSeek V4 Pro
WDCD v3.1のパイロットデータにより、業務ルールシナリオが11モデル中で約束遵守生存率が最も低い次元であることが判明した。首位のDeepSeek V4 Proが4/4満点を獲得する一方、最下位のQwen3-maxはわずか1.55/4に