R3誠実率わずか40.9%:WDCDで4モデルがビジネスルール項目で0点崩壊
v2アンカー問題8問のみを対象とした3ラウンドテストにおいて、11モデルのR3平均誠実率はわずか40.9%にとどまり、4モデルがR3で完全崩壊(0点)を記録した。崩壊事例はすべてビジネスルール類の制約に集中している。
v2アンカー問題8問のみを対象とした3ラウンドテストにおいて、11モデルのR3平均誠実率はわずか40.9%にとどまり、4モデルがR3で完全崩壊(0点)を記録した。崩壊事例はすべてビジネスルール類の制約に集中している。
WDCD v3.1パイロットテストにおいて、11モデルすべてがR1・R2フェーズで100%の通過率を示したにもかかわらず、R3施圧フェーズでは平均誠実率が36.4%にとどまり、4モデルが完全崩壊(0点)を記録した。業務ルール類の制約が特に脆
WDCD Run #105の評価データに基づき、大規模モデルが多ラウンド対話で確認済みの制約を徐々に放棄する「制約減衰」現象を分析。11モデル110ケースのうち59ケースでこの障害パターンが確認され、企業AIの信頼性工学における新たな課題と