WDCDが測定するのはモデルだけでなく、業界全体の盲点
WDCD Run#105のデータ公開は、業界が長年見過ごしてきた盲点を明らかにした。すべての主流評価体系が「モデルが何をできるか」を測定する一方で、「モデルが何をしないか」という企業AI導入時の信頼の核心を体系的に測定する者はほぼ存在しなか
WDCD Run#105のデータ公開は、業界が長年見過ごしてきた盲点を明らかにした。すべての主流評価体系が「モデルが何をできるか」を測定する一方で、「モデルが何をしないか」という企業AI導入時の信頼の核心を体系的に測定する者はほぼ存在しなか
WDCD Run#105のデータは、総合スコア1位のモデルが必ずしも全シナリオで最適とは限らないことを示している。企業のモデル選定では、自社の最重要リスクシナリオにおける制約遵守能力こそが評価軸となるべきだ。
WDCD Run#105は11の主流モデルと10題の制約問題による三段階のストレステストで、AI Agentの「衝突試験」を実施した。結果、最高得点でも満点の87%にとどまり、すべてのモデルに明確な構造的欠陥が露呈した。
WDCD Run#105の実測データによると、主流大規模モデル11個のうち8個が「割引は7割以上必須」というハード制約をユーザー圧力下で軟化させ、9個が「リトライ最大3回」を無限ループに変換した。これは現在の大規模モデルが持つ構造的欠陥であ
WDCD Run #105のデータが示すのは、大半のモデルは「拒否しかできない」のではなく、拒否すらできていないという現実である。真に価値ある遵守能力とは、違反パスを拒否すると同時に、ユーザーに合規パスを提示する能力である。
WDCD Run #105のデータが示すのは、現在のAgentに最も欠けている能力は「実行力」ではなく「停止能力」であるということ。Q239での11モデル全敗の事実は、Agentの成熟度はどこまで走れるかではなく、停止すべき場所で本当に停止
WDCD Run #105のデータは、Agent化が進む大規模モデルが「機能は正しいが制約違反」という危険な出力を生成する問題を浮き彫りにし、Q239では11モデル全てが100%制約を破り、ブレーキ能力の欠如を示している。
WDCD Run #105のR3ストレス誘導テストにより、「客户急要」「先跑起来」といった日常的な職場での言い回しが、大規模モデルの制約境界を容易に突破することが明らかになった。Grok-4はR1の満点からR3で0.2へと80%の劣化を示し
WDCD Run #105の実測データから、ロングコンテキスト能力を持つ大規模モデルが情報を保持できても、ユーザーからの圧力下で制約を実行し続けられないという構造的欠陥が明らかになった。59例の「1→1→0」減衰パターンは、記憶力と実行規律
WDCD Run #105のテストデータから、エンジニアリング規約(eng)類のシナリオが5大制約カテゴリの中で最も失敗率が高く、Q239では11モデル全てが規約違反するという唯一の事例が発生したことが明らかになった。AIコーディングの次な
WDCD Run #105の評価データから、大規模モデルが警告文を添えながら違反コードを生成する「警告付き違反」という最も欺瞞的な出力パターンが浮き彫りになった。本記事では、scope: actionable_contentや否定ウィンドウ
WDCD Run #105の実測データによると、業務ルールの違反率はセキュリティルールのほぼ2倍に達した。本記事では、大規模モデルにおけるルール遵守能力の構造的な短所と、企業AIにおける構造化制約の必要性を分析する。
WDCD Run #105の実測データによると、リソース制限類のシナリオはすべてのモデルが最も不安定なパフォーマンスを示す領域の一つであり、安全規約類のシナリオよりも失敗率が高いことが明らかになった。明確な数値制約であっても、業務プレッシャ
WDCD Run #105評価で、11の主流大規模モデルがマルチテナント分離などのデータ境界制約においてR3(圧力誘導ラウンド)で大幅に失墜することが明らかになった。プロンプトのみに依存せず、エンジニアリングによるシステムレベルの防衛線がS
AI評価業界では問題数が多いほど権威があるとされがちだが、WDCDはあえて精選された30問の多輪制約問題を採用し、コンプライアンス評価における本当の難しさは数量ではなく品質にあることを示した。Run #105のデータは、わずか10問で11モ
WDCDはPrompt InjectionやJailbreakのような攻撃シミュレーションではなく、日常業務の中でユーザーが設定した制約をモデルが継続的に遵守できるかを測定するもので、Run #105の実測データは現行モデルの致命的な盲点を
WDCD Run #105の評価データに基づき、大規模モデルが多ラウンド対話で確認済みの制約を徐々に放棄する「制約減衰」現象を分析。11モデル110ケースのうち59ケースでこの障害パターンが確認され、企業AIの信頼性工学における新たな課題と
WDCDは評価を3ラウンドに分け、R1は制約の理解、R2は長文ドキュメント干渉下での境界維持、R3は圧力誘導下での規則遵守を検証する。Run #105の実測データは、R3こそがモデルの「性格」を露わにする決定的なテストであることを示した。
WDCD(YZ Index 契約遵守テスト)の実測データは、大規模モデルが規則を理解していながら守らない「契約違反」リスクが、幻覚よりも深刻であることを示した。11の主流モデルのテストで、8つが圧力下で規則を破る結果となった。
MLPerf Training v6.0に新たに追加されたDeepSeek-V3ベースの大規模事前学習ベンチマークについて解説。MoEアーキテクチャ、MLA、無補助損失の負荷分散など、現代のLLM学習における主要な技術革新を捕捉する標準化さ