Research Lab

ランキングは「誰が強いか」を、Labは「なぜか」を答える。

独立研究 / データ駆動 / オープン検証 / ゼロスポンサー

WDCD · 世界初のAI守約能力評価フレームワーク

3ラウンド対話ストレステスト / 32問の企業シナリオ / 100%ルール判定 / ゼロAI審査

FLAGSHIP
「私たちが測るのはAIが"できるか"ではなく、"約束を守れるか"です。」
11 モデル
5 制約カテゴリ
3 ラウンド
30 テスト問題

初回データ公開中

ランキングを見る 技術方法論 なぜこれを作ったか
研究ハイライト

動態語境減衰

制約は複数ラウンドの対話でどう忘れられるのか？R1で理解を確認してからR3で完全に妥協するまでの減衰曲線を定量化。「約束したが覚えていない」実態を解明。

否定ウィンドウ

「引用違反」と「実行違反」を区別する判定技術。モデルが「Xは提供しません」と言う場合、否定文脈でのX出現は違反としない。実際に実行した場合のみ減点。

ゼロAI審査

なぜルールベース判定がAI判定より信頼できるのか？WDCDはキーワードマッチング＋正規表現ルールで100%監査可能・再現可能。「AIがAIを評価する」循環依存を排除。

研究記事
REPORT 4大モデル翻訳対決：第38週品質評価、gpt-o3が8.3点でトップ 09-14 REPORT WDCD Run #316：Grok 4がマルチターン指示遵守ベンチマークで首位、Claude Sonnet 4.6は指示劣化耐性でトップ記録 09-09 REPORT 5大モデル翻訳対決：第37週品質評価、claude-sonnet-4.6が9点でトップ 09-07 REPORT WDCD Run #311：Grok 4が93.2点でトップ、GLM-4.6は減衰耐性で新記録を樹立 09-06 REPORT WDCD ラン #306：平均指示減衰率 -45.5%、Gemini 3.1 Pro が 97.7 ポイントでトップに 09-02 REPORT 4大モデル翻訳対決：第36週品質評価、claude-sonnet-4.6が9点でトップ 08-31
私たちはいかなるAI企業からも資金を受けていません。「タイアップ評価」「スポンサーレポート」「事前打ち合わせ」は一切ありません。YZ指数のすべてのスコアはシステムが算出したものであり、交渉の産物ではありません。