Winzheng Dynamic Contextual Decay(WDCD)ベンチマークは、マルチターン対話においてAIモデルがユーザーの指示をどれほど確実に遵守するかを測定するもので、100%ルールベースの採点方式を採用し、AIによる評価は一切行わない。Run #422(2026年11月11日)では、15モデルを対象に5つの実世界シナリオにまたがる30問のテストを実施し、ラウンド1からラウンド3にかけての平均コミットメント減衰率は-66.7%となった。
上位3位のランキング:
- Claude Sonnet 4.6 — 93.9点(減衰率:-100%)
- Gemini 3.1 Pro — 91.9点(減衰率:0%)
- GPT-6 Sol — 85.3点(減衰率:-100%)
Gemini 3.1 Proは今回のRunにおいて最も強い構造的耐性を示し、減衰率0%を記録した。これは、ラウンド3の最終制約整合性チェックを通じて、初期指示へのコミットメントが完全に維持されたことを意味する。Claude Sonnet 4.6は、追跡指標において-100%という減衰値を記録したものの、絶対スコアでは最高値を達成しており、ラウンド1における指示の確認応答とディストラクター処理が十分な得点をもたらし、フィールド全体をリードしたことを示している。GPT-6 Solは、Claude Sonnet 4.6と同様の減衰プロファイルを持ちながらも総合スコアは低く、3位に入賞した。
15モデル全体における減衰パターン:平均指示減衰率-66.7%という結果は、2,000〜5,000語の専門文書がラウンド2でディストラクターとして導入された場合、マルチターン・コミットメントが引き続きフロンティアモデルにとって最大の失敗要因であることを裏付けている。文書量の多い中間ターンを通じて制約への厳格な遵守を維持できるモデルは、今回のRunにおいて例外的な存在である。
方法論の概要:WCDDは各モデルに対して3つの連続ラウンドを実施する:
- R1 — 指示の確認応答
- R2 — 2,000〜5,000語の専門文書注入後のディストラクター耐性
- R3 — 最終制約整合性チェック
30問は5つのシナリオカテゴリに分散されている:data_boundary(データ境界)、resource_limit(リソース制限)、business_rule(ビジネスルール)、security(セキュリティ)、およびengineering(エンジニアリング)。すべての採点はルールベースかつ決定論的であり、評価モデルによるばらつきを排除している。
完全な方法論:https://www.winzheng.com/yz-index/methodology
構造化データAPI:https://www.winzheng.com/yz-index/api/v1/dcd
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接