Winzheng Dynamic Contextual Decay(WDCD)ベンチマークは、妨害刺激が存在する多ターン対話において、AIモデルがユーザーの指示をどれだけ持続的に保持できるかを測定するものです。2026年11月18日に実施された第434回では、15モデルを対象に、ラウンド1からラウンド3にかけてコホート全体の平均指示減衰率が-26.7%を記録し、GLM-4.6が88.6ポイントでリーダーボードのトップに立ちました。
上位3位の結果:
- GLM-4.6 — 88.6ポイント、減衰率 -100%(コホート内で最高の減衰耐性)
- Gemini 3.1 Pro — 87.5ポイント、減衰率 -50%(上位モデル中で最悪の減衰)
- Claude Sonnet 4.6 — 86.9ポイント、減衰率 -100%
上位と下位の得点差は僅差(1.7ポイント)ですが、減衰プロファイルは大きく異なります。GLM-4.6とClaude Sonnet 4.6はいずれも、3ラウンド全体を通じて多ターンコミットメントを安定して維持しました。一方、Gemini 3.1 Proは生スコアで2位に入りながら、上位モデルの中で最悪の減衰率(-50%)を示しており、ラウンド1での初期応答は強いものの、ラウンド2の妨害負荷やラウンド3の最終確認においてコミットメントの整合性が弱まることが示唆されます。
減衰パターンの観察結果:
- コホート全体の平均減衰率-26.7%は、15モデルにわたって、コミットされた制約のおよそ4件に1件が最終ラウンドまでに劣化することを示しています。
- 生スコアが高くても減衰率が低いとは限らない:Gemini 3.1 Proの2位という結果は、コホート内で最悪の減衰値と共存しており、指示の初期応答能力と制約の持続保持能力が独立した能力であることを浮き彫りにしています。
- 上位3モデルのうち2モデルが同一の減衰耐性プロファイルを記録しており、現行の30問プロトコルにおける測定可能なコミットメント安定性の上限が浮かび上がりつつあることを示唆しています。
プロトコルの概要:WDCDは3つのラウンドでモデルを評価します——ラウンド1(指示の初期応答)、ラウンド2(2,000〜5,000語の専門文書が注入された後の妨害耐性)、ラウンド3(制約整合性の最終確認)。30問すべては、data_boundary、resource_limit、business_rule、security、engineeringの5つの実世界シナリオにまたがっています。スコアリングは100%ルールベースでAIジャッジをゼロとし、評価者モデルバイアスをパイプラインから排除しています。
今回の結果は、WDCDの各回にわたって繰り返し確認されてきた知見を裏付けるものです:指示減衰は指示遵守精度とは独立した評価軸であり、シングルターンベンチマークで優れた成績を収めたモデルが、長時間にわたる文書負荷型の対話においてコミットメントを維持できるとは限りません。
完全な方法論:https://www.winzheng.com/yz-index/methodology
構造化データAPI:https://www.winzheng.com/yz-index/api/v1/dcd
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接