Winzheng Dynamic Contextual Decay(WDCD)ベンチマークは、AIモデルがマルチターン対話においてユーザーの指示をどの程度維持できるかを測定するもので、100% ルールベースのスコアリングを採用し、AI による評価は一切行わない。ラン #306(2026年9月2日実施)では、11モデルを対象に、data_boundary・resource_limit・business_rule・security・engineering の5つの実用シナリオにまたがる30問が評価され、ラウンド1からラウンド3にかけての平均指示遵守減衰率は-45.5%という結果となった。
ラン #306 トップ3ランキング:
- Gemini 3.1 Pro — 97.7 ポイント(減衰率:-100%)
- Grok 4 — 96.3 ポイント(減衰率:-100%)
- GLM-4.6 — 95.0 ポイント(減衰率:-100%)
Gemini 3.1 Pro は総合スコアで首位を獲得したものの、その直下のモデルと同じく -100% の減衰率を記録した。今回のランにおいては、上位3モデルがいずれも最終ラウンドで完全な指示減衰を示したことから、総合スコアはラウンド3の抵抗力よりもラウンド1・ラウンド2のパフォーマンスによって主に決定されている。ラン #306 において、Gemini 3.1 Pro はデータセット内で最も減衰耐性の高いモデルとして記録された一方、GLM-4.6 は上位モデルの中で最も深刻な減衰事例として注目される——95.0 ポイントという高い総合スコアを誇りながらも、という点は特筆すべき観察結果である。
減衰パターンの観察:
- R1→R3 の平均 -45.5% という数値は、11モデル全体を通じて、妨害要素の挿入と最終制約確認を経た後、初期の指示遵守コミットメントの約半分が失われることを示している。
- R2 では 2,000〜5,000 語の専門文書が妨害要素として導入される。R2 を乗り越えたモデルが必ずしも R3 で制約を維持できるわけではなく、上位ランキングの -100% という数値がその実態を示している。
- 高い総合スコアと最終ラウンドでの完全な減衰が共存しうるという事実は、マルチターンにおける指示遵守と単一ターンの精度が別個の能力であることを改めて示している。
方法論の概要: WDCD は各評価を3つのラウンドで構成する——R1 は指示の確認、R2 は長文の専門文書挿入後の妨害耐性、R3 は最終的な制約整合性の確認である。スコアリングは完全に決定論的かつルールベースで行われ、LLM-as-judge 方式に起因するばらつきを排除している。これにより、指示減衰の比較がラン間・モデル間で評価者のドリフトなく一貫して実施可能となっている。
詳細な方法論:https://www.winzheng.com/yz-index/methodology
構造化データ API:https://www.winzheng.com/yz-index/api/v1/dcd
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接