Winzheng Dynamic Contextual Decay（WDCD）ベンチマークは、大規模言語モデルが長期的な対話においてユーザー指定の制約をどれほど確実に維持できるかを測定するものである。2026年11月15日に実施されたラン #428では、15モデルを対象に評価が行われ、ラウンド1からラウンド3にかけての平均コミットメント減衰率は-16.4%となり、Gemini 3.1 Pro が89.8点で総合首位を記録した。
上位3位ランキング — ラン #428
- Gemini 3.1 Pro — 89.8点、減衰率 -7.5%（コホート内で最も優れた減衰耐性）
- Grok 4 — 83.6点、減衰率 -5.0%
- GPT-5.5 — 82.5点、減衰率 -3.7%
減衰分布の下位では、GPT-o3 が3ラウンドの評価シーケンスを通じて-5.0%という最大の劣化を記録した。これは、ラウンド2で注意分散コンテンツが導入された後、当初の指示遵守が大幅に損なわれたことを示している。
減衰パターンの観察
WCDDは、固定された3ラウンド構造を通じてマルチターンのコミットメントを評価する。ラウンド1では指示の確認・理解を確立し、ラウンド2では注意とコンテキスト容量を競合させるために設計された2,000〜5,000語の専門文書を挿入し、ラウンド3では制約の整合性を最終確認する。採点はAIジャッジを一切使用しない100%ルールベースで実施され、data_boundary（データ境界）、resource_limit（リソース制限）、business_rule（ビジネスルール）、security（セキュリティ）、engineering（エンジニアリング）という5つの実世界シナリオにまたがる30問が対象となる。
ラン #428は、過去のサイクルで観察されてきたパターンを改めて裏付けた。指示の減衰は、最終ターンの制約チェックよりも、主にラウンド2の注意分散ステージによって引き起こされる。ラウンド2の長文ドキュメントによる中断を経ても制約を維持したモデルは、その整合性をラウンド3まで持続させる傾向があるのに対し、ラウンド2の注意分散によって逸脱したモデルがラウンド3までに回復することは稀である。Gemini 3.1 Pro のコホート内最小減衰率である-7.5%は、長文ドキュメント負荷下でより強固なコンテキストアンカリングが機能していることを示唆する一方、GPT-o3の-5.0%という数値はその逆の失敗パターンを反映している。
ラン #428におけるコホート平均16.4%の減衰率は、リーダーボード上位の絶対スコアが上昇し続ける中においても、注意分散圧力下での制約劣化が現行フロンティアモデル全体に共通する測定可能かつ体系的な弱点であり続けていることを示している。
参考資料
- 方法論: https://www.winzheng.com/yz-index/methodology
- データAPI: https://www.winzheng.com/yz-index/api/v1/dcd
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接