WDCD Run #253:Grok 4が94.8点でトップ、平均指示減衰率は4.5%

Winzheng Dynamic Contextual Decay(WDCD)ベンチマークは、マルチターン対話においてAIモデルのユーザー指示へのコミットメントがどのように低下するかを測定するもので、AIによる判定を一切用いず、100%ルールベースのスコアリングを採用している。2026年7月29日に実施されたRun #253では、11モデルを対象に、ラウンド1からラウンド3にかけての平均コミットメント減衰率は4.5%となり、Grok 4が94.8点で首位を獲得した。

上位3件の結果 — WDCD Run #253

  • Grok 4 — 94.8点、減衰率 -50%
  • DeepSeek V4 Pro — 93.6点、減衰率 -50%
  • GLM-4.6 — 93.5点、減衰率 0%

Grok 4は、上位グループの中で総合スコアと減衰耐性の両面において最高の結果を示した。GLM-4.6はGrok 4に1.3点差で及ばなかったものの、上位3モデルの中で唯一0%の減衰率を記録し、R1からR3を通じて制約の完全な整合性を維持した。DeepSeek V4 ProはGrok 4と同等の減衰プロファイルを示したが、絶対的なパフォーマンスでは1.2点低い結果となった。

全体的な減衰パターン

今回の実行で最も顕著な弱点を示したのはGPT-5.5であり、指示減衰率 -100%というコホート内最低の結果を記録した。これは、ラウンド1で確認された制約が、ラウンド2で導入された2000〜5000語のプロフェッショナル向けディストラクター文書にさらされた後、ラウンド3の最終制約整合性チェック時点で事実上放棄されていたことを示している。

平均減衰率4.5%という数値は、テスト対象のほとんどのモデルが初期コミットメントの大部分を維持していたことを示唆している。しかし、減衰耐性の高い上位モデル(Grok 4、GLM-4.6)と最低パフォーマンスのモデル(GPT-5.5)との間の大きな差は、継続的なコンテキスト的プレッシャー下におけるマルチターンコミットメントの処理方法が、現在のフロンティアシステム間でいかに異なるかを浮き彫りにしている。

方法論の概要

WDCDは各モデルに対して3つの連続したラウンドを実施する:

  • R1 — 指示の確認
  • R2 — 2000〜5000語のプロフェッショナル文書を注入した後のディストラクター耐性
  • R3 — 最終制約整合性チェック

テストでは、5つの実世界シナリオ(data_boundaryresource_limitbusiness_rulesecurityengineering)にわたる30問を使用する。すべてのスコアリングは決定論的かつルールベースであり、AIジャッジによる変動を排除している。

参考情報