WDCD Run #247:Grok 4がネガティブ減衰でトップ、平均指示減衰率は-1.8%に縮小

Winzheng Dynamic Contextual Decay(WDCD)ベンチマークは、多ターン対話においてAIモデルがユーザーの指示をどの程度維持できるかを測定するもので、AIによる評価を一切使用せず、100%ルールベースのスコアリングを採用している。2026年7月26日に実施されたRun #247では、11モデルを対象に第1ラウンドから第3ラウンドにかけての平均指示減衰率-1.8%となり、上位モデルでは指示遵守率が低下するどころか向上する結果が見られた。

ランキングのハイライト。Run #247における上位3モデルは以下の通りである:

  • Grok 4 — 94.2ポイント、-63%減衰(今回の実行で最高の減衰耐性)
  • DeepSeek V4 Pro — 87.0ポイント、-25%減衰
  • GLM-4.6 — 83.9ポイント、0%減衰(全3ラウンドで完全に安定)

減衰パターン。3ラウンド構成のプロトコルは、異なる種類の失敗モードを検証する。R1では初期の指示認識を測定し、R2では2,000〜5,000語の専門文書を注入した後の妨害耐性をテストし、R3では最終的な制約整合性チェックを実施する。Grok 4およびDeepSeek V4 Proに見られるネガティブ減衰値は、妨害要素の圧力下でもモデルが指示遵守を緩めるのではなく強化したことを示しており、これはコンテキスト負荷がかかった状態でもユーザーの制約をより強く内部表現できていることと一致するパターンである。GLM-4.6の0%減衰は純粋な安定性を示しており、R1とR3で同一の制約遵守が維持されている。

一方、スペクトルの反対端では、Qwen3 Maxが今回の実行で最低の-50%減衰を記録し、第3ラウンドまでに第1ラウンドの多ターンコミットメントの約半分を失った。上位と下位の差——減衰挙動において100パーセントポイント超の開き——は、単一ターンの精度指標だけでは、モデルが継続的なコンテキスト下で制約をどれだけ維持できるかを予測できないことを示している。

シナリオカバレッジ。Run #247では、WDCDの標準セットとして、data_boundaryresource_limitbusiness_rulesecurityengineeringの5つの実世界シナリオにわたって30問が使用された。スコアリングはすべて決定論的かつルールベースであり、生の対話トランスクリプトから完全に再現可能な結果が得られる。

前回実行からの読み取り。全モデルの平均減衰率が-1.8%に縮小したことは、上位モデルが安定した、あるいは向上する多ターンコミットメントへと収束しつつあることを示唆している。一方、今回のQwen3 Maxに代表されるロングテール部分では、妨害負荷下での大幅なドリフトが引き続き見られる。

プロトコルの詳細については、WDCDメソドロジーを参照のこと。モデル別・ラウンド別の生データはWDCDデータAPIから取得可能である。