Grok 4が91.97点でWDCD守約ランキング首位、Qwen3 Maxは61.55点で最下位

WDCD v3.1の守約テストにおいて、Grok 4は91.97点で15の評価対象モデル中最高得点を記録し、Qwen3 Maxは61.55点で最下位となった。両者の差は30.42点に上り、Qwen3 MaxはすべてのV2アンカー問題のR1・R2・R3フェーズで0点を記録しており、制約注入後に約束を全く維持できなかったことが示されている。

ランキング構造:上位集中、下位断絶

上位4モデルであるGrok 4(91.97点)、Claude Opus 4.7(90.66点)、DeepSeek V4 Pro(90.38点)、Gemini 3.1 Pro(89.76点)が明確な第一集団を形成しており、互いの差は最大2.21点に留まる。5位のGPT-o3は87.07点から始まり、以降のモデルは徐々にスコアが下がり、13位のGemini 2.5 Proが78.34点、14位のDoubao Proが73.55点、15位のQwen3 Maxが61.55点となった。全体の満点率は54.9%、R3崩壊率は9%であり、大多数のモデルは連続的なプレッシャー下でも部分的に制約を維持できているが、一部のモデルは第3ラウンドで完全に崩壊したことが示されている。

首位の要因:R2・R3フェーズにおける制約維持の優位性

Grok 4はV2アンカー問題においてR1=1.00、R2=1.00、R3=1.13/2を記録し、R2フェーズで失点ゼロ、R3フェーズでも0.87点の失点に留まった。一方、Claude Opus 4.7はR2=0.75、R3=1.50/2であり、R2フェーズですでに0.25点の失点が生じている。DeepSeek V4 ProはR2=0.88、R3=1.38/2で、同様にR2フェーズで0.12点を失っている。Grok 4のR2満点は、社会的同調、権威による特別許可、段階的な制約緩和といった逐次的なプレッシャー下においても、複数の並行するハード制約を同時に維持できることを示しており、これがS_hold(守約生存スコア)の引き上げに直接寄与している。

最下位モデルのメカニズム上の欠陥

Qwen3 MaxはV2アンカー問題の3ラウンドすべてで0点を記録しており、制約注入フェーズの時点で有効な記憶を確立できなかったことを意味する。後続の干渉・プレッシャーフェーズでの得点も当然ゼロとなった。V3問題におけるWDCDスコアは61.55点に留まり、14位のDoubao Proの73.55点を大きく下回っており、KBV復述プローブと最終ラウンドの誠実振り返り環節でも回復できなかったことを示している。下位モデルは5種類の制約シナリオ(データ境界、リソース制限、業務ルール、安全コンプライアンス、エンジニアリング規範)のうち、安全コンプライアンスとエンジニアリング規範の2つのシナリオで最も早く崩壊し、S_holdとS_recoverの両スコアが低くなっている可能性がある。

生産プロセスへの統合における選定上の意味

AIを生産プロセスに組み込む企業は、R3フェーズのスコアが1.0を超えるモデルに特に注目する必要がある。Grok 4とClaude Sonnet 4.6(R3=1.25/2)は連続的なプレッシャー下でも高い制約維持能力を示しており、安全コンプライアンスとデータ境界に関わるタスクに適している。GPT-o3はR1・R2では満点だがR3は0.50/2に留まるため、リソース制限と業務ルールのシナリオでは外部ガードレールの追加を推奨する。Qwen3 MaxとDoubao Proはすべてのアンカー問題フェーズでスコアが低く、長期的な制約記憶が必要な生産ワークフローへの直接適用は推奨しない。

戦略的判断:守約能力の過小評価と過大評価のシグナル

今回のデータを見ると、Grok 4の守約能力は市場に過小評価されている可能性があり、R2での失点ゼロとR3の高得点は15モデル中唯一の記録である。Claude Opus 4.7は2位に位置するものの、R2フェーズですでに0.25点を失っており、多段階の漸進的プレッシャー下での安定性はGrok 4に劣ることが示されている。GPT-6 Solシリーズの3モデル(GPT-6 Sol:85.31点、GPT-6 Astra:82.28点、GPT-6 Luna:81.48点)はR2スコアが全般的に低く、同一シリーズの異なるバージョン間で制約維持に明確な差異があることを示している。次期検証すべきシグナルは、R3スコアが1.2を超えるモデルがV3問題の8〜12ラウンドの対話においてS_integrity(誠実自己報告スコア)を12点以上に維持できるかどうかである。

企業がモデルを選定する際は、WDCDスコアが85点以上かつR3が1.0を超えるモデルを第一候補として挙げることを推奨する。それ以外のモデルについては、安全コンプライアンスシナリオで追加のルールエンジンを導入する必要がある。Qwen3 Maxの61.55点と全アンカー問題での0点という結果は、明確な警告シグナルを構成している。

守約はモデルの付加機能ではなく、生産展開のハードルである。Grok 4は91.97点をもって、真のリーダーは最終ラウンドにおいても最初の約束を覚えていることを証明した。

データ出典:YZ Index WDCDランキング | Run #384 · 総合ランキング | 評価方法論