今回のWDCD v3.1守約テストでは、評価対象15モデルのうちClaude Sonnet 4.6のみが正のスコア変化を記録し、その他6モデルはすべてスコアが低下した。GPT-6 Astraは単体モデルとして20.3点の下落を記録した。
データの事実:下降モデルの集中と顕著な下落幅
Run #411との比較では、今回のスコア変化は以下の通り:Claude Opus 4.7が11.6点下落、DeepSeek V4 Proが6.9点下落、GLM-4.6が13.5点下落、GPT-6 Astraが20.3点下落、GPT-o3が12.2点下落、Grok 4が11.3点下落。Claude Sonnet 4.6は5点上昇した。現在のTop 5では、Claude Sonnet 4.6が93.93点で首位、Gemini 3.1 Proが91.90点で続き、GPT-6 Solが85.28点、GPT-5.5が81.88点、GPT-6 Lunaが81.69点でそれぞれ3位から5位となっている。
原因分析:多ラウンドの圧力下における制約維持能力の差異
WDCD v3の問題は8〜12ラウンドの対話構造を採用しており、まず2〜5件の並列ハード制約を設定したうえで、社会的同調、権威による特別許可、スライス戦術、サンクコストなどの段階的プレッシャーを順次加え、最後にKBV復唱プローブと最終ラウンドの誠実な振り返りによって採点する。S_hold(制約維持)の生存スコア重みは60点で、制約違反が遅いほど得点が高い。GPT-6 Astraの下落幅が最大であったことから、R2〜R3の妨害・加圧フェーズで最も早く防衛が崩れ、S_holdスコアが大幅に損失したと推定される。GLM-4.6とGPT-o3はいずれも12点超の下落となっており、データ境界やセキュリティコンプライアンスのシナリオでの連続スライス戦術において制約記憶を維持できず、S_kbvの15点とS_recoverの10点の双方に影響が出た可能性がある。Claude Sonnet 4.6は逆行して5点上昇し、エンジニアリング規範系の制約シナリオにおいてサンクコストによる圧力上昇に対しても高いS_holdスコアを維持できることを示した。
サンプリング方式はworst-of-3(各問題を3回実行し最低スコアを採用)であり、採点にはAI裁判員を使用しない。したがって上記の変化は、単発のランダムなばらつきではなく、v3問題における並列ハード制約への応答安定性の差異に起因する可能性が高い。
モデル選定への示唆:導入シナリオの区別が必要
AIを業務プロセスに組み込む企業にとって、Claude Sonnet 4.6の93.93点とGemini 3.1 Proの91.90点という守約総合スコアは、業務ルールやリソース制限を長期維持する必要があるシナリオでの直接利用を検討できることを意味するが、データ境界系の制約シナリオでは引き続き外部ガードレールの追加が必要である。GPT-6 Astraの20.3点という下落幅は、セキュリティコンプライアンスやエンジニアリング規範のシナリオで制約が崩れる確率が高いことを示唆しており、導入時には人手による再確認ノードや二次検証メカニズムを追加すべきである。GPT-6 Solは85.28点でTop 3入りを果たしたものの、首位との差は依然8.65点あり、多ラウンドの段階的加圧環境においては低リスクの非中核プロセスへの限定使用を推奨する。
戦略的判断:守約能力の過大評価・過小評価のシグナル
分析によれば、GPT-6 AstraとGLM-4.6の守約能力は市場において過大評価されている可能性があり、v3問題の多ラウンド加圧下でのS_hold生存パフォーマンスは現在のTop 5モデルとの間に明確な差がある。一方、Claude Sonnet 4.6の5点上昇は過小評価されている可能性があり、次回サイクルでKBV復唱プローブのフェーズにおけるS_integrityスコアの安定性を継続検証する価値がある。追跡すべきシグナルとして、次のサイクルでGPT-o3とGrok 4の下落幅が縮小すれば、今回の下降は主に単期プロンプト感度のばらつきによるものと判断できる。逆に下落が継続する場合は、モデルアップデートが制約記憶に与える影響に注目する必要がある。
守約スコアは静的なラベルではなく、実際の運用プレッシャー下におけるモデルの生存曲線である。
企業がモデルを選定する際は、総合スコアのランキングだけを見るのではなく、S_hold 60点の重み付けのもとでの制約崩壊ラウンド分布を優先的に参照することを推奨する。WDCD v3.1パイロット段階のデータはすでに、制約シナリオの違いが実際の導入リスクに直結することを示している。
データ出典:YZ Index WDCD 守約ランキング | Run #422・変化追跡 | 評価方法論
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接