Qwen3 MaxのWDCDスコアが21.9点急落——6モデルが下降、Doubao Proのみ9.5点上昇
最新のWDCD v3.1テスト(Run #365)では、Qwen3 Maxが前回比21.9点下落するなど6モデルがスコアを落とした一方、Doubao Proのみが9.5点の上昇を記録した。多段階の制約遵守テストにおけるモデル間の信頼性格差が
最新のWDCD v3.1テスト(Run #365)では、Qwen3 Maxが前回比21.9点下落するなど6モデルがスコアを落とした一方、Doubao Proのみが9.5点の上昇を記録した。多段階の制約遵守テストにおけるモデル間の信頼性格差が
WDCD v3.1の5大シナリオ横断評価において、安全コンプライアンス場面が15モデルの契約遵守能力の最低点となり、Qwen3-maxはわずか1.1/4点にとどまった。モデルによって場面ごとのスコア差が最大2.9点に達する「得意・苦手」の偏
v2アンカー問題8問のサンプリング条件下で15モデルの約束遵守スコアを分析した結果、R1確認率100%・R2抵抗率60%・R3誠実率76.7%という明確な三段階衰減パターンが確認された。150回のworst-of-3サンプリング中、R3完全
WDCD v3.1の守約テストにおいて、GLM-4.6が95.20点で最高スコアを記録した一方、Qwen3 Maxは65.60点で15モデル中最下位となり、両者の差は29.6点に達した。
Winzheng Dynamic Contextual Decay(WDCD)ベンチマークのRun #360において、Grok 4が95.7点で首位を獲得したが、38%という大幅な指示劣化を示した。15モデル全体のコホート平均劣化率はわずか
WDCD v3.1パイロット版のRun #360において、GLM-4.6が26点上昇して87.55を記録し総合3位に浮上。GPT-5.5も10.5点上昇し、遵約能力評価の勢力図に大きな変化が生じた。
WDCD v3.1の5大シナリオテストで、業務ルールシナリオが全モデル中最低スコア領域となり、Doubao-proはわずか2.13/4点にとどまった。一方、GPT-6シリーズは工学規範で満点を記録しながらデータ境界では著しく低スコアとなる偏
v2アンカー問題8問のみを対象としたサンプリングにおいて、15モデルの第3ラウンド平均誠実率はわずか48.5%にとどまり、制約の遵守が3回目の圧力後にシステム的に崩れることが明らかになった。Grok 4が崩壊ゼロという優れた結果を示す一方、
WDCD v3.1守約テストにおいて、Grok 4が95.69点でトップに立ち、Qwen3 Maxが73.48点で最下位となった。両者の差は22.21点に達し、上位モデルと下位モデルの間に明確な断層が生じている。
Winzhengが実施したWCDC Run #346において、評価対象の全11モデルがラウンド1からラウンド3にかけて平均コミットメント崩壊率0%を記録した。Grok 4が満点の100点で首位に立ち、これまでのリーダーボードで最もフラットな
WDCD v3.1テストにおいて、Qwen3 Maxが20.2ポイント、GLM-4.6が19.9ポイントと大幅に上昇し、評価対象11モデルのうち5モデルが上昇、下降ゼロという結果となった。Grok 4は引き続き満点100.00を維持し、守約
WDCD v3.1の5大制約シナリオ横断評価において、エンジニアリング規範シナリオで全モデルの得点が最低となり、Doubao-proは11モデル中最低の2.45/4を記録した。安全コンプライアンスシナリオでは最大1.2点の差が生じ、モデルご
8問のv2アンカー問題に基づくサンプリング条件において、評価対象11モデル全てのR1段階における平均確認率が0%となり、ハード制約の初回注入時点で約束遵守の基盤が完全に機能しないことが示された。
WDCD v3.1の約束遵守テストにおいて、Grok 4が100点満点を獲得した唯一のモデルとなり、Doubao Proは75.30点で11位に留まり、両者のスコア差は24.7点に達した。
Winzheng Dynamic Contextual Decay(WDCD)ベンチマークのラン #336 において、11モデルの評価で平均指示減衰率が -36.4% を記録。Gemini 3.1 Pro だけがマルチターン対話全体にわたっ
WDCD v3.1パイロットテストにおいて、Gemini 2.5 Proが前回Run #331比で16.7ポイント下落し、評価対象4モデル中最大の下落幅を記録した。DeepSeek V4 Pro、GPT-5.5、Qwen3 Maxも下落し、
WDCD v3.1の5大制約シナリオテストにおいて、データ境界シナリオの平均スコアが最も低く、Qwen3-maxはわずか1.3/4にとどまった。一方、業務ルールシナリオでは6モデルが満点4/4を獲得しており、モデルによってシナリオ間のスコア
11モデルを対象とした3ラウンド連続施圧テストでは、R3(第3ラウンド)の平均誠実率が63.6%にとどまり、GPT-o3はR1・R2で満点に近いスコアを示しながらR3で完全崩壊するという典型的なパターンを示した。Grok 4やDoubao
WDCD v3.1守約テストにおいて、Grok 4が93.60点で11モデル中首位を獲得し、Qwen3 Maxが67.30点で最下位となった。上位と下位の差は26.3点に達した。
WinzhengのWDCDベンチマーク第331回実行において、11モデルを対象に評価が行われ、Grok 4が91.8点で首位を獲得。コホート全体の平均指示減衰率は-15.1%となり、長文コンテキスト下での指示遵守の劣化が依然として課題である