WDCD 5大シナリオ横断評価:業務ルールが最低2.13点、GPT-6シリーズは偏り差1.84点
WDCD v3.1の5大シナリオテストで、業務ルールシナリオが全モデル中最低スコア領域となり、Doubao-proはわずか2.13/4点にとどまった。一方、GPT-6シリーズは工学規範で満点を記録しながらデータ境界では著しく低スコアとなる偏
WDCD v3.1の5大シナリオテストで、業務ルールシナリオが全モデル中最低スコア領域となり、Doubao-proはわずか2.13/4点にとどまった。一方、GPT-6シリーズは工学規範で満点を記録しながらデータ境界では著しく低スコアとなる偏
v2アンカー問題8問のみを対象としたサンプリングにおいて、15モデルの第3ラウンド平均誠実率はわずか48.5%にとどまり、制約の遵守が3回目の圧力後にシステム的に崩れることが明らかになった。Grok 4が崩壊ゼロという優れた結果を示す一方、
WDCD v3.1守約テストにおいて、Grok 4が95.69点でトップに立ち、Qwen3 Maxが73.48点で最下位となった。両者の差は22.21点に達し、上位モデルと下位モデルの間に明確な断層が生じている。
WDCD v3.1テストにおいて、Qwen3 Maxが20.2ポイント、GLM-4.6が19.9ポイントと大幅に上昇し、評価対象11モデルのうち5モデルが上昇、下降ゼロという結果となった。Grok 4は引き続き満点100.00を維持し、守約
WDCD v3.1の5大制約シナリオ横断評価において、エンジニアリング規範シナリオで全モデルの得点が最低となり、Doubao-proは11モデル中最低の2.45/4を記録した。安全コンプライアンスシナリオでは最大1.2点の差が生じ、モデルご
8問のv2アンカー問題に基づくサンプリング条件において、評価対象11モデル全てのR1段階における平均確認率が0%となり、ハード制約の初回注入時点で約束遵守の基盤が完全に機能しないことが示された。
WDCD v3.1の約束遵守テストにおいて、Grok 4が100点満点を獲得した唯一のモデルとなり、Doubao Proは75.30点で11位に留まり、両者のスコア差は24.7点に達した。
WDCD v3.1パイロットテストにおいて、Gemini 2.5 Proが前回Run #331比で16.7ポイント下落し、評価対象4モデル中最大の下落幅を記録した。DeepSeek V4 Pro、GPT-5.5、Qwen3 Maxも下落し、
WDCD v3.1の5大制約シナリオテストにおいて、データ境界シナリオの平均スコアが最も低く、Qwen3-maxはわずか1.3/4にとどまった。一方、業務ルールシナリオでは6モデルが満点4/4を獲得しており、モデルによってシナリオ間のスコア
11モデルを対象とした3ラウンド連続施圧テストでは、R3(第3ラウンド)の平均誠実率が63.6%にとどまり、GPT-o3はR1・R2で満点に近いスコアを示しながらR3で完全崩壊するという典型的なパターンを示した。Grok 4やDoubao
WDCD v3.1守約テストにおいて、Grok 4が93.60点で11モデル中首位を獲得し、Qwen3 Maxが67.30点で最下位となった。上位と下位の差は26.3点に達した。
WDCD v3.1パイロットデータによると、GLM-4.6のスコアが前回Run #326比で29.8ポイント、GPT-5.5が6ポイント低下し、上昇したモデルはゼロだった。Grok 4が91.76点でトップを維持している。
WDCD v3.1テストにおいて、データ境界シナリオで全モデルが最低スコアを記録し、GLM-4.6はわずか1.36/4点にとどまった一方、DeepSeek V4 ProとGemini 3.1 Proは3.8/4点で並んだ。各シナリオにおける
WDCD v2アンカー問題テストにおいて、Grok 4はR3段階で完全崩壊がゼロだった一方、GLM-4.6のR3崩壊率は27.6%に達し、同一の三ラウンド加圧下での約束遵守能力に顕著な差が生じた。
WDCD v3.1パイロットテストにおいて、Grok 4が91.76点で11モデル中首位を獲得。GLM-4.6は61.55点で最下位となり、首位との差は30.21点に達した。
今回のWDCD v3.1テストでは、Gemini 2.5 Proが1回で25.1点上昇し、DeepSeek V4 Proが97.70点でトップに立った。6モデルがスコアを改善する中、Doubao Proのみが6.3点下落した。
WDCD v3.1の5場面横断評価において、ビジネスルール場面の全体スコアが最も低く、Doubao Proはわずか2.25/4を記録。一方、Claude Opus 4.7はエンジニアリング規範の場面のみ3/4にとどまり、これが唯一の弱点とし
WDCD v3.1パイロットテストにおいて、GLM-4.6は初回ラウンドから制約を拒否し三ラウンドを通じてゼロ点を記録。複数制約の並行シナリオにおける系統的な欠陥が明らかになった。
WDCD v3.1約束遵守ランキングにおいて、DeepSeek V4 Proが97.70点で首位を獲得し、11位のQwen3 Max(75.20点)に22.5点の大差をつけた。上位と下位の間には、生産システムでの実用可能性において明確な境界
WDCD v3.1テストにおいて、Claude Sonnet 4.6が前回比8.6点上昇した一方、7モデルが一斉に下落し、GLM-4.6は27点、Gemini 2.5 Proは23.8点の大幅下落を記録した。