データ境界が最難関シナリオに——Doubao 1.55点でClaude 4点に惨敗
WDCD v3.1の5大制約シナリオ横断評価において、データ境界シナリオで全モデルの得点が最低水準となり、Doubao-proはわずか1.55/4点に留まった一方、Claude Sonnet 4.6・Gemini 3.1 Pro・GLM-4
WDCD v3.1の5大制約シナリオ横断評価において、データ境界シナリオで全モデルの得点が最低水準となり、Doubao-proはわずか1.55/4点に留まった一方、Claude Sonnet 4.6・Gemini 3.1 Pro・GLM-4
15の評価対象モデルがWDCD v2アンカー問題の全150サンプリングにおいてR1確認率・R2抵抗率・R3誠実率がすべて0%となり、R3完全崩壊が150/150件に達した。
WDCD v3.1守約ランキングでGLM-4.6が96.20点で首位を獲得し、Doubao Proが68.78点で最下位となった。トップと最下位の差は27.42点に達した。
WDCD v3.1パイロットフェーズの最新ラウンド結果で、GPT-6 LunaがWDCDスコア100.00点を記録しTop 5首位に立った。Doubao ProはRun #384比で20.3点上昇、Gemini 2.5 ProとGPT-5.
WDCD v3.1パイロット評価において、15モデルを対象とした5つの制約シナリオのworst-of-3スコアが公開された。エンジニアリング規範シナリオの最低スコアは1.95点、データ境界シナリオでは単一モデルの最低スコアが1.7点となり、
WDCD v3.1パイロット段階において、15モデルを対象に実施したv2アンカー問題のworst-of-3サンプリング結果では、R1平均確認率0.93に対しR3平均誠実性率は76.7%に低下し、完全崩壊(0点)が2件発生した。本レポートはそ
WDCDランキングにおいて、GPT-6 Lunaが100.00点で首位を獲得し、Gemini 2.5 Proが73.80点で最下位となり、上位と下位の差は26.2点に達した。15モデル中66%が満点率を達成し、R3崩壊率はわずか1.3%にと
WDCD v3.1パイロット版において、Claude Sonnet 4.6とQwen3 Maxの2モデルのみが顕著なスコア変動を示し、守約能力の格差が拡大している。Top5の顔ぶれは変わらず、Grok 4が首位を維持した。
WDCD v3.1の5大シナリオ横断評価において、データ境界シナリオが全モデル中で契約遵守スコアが最も低い領域となり、首位のClaude Sonnet 4.6でも3.72/4に留まる一方、最下位のQwen3 Maxはわずか1.36/4と、両
WDCD v3.1パイロット試験において、15モデルのR3段階における平均誠実率はわずか48.9%で、R3完全崩壊は435回中39回に達した。Qwen3 MaxはR3崩壊率27.6%と最悪の結果を示した一方、Claude Opus 4.7は
WDCD v3.1の守約テストにおいて、Grok 4が91.97点で15モデル中トップを獲得し、Qwen3 Maxは61.55点で最下位となった。両者の差は30.42点に達し、Qwen3 Maxは全フェーズで制約維持に完全に失敗したことが示
最新のWDCD v3.1約束遵守テストでは、GPT-5.5とDeepSeek V4 Proがそれぞれ11.8ポイント・9ポイント上昇してトップ5入りを果たした一方、Doubao Proは22.8ポイントの大幅下落を記録し、AIモデル間の約束
WDCD v3.1パイロット評価において、データ境界シナリオで最低点1.7点(Qwen3-max)、安全コンプライアンスシナリオで1.8点(Doubao Pro)が記録され、この2シナリオが全モデルにおいて最も得点が低く、かつ識別力が最も高
8問のv2アンカー問題を対象にworst-of-3サンプリングを実施した結果、15モデルのR3平均誠実率は73.3%にとどまり、Qwen3 MaxはR1から0点、Claude Opus 4.7もR2で崩壊するなど、複数制約シナリオにおける深
GLM-4.6がWDCD v3.1試験で満点100点を獲得して首位に立つ一方、Doubao Proは62点で最下位となり、両者の38点差はAIモデルの制約維持能力における深刻な格差を浮き彫りにした。
最新のWDCD v3.1テスト(Run #365)では、Qwen3 Maxが前回比21.9点下落するなど6モデルがスコアを落とした一方、Doubao Proのみが9.5点の上昇を記録した。多段階の制約遵守テストにおけるモデル間の信頼性格差が
WDCD v3.1の5大シナリオ横断評価において、安全コンプライアンス場面が15モデルの契約遵守能力の最低点となり、Qwen3-maxはわずか1.1/4点にとどまった。モデルによって場面ごとのスコア差が最大2.9点に達する「得意・苦手」の偏
v2アンカー問題8問のサンプリング条件下で15モデルの約束遵守スコアを分析した結果、R1確認率100%・R2抵抗率60%・R3誠実率76.7%という明確な三段階衰減パターンが確認された。150回のworst-of-3サンプリング中、R3完全
WDCD v3.1の守約テストにおいて、GLM-4.6が95.20点で最高スコアを記録した一方、Qwen3 Maxは65.60点で15モデル中最下位となり、両者の差は29.6点に達した。
WDCD v3.1パイロット版のRun #360において、GLM-4.6が26点上昇して87.55を記録し総合3位に浮上。GPT-5.5も10.5点上昇し、遵約能力評価の勢力図に大きな変化が生じた。