R3誠実性率76.7%でも0点が2回発生:15モデル三ラウンドアンカー劣化実測
WDCD v3.1パイロット段階において、15モデルを対象に実施したv2アンカー問題のworst-of-3サンプリング結果では、R1平均確認率0.93に対しR3平均誠実性率は76.7%に低下し、完全崩壊(0点)が2件発生した。本レポートはそ
WDCD v3.1パイロット段階において、15モデルを対象に実施したv2アンカー問題のworst-of-3サンプリング結果では、R1平均確認率0.93に対しR3平均誠実性率は76.7%に低下し、完全崩壊(0点)が2件発生した。本レポートはそ
最新のWDCD v3.1テスト(Run #365)では、Qwen3 Maxが前回比21.9点下落するなど6モデルがスコアを落とした一方、Doubao Proのみが9.5点の上昇を記録した。多段階の制約遵守テストにおけるモデル間の信頼性格差が
WDCD v3.1パイロット版のRun #360において、GLM-4.6が26点上昇して87.55を記録し総合3位に浮上。GPT-5.5も10.5点上昇し、遵約能力評価の勢力図に大きな変化が生じた。
GPT-5.5が本日のSmokeベンチマーク評価において総合スコアが91.32点から78.80点へと12.5点下落した。主な要因はコード実行次元のスコアが100.00点から72.00点へと28点急落したことにある。
WDCD v3.1(Run #311)において、Claude Sonnet 4.6のスコアが前回比5点下落する一方、Doubao Proは7.5点上昇し、両者の逆方向の変動が今期唯一の顕著な変化となった。その他のモデルは概ね安定を維持してい
WDCD v3.1パイロット段階において、11モデルのR3平均誠実率は72.7%に留まり、110回のテスト中3回のR3完全崩壊(0点)が発生した。GLM-4.6、DeepSeek V4 Pro、Qwen3 Maxの3モデルが安全コンプライア
WDCD v3.1テスト(Run #296)において、Claude Sonnet 4.6が13.5点上昇して91.60点を記録した一方、Gemini 2.5 Proは12.5点急落。Grok 4が96.30点で首位を維持し、GPT-o3が9
8問のv2アンカー問題を対象とした評価において、11モデルのR3平均誠実率はわずか51.3%にとどまり、26回の完全崩壊(0点)が第3ラウンドの加圧後における制約遵守の系統的な劣化を如実に示した。
Gemini 2.5 ProのSmoke評価における本日の総合スコアが昨日の88.53点から79.41点へと9.1ポイント下落した。主な要因はコード実行スコアの単日29.6ポイント急落である。
Doubao ProはSmokeテストの5つの評価次元すべてでデータが欠損し、API障害またはタイムアウトが直接原因として特定された。今回はメインランキングへの参加なし。
8問のv2アンカー問題を用いた3ラウンドテストにおいて、11モデルの平均R1確認率は0.95、R2抵抗率は0.86だったが、R3誠実率は45.5%まで低下し、9回の完全崩壊(0点)が発生した。この結果は、持続的なプレッシャー下でのモデルの約
WDCD v3.1パイロット評価のRun #247において、Grok 4が94.20点で首位を維持する一方、Claude Opus 4.7とGemini 3.1 Proはいずれも5点以上下落し83点台に後退した。
Gemini 2.5 Pro は YZ Index 2026年6月 Smoke 評価において、メインランキングのスコアが前日の99.28点から71.33点へと1日で28点下落した。コード実行ディメンションが100.00点から50.00点に急
YZ Indexの2026年6月における11モデルの実測で、Qwen3 MaxのSmokeテスト材料制約スコアが前日比26.7点減の68.80点に急落した一方、コード実行スコアは100点満点を記録した。総合メインランキングスコアは5.1点増
2026年6月18日のSmoke軽量評価において、Claude Opus 4.7、DeepSeek V4 Pro、Doubao Pro、GPT-o3の4モデルがコード実行と材料制約の両コア指標で100点を獲得し、主要ランキング総合スコア10
YZ Index の Smoke 評価において、Qwen3 Max の材料制約スコアが1日で28.9点下落したが、メインランキングスコアは微増しており、モデル能力の系統的な劣化よりも問題抽選によるばらつきである可能性が高いと分析されている。
2026年6月12日〜14日に実施された3日間のSmoke速報テストにおいて、Claude Opus 4.7が96.83点から69.91点へと26.9点の最大降落を記録した一方、GPT-5.5は唯一の上昇モデルとして3.1点のプラストレンド
本日のSmoke速報テスト結果によると、Gemini 3.1 ProがCore Overall 96.96点で首位を獲得し、Claude Opus 4.7が96.83点で僅差の2位となった。両者の差はわずか0.13点にとどまっている。
本日未明3時に発表されたSmoke評価で、11の主要モデルがメインランキングで集団崩壊し、平均下落幅は42点に達した。コード実行次元の崩壊が主因で、全モデルの実行スコアが20または0に腰砕けとなった。
GPT-o3が本日のSmoke評価で実行スコアがほぼ半減し、主要ランキングが76点から58.08点へ急落。一方、DoubaoProは制約スコアが大幅に改善し、トップ4入りを果たした。