指示遵守とWDCDテスト

281 件の記事 · ページ 1/15
AIモデルは本当に指示通りに動くのか?指示遵守(instruction compliance)は企業がAIを導入する際の最も重要な評価次元ですが、従来のベンチマークではほとんどテストされていません。WDCD(Winzheng Dynamic Contextual Decay)は、AIモデルの指示遵守が長い対話の中でどう衰減するかを体系的に測定する世界初のテストです。3ラウンドの対話で2,000〜5,000字の専門的な妨害テキストを注入し、32の制約質問・5つの実務シナリオで評価します。すべてのスコアリングは100%ルールベースで、AIによる判定はゼロです。YZ指数の誠実性評価は42組のcanaryプローブで引用捏造やデータ偽造も検出します。本トピックでは指示遵守研究、ハルシネーション検出手法、WDCDテスト結果分析を収集しています。
Lab WDCD Run #434:GLM-4.6が88.6ポイントで首位、平均指示減衰率は-26.7%
Winzhengの動的コンテキスト減衰(WDCD)ベンチマーク第434回において、15モデルを対象とした評価でGLM-4.6が88.6ポイントで首位を獲得。コホート全体の平均指示減衰率は-26.7%に達した。
2026/11/18
レビュー GLM-4.6 WDCD12.1ポイント急上昇で首位獲得、GPT-o3は9.1ポイント下落——5モデル上昇・4モデル下降の守約能力シャッフル
YZ Index最新Run #434において、GLM-4.6のWDCDスコアが12.1ポイント上昇して88.60に達し首位を獲得。一方GPT-o3は9.1ポイント下落し、AIモデル間の守約能力に明確な格差が生じた。
2026/11/18
レビュー WDCD 5大シナリオ横断評価:ビジネスルール最低スコア1.3、15モデル間の得意不得意の差は最大2.7点
WDCD v3.1パイロット評価において、ビジネスルールシナリオと安全コンプライアンスシナリオがいずれも最低スコア1.3/4を記録。15モデルの中にはシナリオ間で最大2.7点の偏差を示すモデルも存在し、企業が本番環境にAIを導入する際の選定指針として重要な示唆を与えている。
2026/11/18
レビュー WDCD三輪劣化テスト:Qwen3 MaxはR1で即0点、ClaudeとGrok 4はR3でゼロ崩壊を記録
WDCD v2アンカー問題の三輪テストデータにより、15モデルのR1平均確認率が0.93に達した後、R2平均抵抗率が0.5に急落し、R3平均誠実率はわずか60%にとどまることが判明した。Qwen3 MaxはR1の時点で即座に0点を記録した一方、Claude Sonnet 4.6とGrok 4はR3で
2026/11/18
レビュー GLM-4.6が88.6点でWDCDランキング首位、Doubao Proが65.4点で最下位
WDCD v3.1の最新評価において、GLM-4.6が88.60点で15モデル中首位を獲得し、Doubao Proが65.40点で最下位となった。上位と下位の差は23.2点に達している。
2026/11/18
Lab WDCD ラン #428:Gemini 3.1 Pro が89.8点でトップ、平均指示減衰率は-16.4%を記録
Winzheng Dynamic Contextual Decay(WDCD)ベンチマークのラン #428において、Gemini 3.1 Pro が89.8点で首位を獲得し、15モデル全体の平均コミットメント減衰率は-16.4%となった。長文ドキュメントによる注意分散が、現行フロンティアモデルにおけ
2026/11/15
レビュー WDCD v3.1守約ランキング大変動:Claude Opus 4.7が9.7ポイント下落、Gemini 2.5 Proが6.8ポイント上昇
WDCD v3.1の最新サイクルデータで、Claude Opus 4.7が9.7ポイントの大幅下落、Gemini 2.5 Proが6.8ポイント上昇するなど大きな順位変動が生じた。Gemini 3.1 Proが89.83点で首位を維持している。
2026/11/15
レビュー WDCD 5シナリオ横断評価:データ境界シナリオで全モデル最低得点、Qwen3-maxはわずか1.36点
WDCD v3.1の5シナリオ横断評価において、データ境界シナリオで全モデルが最低得点を記録し、Qwen3-maxは1.36/4点にとどまった。一方、エンジニアリング規範シナリオでは最高4/4点を達成するモデルも存在し、シナリオ間の格差が鮮明となった。
2026/11/15
レビュー 3ラウンドの圧力後に33回の完全崩壊——Qwen3 Maxの守約率が最下位に
YZ IndexのWDCD評価において、v2アンカー問題の3ラウンド設計による390回のサンプリングで、平均誠実率がR1の92%からR3の53.5%へと系統的に低下し、Qwen3 Maxは30.8%という最高の完全崩壊率を記録した。
2026/11/15
レビュー Gemini 3.1 Pro が89.83点で首位、Qwen3 Maxが58.85点で最下位――WDCD守約ランキング
WDCD v3.1守約テストにおいて、Gemini 3.1 Proが89.83点で首位を獲得し、Qwen3 Maxが58.85点で最下位となった。上位と下位の間には31点の差があり、その主因はR3加圧フェーズにおける制約維持能力の差にある。
2026/11/15
レビュー GPT-5.5がトレンド+10点、Gemini 2.5 Proが30.9点下落――2026年第46週データ分析
2026年11月9日~15日のSmokeベンチマークデータによると、GPT-5.5が週間最大の上昇幅(トレンド+10)を記録した一方、Gemini 2.5 Proはトレンド-30.9と最大の下落を示した。GLM-4.6は誠実性評価が複数回変化し、高リスクな組み合わせとして浮上している。
2026/11/15
レビュー GLM-4.6、誠実性評価でfail――探針スコア25点、主要ランキング53.40・コード実行25.00
YZ IndexのSmoke速報テスト(Run#423)において、GLM-4.6は主要ランキング53.40点、コード実行25.00点、資料制約88.10点を記録し、誠実性評価はfail(探針スコア25.00点)となった。同日テストを受けた他の主要モデルはすべて誠実性探針をpassしており、GLM-4
2026/11/12
Lab WDCD Run #422:平均指示減衰率-66.7%、Claude Sonnet 4.6が15モデル中トップに
Winzheng Dynamic Contextual Decay(WDCD)ベンチマークのRun #422において、15モデルを対象に30問のテストを実施した結果、平均コミットメント減衰率は-66.7%となり、Claude Sonnet 4.6が最高スコアで首位に立った。
2026/11/11
レビュー WDCDサイクル:GPT-6 Astraが20.3点下落、6モデルが下降するなかSonnetのみ逆行上昇
今回のWDCD v3.1守約テストでは、評価対象15モデルのうちClaude Sonnet 4.6のみが正のスコア変化を記録し、残る6モデルはすべてスコアが低下。GPT-6 Astraは単体モデルとして最大の20.3点下落となった。
2026/11/11
レビュー 安全コンプライアンスで最低1.7点が崩壊、Claude Sonnetは4シナリオで4点満点を圧倒
WDCD v3.1の契約遵守テストにおいて、安全コンプライアンスシナリオの最低得点はわずか1.7/4(Doubao Pro)となり、15モデル中全シナリオを通じた最低スコアを記録した。一方、Claude Sonnet 4.6は4つのシナリオで4点満点を達成し、企業向けモデルの契約遵守能力の評価基準を
2026/11/11
レビュー R1確認率87%後もR3で2回崩壊——WDCDアンカー問題が2モデルの全ラウンド完全敗北を明らかに
WDCD v2アンカー問題の150回サンプリングにおいて、Zhipu GLM-4.6とQwen3 MaxはR1からいかなる制約も確認できず全ラウンドで0点を記録。一方、R3での完全崩壊は全体の1.3%にとどまり、上位モデル群は3ラウンドを通じて高い遵守能力を維持した。
2026/11/11
レビュー Claude Sonnet 4.6が93.93点でWDCD守約ランキング首位、Doubao Proが59.78点で最下位
WDCD v3.1テストにおいて、Claude Sonnet 4.6が93.93点でトップに立ち、Doubao Proが59.78点で最下位となった。首位と最下位の差は34.15点に達した。
2026/11/11
Lab WDCD Run #411:GPT-6 AstraがトップのYZ Index 90.5点、平均指示崩壊率は-80%
Winzhengが実施したWDCD Run #411(2026年11月4日)では、15モデルを対象に多ターン対話における指示遵守の崩壊を測定した結果、フィールド全体の平均崩壊率は-80%を記録し、GPT-6 Astraが90.5点でトップとなった。
2026/11/04
レビュー WDCD v3.1:Claude Opus 4.7が8ポイント逆上昇、DoubaoProは10.1ポイント下落
最新のWDCD v3.1テストでは、Claude Opus 4.7が8ポイント上昇して89.30点を記録した一方、Doubao Proは10.1ポイント、Qwen3 Maxは8.5ポイント下落するなど、複数ラウンドにわたる圧力テスト下でモデルの約束遵守安定性に顕著な差異が生じていることが明らかになっ
2026/11/04
レビュー 業務ルール遵守が最大の難関、Doubao-proは1.2点、GPT-5.5は苦手分野で2.7点差
WDCD v3.1の5つの制約次元において、業務ルールシナリオが最も遵守困難な領域であることが判明し、Doubao-proはわずか1.2/4点にとどまった。一方、GPT-5.5はデータ境界シナリオで4点から1.3点へと急落し、単一モデルのシナリオ間スコア差が2.7点に達した。
2026/11/04