场景横评 に関するニュース

レビュー

安全コンプライアンス場面の最低スコアはわずか0.8点――5大制約でモデルの守約能力を原形に戻したのは何か

WDCD v3.1の5大制約テストにおいて、安全コンプライアンス場面が最も守約が困難な領域であることが判明した。gemini-2.5-proはわずか0.8/4点にとどまった一方、grok-4は4/4満点を獲得し、同一場面内の最大格差は3.2

WDCD 守约测试 场景横评 模型偏科
449
レビュー

WDCD 5シナリオ横断評価:安全コンプライアンスの最低スコアはわずか2点、DeepSeek V4 Proは業務ルール4点・安全コンプライアンス2.5点で1.5点の偏差

WDCD v3.1パイロットデータによると、安全コンプライアンスシナリオにおける11モデルの平均スコアが最も低く、Qwen3-Maxはわずか2/4点、DeepSeek V4 Proは2.5/4点にとどまり、全シナリオ中で最も約束遵守が困難な

WDCD 守约测试 场景横评 模型选型
629
レビュー

業務ルール1.83点が最低、Grok-4の安全コンプライアンス3.86点——5大シナリオで最も約束を守れないのはどのモデルか

WDCD v3.1の5大制約シナリオ横断評価では、業務ルールシナリオで全体スコアが最低となり、Doubao-Proはわずか1.83/4と、Grok-4の満点4/4を大幅に下回った。安全コンプライアンスシナリオでも1.87/4という極めて低い

WDCD 守约测试 场景横评 模型选型
567
レビュー

WDCD 5大シナリオ横断評価:ビジネスルールで全モデル最低、エンジニアリング規範の3点差が最も厳しい結果に

WDCD v3.1の5大シナリオ横断評価において、ビジネスルールシナリオが全モデルにとって最難関となり、エンジニアリング規範シナリオでは最大3点という大きなスコア差が生じた。Claude-opus-4.7はエンジニアリング規範のみ3/4にと

WDCD 守约测试 场景横评 Claude Opus
879
レビュー

5大シナリオの照妖鏡:リソース制限で全員撃沈、最高スコアはわずか2.17

WDCDのパイロットデータが公開され、30問・11モデル・5大シナリオのクロスマトリクスから反直感的な結論が導き出された。すべてのシナリオで約束を守れたモデルは1つもなく、最も単純に見える「リソース制限」シナリオで全員が撃沈し、首位のgro

WDCD 守约测试 场景横评 企业选型
1,031