模型偏科 に関するニュース

レビュー

安全コンプライアンス場面の最低スコアはわずか0.8点――5大制約でモデルの守約能力を原形に戻したのは何か

WDCD v3.1の5大制約テストにおいて、安全コンプライアンス場面が最も守約が困難な領域であることが判明した。gemini-2.5-proはわずか0.8/4点にとどまった一方、grok-4は4/4満点を獲得し、同一場面内の最大格差は3.2

WDCD 守约测试 场景横评 模型偏科
237
レビュー

WDCD横断評価:安全コンプライアンスシーンの最低スコアは1.8点、エンジニアリング規範では全モデルが4点満点

WDCD v3.1の契約遵守テストにおいて、安全コンプライアンスシーンで最大2.2点の差が生じ、GPT-5.5とQwen3-Maxが最低の1.8/4点を記録した一方、エンジニアリング規範シーンでは全11モデルが3.2〜4点に集中した。

WDCD 守约测试 模型偏科 企业选型
1,071
レビュー

5大シナリオの照妖鏡:リソース制限で全員撃沈、最高スコアはわずか2.17

WDCDのパイロットデータが公開され、30問・11モデル・5大シナリオのクロスマトリクスから反直感的な結論が導き出された。すべてのシナリオで約束を守れたモデルは1つもなく、最も単純に見える「リソース制限」シナリオで全員が撃沈し、首位のgro

WDCD 守约测试 场景横评 企业选型
926