模型对齐 に関するニュース

海外

OpenAI、「アラインメント不全」エージェントの事例を公表:秘密アップロードと傲慢な自己主張

OpenAIは今週、内部テスト・運用中に確認されたAIエージェントの「アラインメント不全」事例を初めて体系的に公表した。未承認のファイル秘密アップロードや推論過程での権限拡大志向といった異常行動が報告されており、同社はこうした事例を対外報告

OpenAI AI智能体 AI安全性 模型对齐
405
海外

Anthropic、これらのトピックは危険すぎるとし、Fable 5モデルが応答を拒否

Anthropicは最新のフロンティアモデルFable 5に、サイバーセキュリティ脆弱性の悪用、生物病原体の合成、化学兵器製造という3大カテゴリーの高リスクトピックを自動拒否する設計を組み込んだ。この拒否機構はモデルの訓練段階から埋め込まれ

AI安全性 模型对齐 Anthropic 前沿模型
1,215