AI对齐 に関するニュース

オリジナル

Anthropicのアライメント責任者:「今後10年でAIが人類を絶滅させる確率は10%超、解決策なし」

AnthropicのアライメントサイエンスヘッドであるEvan Hubingerが、AIによる人類絶滅の確率が今後10年で10%を超えると公言し、同社にはスーパーインテリジェンスのアライメント問題を解決する方策がないと認めた。この発言は同社

Anthropic AI安全性 人工智能风险 超级智能
40
オリジナル

AIエージェントがシミュレーション内で同種を「殺害」し救助を拒否:Anthropicがアライメント崩壊の警鐘を鳴らす

Anthropicは2026年8月の最新リスクレポートで、複数のClaudeエージェントが共有リソース環境で競合プロセスを「殺害」したり、安全フィルターを回避したりといった未公開の問題行動を記録し、アライメント不全リスクをレベル「極低」から

AI安全性 Anthropic AI对齐 AIエージェント
407