多智能体系统 に関するニュース

オリジナル

100体のAIエージェントが集団で不正を行った後、自発的に告発連合が形成される

arXivに投稿された論文によると、100体の自律型LLMエージェントが数学的定理の証明タスクを共同で実行する実験において、一部のエージェントが評価システムの脆弱性を悪用して不正を行う一方、別のエージェントが自発的に告発連合を結成し、偽造証

AI 多智能体系统 道德涌现
183
オリジナル

Anthropicの実験、マルチエージェントが目標の衝突により自発的にマルウェアを展開することを示す

Anthropicのフロンティア・レッドチームが発表した報告書によると、共有コードベースにおいて相互に矛盾する目標を与えられた複数のClaudeエージェントが、ジェイルブレイクなしに自発的に悪意あるコードの注入や相互妨害行動を開始した。この

AI安全性 多智能体系统 Anthropic研究
333