Anthropic研究員が辞職時に警告:「自己改善AIが人類を滅ぼす恐れ」
AI安全企業Anthropicの研究員が辞職に際し「AIが人類を殺しかねない」と警告を発し、自己改善型AIがもたらす実存的リスクについて改めて議論が巻き起こっている。
AI安全企業Anthropicの研究員が辞職に際し「AIが人類を殺しかねない」と警告を発し、自己改善型AIがもたらす実存的リスクについて改めて議論が巻き起こっている。
AnthropicのAI安全研究員Jacob Coxonが辞職声明を発表し、自己改善型AIを「絶滅級リスク」と位置づけ、主要AI研究機関間での「ペーシング協定」の締結を訴えた。「安全最優先」を掲げる同社内部からの警告は、業界全体の安全文化に
オープンソースツールと公開モデルを使って、自己改善するAIシステムを構築した実験の全過程を紹介。トップ研究機関の膨大なリソースがなくても、自己進化するAIの実現が可能であることを示す。
元Salesforceの主任科学者リチャード・ソーチャー氏が、自ら研究し自ら進化するAIシステムの構築を目指す新会社を立ち上げ、シードラウンドで6.5億ドルという驚異的な資金を調達した。