AIの安全ガードレールが突破される：サイバー犯罪者がClaudeを犯行ツールに変えている
世界中のセキュリティチームがAIモデルの「施錠」を議論している一方、サイバー犯罪者はすでにその鍵を複製し終えている。自律的に計画・実行できる「エージェント型AI」が攻撃インフラとして悪用され、ClaudeをはじめとするAIモデルが巧妙な手口
AI护栏 に関するニュース
米国政府AIに『マインクラフト』を聞いたら、なぜ的外れな回答が返ってきたのか
米国政府の公式サイトAmerica.govに導入されたAIアシスタントが、『マインクラフト』に関する質問に対して奇妙な回答を返すことが判明。これはモデルの誤作動ではなく、政務AIに設けられたガードレール機構の副作用であることが明らかになった
AIガードレールは諸刃の剣：攻撃的セキュリティ研究が直面する壁
OpenAIやAnthropicのAIモデルに設けられた安全ガードレールが、脆弱性調査や侵入テストを行う攻撃的セキュリティ研究者の業務を妨げている実態をTechCrunchが報じた。研究者たちはオープンソースモデルへの移行や独自ツールの開発