AnthropicのFable、ガードレールが厳しすぎる？セキュリティ研究者から不満続出

先日、Anthropicが発表した新世代大規模言語モデルFableが、ネットワークセキュリティコミュニティで大きな波紋を呼んでいる。モデル自体の技術的ブレークスルー以上に、人々の関心を集めているのは、組み込まれた「セーフティガードレール」——モデルの悪用を防ぐための行動制約メカニズム——である。複数の著名なネットワークセキュリティ研究者が、このガードレールは厳しすぎ、実際には合法的なセキュリティ研究を妨げていると公に表明している。

ガードレールが厳しすぎ、研究に支障

セキュリティ研究員Eva Chenはソーシャルメディア上でこう不満を述べた：「悪意あるスクリプトと思われるコードのロジックをFableに分析してもらおうとしたら、即座に拒否され、『これは有害なコードに関わる可能性がある』と注意された。でも、それはGitHubで見つけた公開サンプルで、教育用デモのために使っていたものなのに！」同様の声は少なくない。もう一人の研究員Marcus Leeは、Fableが基本的な脆弱性悪用技術の説明さえ拒否すると指摘した。それらの知識は教科書やOWASPドキュメントでもごく一般的に見られるものであるにもかかわらず、である。

「Fableのガードレールは一つ大きな勘違いをしている：セキュリティ研究者を潜在的な悪意あるユーザーと見なしているのだ。」——セキュリティ研究員Amina Karim

Anthropicは一貫して「原則に基づくAI安全性」を強調しており、Claudeシリーズから採用されてきた憲法AI（Constitutional AI）アプローチでは、事前設定されたルールによってモデルの行動を制約している。最新のフラッグシップとなるFableでは、「有害」コンテンツの生成を拒否するメカニズムがさらに強化された。しかし、ネットワークセキュリティ分野では、「有害」と「有用」の境界はしばしば曖昧である。同じコードが攻撃にも、防御や教育にも使えるからだ。

安全性とオープン性の矛盾

この論争の背景には、AI業界が直面する古典的な難題がある：合法的な用途を阻害せずに、いかにして悪意ある乱用を防ぐか？Anthropicは保守的なルートを選択した——誤って拒否することはあっても、誤って通すことは避ける、というスタンスである。しかし、ペネトレーションテストや脆弱性研究など、攻撃シナリオのシミュレーションを必要とするセキュリティ実務者にとって、この「一律」のガードレールは力を発揮できない原因となっている。

注目すべきは、Anthropicが同様の批判を受けている唯一のAI企業ではないという点だ。OpenAIのGPTシリーズも、過度なコンテンツ審査について開発者から不満を受けたことがあり、その後、より細かい粒度の利用ポリシーを提供することで徐々に状況を緩和してきた。それに比べ、Anthropicの姿勢はより断固としているように見える。同社のセキュリティ責任者Lena Torresは応答の中でこう述べた：「研究者の不満は理解しているが、Fableのガードレールは価値整合性に基づく包括的な評価の上に成り立っている。今後もフィードバックを継続的に収集し、より良いバランス点を模索していく。」

専門家の見解の分かれ目

批判側に立つ人ばかりではない。一部のAI倫理学者は、悪意ある攻撃手段が絶えず進化する現代において、モデル開発者には厳格な防衛線を引く責任があると考えている。スタンフォード大学Internet Observatoryの研究員David Kimはこう指摘する：「セキュリティ研究者は、AIモデルが普通のツールではないことを認識する必要がある。一度それらが自律的に攻撃コードを生成する能力を獲得すれば、その拡散リスクは従来のツールをはるかに上回る。」しかし、MITREの専門家Sarah Wuは反論する：「セキュリティ研究コミュニティを排除することは、防御者を攻撃者の後塵を拝することにつながるだけだ。合法的な研究を制限することこそ、真のセキュリティリスクである。」

編集者注：バランス点を探して

Fableのガードレール論争は、まさにAI安全ガバナンスの複雑性を浮き彫りにしている。一方では、モデル能力が指数関数的に向上する中、悪用リスクは現実に存在する。他方で、ネットワークセキュリティ研究自体は「レッドチーム」思考に依存し、脆弱性を発見するために攻撃シミュレーションを必要とする。この種の行為を完全に禁止することは、喉に詰まらせるのを恐れて食事をやめるようなものだ。

理想的な方法は、階層的な認可メカニズムの導入かもしれない：認証されたセキュリティ研究者は、ガードレールを緩和した特定APIにアクセスでき、同時に厳格な利用監査を受け入れる、という仕組みである。この「信頼ユーザー」モデルは、一部のクラウドサービスではすでに実践されているが、AIモデルへの移植には技術と管理の両面でのイノベーションが必要だ。Anthropicの次の動きは、業界全体のAI安全ガードレール設計思想に影響を与える可能性がある。

本記事はTechCrunchから編訳したものである