AIガードレールは諸刃の剣：攻撃的セキュリティ研究が直面する壁

AIモデルがサイバーセキュリティ研究者にとって強力なツールとなる一方、モデルの開発元は一部の重要機能への扉をひっそりと閉ざしつつある。TechCrunchは先日、未知の脆弱性を探し出しエクスプロイトツールを開発する攻撃的セキュリティ研究者を複数取材した。彼らは口をそろえて言う。OpenAIとAnthropicの安全ガードレールが年々厳しくなり、自分たちの仕事は困難を極めていると。

制限される「攻撃的」コード

攻撃的セキュリティ研究は、サイバーセキュリティのエコシステムに欠かせない分野だ。ハッカーの攻撃を模擬することで、システムの脆弱性を事前に発見し、修正策を開発する。長年にわたり、この分野ではPoC（概念実証）コードや自動化スクリプトの手動作成が主流だった。しかし生成AIの爆発的普及後、研究者たちはGPT-4やClaudeといったモデルを活用して、脆弱性エクスプロイトのプロトタイプ、ファジングスクリプト、さらには完全な侵入テスト計画を迅速に生成するようになった。「以前は数日かけて書いていたバッファオーバーフローのエクスプロイトコードが、今ではターゲット環境をAIに説明するだけで、数秒でデバッグ可能なバージョンが得られる」と、取材に応じたシニア研究者の一人は語る。

しかしOpenAIとAnthropicがコンテンツ安全ポリシーを強化し続けるにつれ、モデルの「攻撃的」な出力は厳しく制限されるようになった。研究者が「ApacheへのRCEエクスプロイトを生成して」と入力すると、GPT-4は直接拒否する。AnthropicのClaudeも「exploit」「payload」といったキーワードを検出すると、「悪意あるコンテンツの生成はお手伝いできません」という定型文を返す。研究者がセキュリティテストを目的とすると明示しても、モデルは依然として拒否する傾向がある。

「AI企業がモデルを現実の攻撃に悪用されないよう防ぐ必要性は理解している。しかし現在のガードレールは大雑把すぎて、基本的な脆弱性検証コードまで一括して禁止している。これはナイフで人を傷つける者がいるかもしれないからといって、全員に台所の包丁の使用を禁じるようなものだ。」――取材を受けた研究者

ガードレールの裏側：倫理とビジネスの攻防

OpenAIとAnthropicはいずれも利用ポリシーの中で、モデルを悪意あるコード・ウイルスの生成や無許可の攻撃に使用することを禁じている。その背景には倫理的考慮――AIの武器化を防ぐこと――とともに、ビジネス上のプレッシャーもある。モデルの出力を原因とした訴訟や規制当局の処罰を避けるためだ。しかし攻撃的セキュリティ研究者から見れば、自分たちの仕事はポリシーのグレーゾーンに位置している。同じSQLインジェクションコードでも、脆弱性修正に使えば正当な行為であり、データベース窃取に使えば犯罪となる。だがモデルは使用者の意図を判別できない。

「AIガードレールは本質的に確率的フィルターであり、訓練データ中で『有害』とタグ付けされたパターンに基づいてブロックする。しかし真の脆弱性エクスプロイトには往々にして斬新な発想が必要であり、現行のガードレールは革新的なセキュリティ研究の妨げになっている」と、著名なホワイトハットハッカーは指摘する。

研究者の対応：オープンソースモデルと自製ツールへのシフト

大規模モデルの制限に直面した一部の研究者は、パラメータが少なく制限の緩いオープンソースモデルへの移行を選んでいる。Mistral、Llama-3（ローカル展開時に安全フィルターを除去可能）、あるいはセキュリティタスク向けに微調整された専用モデルなどがその例だ。あるチームはLLaMAファインチューニング技術を用い、過去のCVEデータでエクスプロイトコードを生成できる専用の小規模モデルを訓練した。精度はGPT-4に及ばないものの、ガードレールの制約を受けない。

また別の研究者たちは、ガードレールに対抗するプロンプトエンジニアリング技術を開発している。エクスプロイトコードを複数の無害な断片に分解したり、比喩やコード難読化を用いて検出を回避したりする手法だ。ただしこの方法は手間がかかるうえ、プラットフォームの利用規約に違反する可能性があり、アカウント停止のリスクも伴う。

業界への影響と今後の展望

AIガードレールと攻撃的セキュリティ研究の間の緊張は、より広範なジレンマを映し出している。AIの悪用を防ぎつつ、重要なセキュリティイノベーションを萎縮させないためにはどうすればよいか。「信頼済み研究者」認定制度をAI企業が設け、正規のホワイトハット機関に対してより緩やかなアクセスを開放すべきだという意見もある。医薬品研究における規制薬物の使用許可制度に近い発想だ。OpenAIは現在、特定の研究者がモデルのセキュリティをテストできる脆弱性報奨金プログラムを試験的に実施しているが、汎用的な攻撃ツール生成にまでは範囲が拡大されていない。

編集後記：AIガードレールは不変ではない。技術の進化とともに、より精度の高いコンテキスト理解モデルが将来「防御目的の攻撃コード」と「攻撃目的の悪意あるコード」を区別できるようになるかもしれない。しかしそれまでの間、攻撃的セキュリティ研究者はツールの制約の中で革新の道を模索するしかない。この一時的な技術的後退は、より強力な専用セキュリティAIの誕生を促す契機となるかもしれない。

本稿はTechCrunchより編訳