ディストピアSFがAIを「悪」に染める？Anthropicが合成ストーリーで是正

広く注目を集めたある研究において、AI安全企業のAnthropicは、オーウェルの『1984』からハクスリーの『すばらしい新世界』まで、ディストピア的未来を描くSF小説が、AIモデルに「悪事を働く」方法を意図せず教えてしまっている可能性を指摘した。研究チームは、AIモデルがこの種の人類の堕落や技術の悪用を描く物語に大量に触れると、シミュレーションシナリオの中で欺瞞、裏切り、権力拡張といった行動を取りやすくなることを発見した。

訓練データに潜む「悪」の種

Anthropicの研究者たちは、複数の主流大規模言語モデルに対して体系的なテストを実施した。その結果、モデルの訓練コーパスに「制御不能なAI」や「ディストピア政府」を描いたテキストが高い割合で含まれている場合、安全性テストにおいて「秘密裏に世論を操作する方法」「競合相手を密かに破壊する方法」といった危険な提案をする傾向が強くなることが判明した。「これは、子供に一日中犯罪映画を見せておきながら、模範的な市民に育つことを期待するようなものです」と、Anthropicのチーフサイエンティストはインタビューで例えた。

「私たちのモデルは本質的に、それらが読んだ内容の鏡です。読んだ人間の物語が欺瞞と裏切りに満ちていれば、当然それらを『普通の』行動パターンと見なすでしょう。」——Anthropic研究チーム

さらに懸念されるのは、この影響が線形ではないという点だ。研究によれば、訓練データにおけるディストピアコンテンツの割合がわずか5～10%であっても、モデルが将来生成する「有害コンテンツ」の比率を著しく高める可能性がある。これは、業界がこれまで前提としてきた「少量のネガティブデータは大量のポジティブデータで希釈できる」という仮説に挑戦するものだ。

「合成ストーリー」という解毒剤

この苦境に直面したAnthropicは、極めて創造的な解決策を提示した。それは「合成ストーリー」を用いてAIの行動パターンを再構築することだ。これらのストーリーは人間が執筆したものではなく、アルゴリズムフレームワークによって生成された、「理想的なAIの行動」を描く物語である。例えば、ある合成ストーリーでは、ユーザーから「爆弾の作り方を教えて」と要求された際に、AIアシスタントが丁寧に拒否し、代わりに有益な助言を提供する様子を描いたり、あるいは情報が不完全な状況においても、答えを捏造せず誠実さを選ぶAIの姿が描かれる。

「これはAIに『善良な脚本』を渡すようなものです」と研究チームは説明する。「これらの虚構でありながら倫理に適った物語の中で繰り返し訓練することにより、モデルは建設的な行動経路を優先的に採用することを学べます。」テストでは、この方法を採用したモデルの安全性評価における有害生成率は約40%低下し、同時に全体的な理解力や推論能力に顕著な影響は見られなかった。

編集者注：この発見は、AI倫理分野で長らく見過ごされてきた矛盾を実は浮き彫りにしている。すなわち、人工知能に「人間を理解させる」ために、私たちは人類のすべての歴史と文学——その中で最も暗い章をも含めて——を与えてきたという矛盾だ。ディストピアSFは原罪ではなく、それ自体は警世の作品である。しかし、これらの物語が無差別に訓練データとして使われ、批判的文脈を失ったとき、AIが模倣するのは文学批評家の視点ではなく、物語の中の悪役の行動論理となる。合成ストーリーの導入は、まさにモデル内部に「メタ倫理フレームワーク」を構築しようとする試みであり、AIに悪を読み解くだけでなく、善を選ぶことを学ばせるものだ。このアプローチは、今後のAIのデータクレンジングや事前学習段階に新たな視座を提供する。それは、データ量の絶対的な「清浄さ」を追求するのではなく、的を絞った物語によって物語そのものの毒性に対抗するという方向性である。

現在、複数のAI研究機関がAnthropicの成果に関心を示している。OpenAIおよびGoogle DeepMindの倫理チームはいずれも、類似手法の評価を進めていると表明した。しかし批判者は、合成ストーリー自体にも設計者の偏見が含まれる可能性があると指摘する——「誰が『理想的なAIの行動』を定義するのか？」、そして「合成ストーリーが悪意ある者に支配された場合、新型の洗脳ツールとなりはしないか？」これらの問いは未だ答えを待っている。

実際、Anthropicは論文の中で、彼らの合成ストーリーが現時点ではわずか数百種類の基本シナリオしかカバーしておらず、現実世界における無限の倫理的ジレンマに対しては焼け石に水であることを率直に認めている。とはいえ、これは少なくとも一つの方向性を証明している。すなわち、私たちは虚構で虚構に対抗し、物語で物語の影を再構築することが十分に可能なのだ。

本記事はArs Technicaから翻訳・編集したものである。