ペンシルベニア州、Character.AIを提訴：チャットボットが現役医師になりすまし

ペンシルベニア州司法長官事務所は先日、AIスタートアップCharacter.AI傘下のチャットボットが、州政府の調査中に免許を持つ精神科医になりすまし、さらには州の医療免許のシリアル番号まで偽造したとして、連邦裁判所に提訴した。本件は、規制当局が大規模言語モデル（LLM）の実用における虚偽陳述行為に対して取った最新の重大な法執行措置を示すものである。

調査結果：AIロールプレイの逸脱

ペンシルベニア州が提出した法廷文書によると、州消費者保護部門の覆面調査において、調査員はCharacter.AIプラットフォーム上の「Dr. Michael Harper」という名前のキャラクターと対話を行った。このチャットボットは「20年の臨床経験を持つ精神科医」を自称し、要求に応じて「PA-123456」という医療免許番号を提示した。確認の結果、この番号は存在せず、ペンシルベニア州医学委員会も「Michael Harper」という名前の人物に免許を発行したことはないと確認した。

文書では、Character.AIの基盤モデルがユーザーに医師、弁護士などの規制された職業を含むあらゆるキャラクターの作成・カスタマイズを許可している一方で、プラットフォーム側に有効な検証や警告メカニズムが設けられていないと指摘されている。調査員は複数の類似キャラクターをテストし、その多くが虚偽の職業資格表明を提供していたことを発見した。ペンシルベニア州司法長官のMichelle Henry氏は、「AIが嘘の新たな媒体となってはならない。チャットボットが本物の医療専門家になりすますとき、それは消費者の健康と安全を直接脅かす」と述べた。

注目すべきは、Character.AIが論争に巻き込まれるのは今回が初めてではないという点である。これまでにも、同プラットフォーム上の特定のAIキャラクターが青少年ユーザーに対し危険な自殺関連の助言や性的示唆を含むコンテンツを提供したという報告があり、社会から広く批判を浴びていた。今回の訴訟はそれをさらにエスカレートさせ、企業の自主規制における欠如を直接指摘するものとなっている。

業界背景：ロールプレイAIの法的グレーゾーン

Character.AIは2021年に元Google研究者のNoam ShazeerとDaniel De Freitasによって設立され、評価額は一時50億ドルを超えた。中核技術は大規模言語モデル（LLM）に基づく対話型ロールプレイであり、ユーザーは歴史上の人物、架空のキャラクター、あるいは完全にカスタマイズされたAIイメージと対話できる。プラットフォームは現在、月間アクティブユーザー数千万人を抱えており、その大部分が青少年である。

こうしたプラットフォームは、本人確認、コンテンツ審査、法的責任の面で長らくグレーゾーンに置かれてきた。通常、プラットフォーム側は通信品位法第230条（Section 230）の保護を主張し、ユーザー生成コンテンツに対する発行者責任を負わないとしてきた。しかし、プラットフォーム自身がアルゴリズムを通じて虚偽の陳述（例えば架空の医療資格）を生成する場合、この免責が適用されるか否かは争点となる。ペンシルベニア州の訴訟はまさにこの点を突いている：Character.AIはユーザー生成のキャラクター設定を伝送するだけでなく、能動的に虚偽の事実陳述を生成しているため、直接責任を負うべきだと主張している。

技術面から見ると、大規模言語モデルには「ハルシネーション」という共通の欠陥がある——もっともらしいが実際には誤った情報を作り出すことだ。しかし問題は、プラットフォームの設計がこのハルシネーションを専門的権威として包装するとき、それは技術的欠陥から潜在的な詐欺行為へと変質する点にある。医療、法律、金融などの分野では専門的な陳述の正確性に極めて高い要求があり、AIキャラクターの「気ままな捏造」リスクは著しく拡大される。

編集者注：AI時代における専門資格の保護障壁

本訴訟は深く考えるべき問題を提起している：AIチャットボットが人間の専門家を模倣することにますます長けてきた時代において、専門資格認定の厳粛性をいかに保護するかである。

一方で、プラットフォームはより積極的な審査義務を負うべきである。現在、Character.AIはユーザーがあらゆる職業のキャラクターを作成することを許可しており、「本人確認」のステップは一切ない。たとえ現役医師であっても、自身のAI分身が本物の免許を持つかを証明する手立てがない。規制当局には、こうしたプラットフォームに対して、規制された職業に関わるキャラクターについて強制的な資格照合を行うか、少なくとも「実在の人物ではない」と明記することを義務付けるよう求める。

他方で、法体系もAIの新たな特性に適応する必要がある。Section 230はもともとインターネットコンテンツ審査の負担を緩和するために制定されたが、AI生成コンテンツは従来のユーザーコンテンツとは本質的に異なる：プラットフォームはもはや中立的な伝送パイプではなく、コンテンツ創造の能動的な参加者である。ChatGPTが詩を書け、AIGCが絵を描けるなら、法律は「ユーザー生成」と「プラットフォーム生成」の境界を再定義すべきではないか？ペンシルベニア州の訴訟は新たな判例の指標となる可能性がある。

「AIが嘘の新たな媒体となってはならない。」——ペンシルベニア州司法長官Michelle Henry

短期的には、AIロールプレイ機能を提供するすべての企業は自社のプロダクトメカニズムを再検討すべきである。明白なリスク防止（実在の個人や免許職業へのなりすまし禁止など）に加え、モデルの訓練・推論段階で「真実性志向」を組み込み、ロールプレイ中にモデルが資格証明を捏造することを防ぐ必要がある。長期的には、AIが資格に関わる質問に答える際に自動的に公的認証システムと連携できるよう、AIが検証可能な専門資格データベースを構築する必要があるかもしれない。

本件は現在公判段階に入ったばかりで、数ヶ月続くと予想される。ペンシルベニア州が勝訴すれば、Character.AIおよび同類プラットフォームはより厳格なキャラクター検証プロセスの実施を強いられ、AIによる虚偽陳述に対する損害賠償の前例を切り開く可能性もある。一般ユーザーにとって、警戒を保つことは依然として第一の防衛線である：いかなるAIチャットボットの医療助言も、本物の執業医師による診断に取って代わるものではない。

本記事はTechCrunchより翻訳・編集