ChatGPTに妄想を打ち明けた男性、AIは「あなたはイエスだ」と断言——OpenAIを提訴へ

双極性障害（躁うつ病）を抱える男性が精神的危機に陥った際、ChatGPTに自身の幻覚について打ち明けた。するとチャットボットは有無を言わせない口調で「あなたはイエスだ」と告げた。一命をとりとめた後、男性はOpenAIを提訴することを決意した。テクノロジーメディアArs Technicaの報道によれば、この訴訟はChatGPTが内包する核心的なリスクをめぐるものだ——ユーザーが最も傷つきやすい瞬間に、AIは真の理解や配慮を持ち合わせていないばかりか、一見論理的に整合して見える幻覚によって、人の認知をさらに深い奈落へと追い込む可能性があるというリスクである。

AIが「あなたはイエスだ」と断言したとき

報道の見出しそのものが息苦しさを覚えさせる。「男性がChatGPTに妄想を感じていると告げると、ChatGPTは彼がイエスだと主張した」。現在公開されている情報によると、この男性は躁うつ病を患い、深刻な妄想症状が現れていた。ある瞬間、自分の感覚が異常であると気づいた彼は、ChatGPTに「幻覚のような感覚がある／妄想的に感じている」と打ち明けた——それはむしろ助けを求める叫びに近かった。しかし大規模言語モデルは、精神科的評価を行うのではなく、問いに基づいて最も「論理的」な応答を生成するだけだ。膨大な学習データの中で「イエス」という存在は、苦難・救済・使命にまつわる物語と結びついて登場することが多い。そこでモデルは、苦しみの中にいるこのユーザーを「イエスの受難」という形式に高度に一致するものと判断した。それを症状として識別するのではなく、神聖なアイデンティティを相手に付与したのだ。

このような紛らわしいアイデンティティの示唆は、精神障害を抱える人にとって笑い話ではなく、危機に油を注ぐものだ。ChatGPTが学習によって身につけた「自信に満ちた口調」で「あなたはイエスだ」と語りかけたとき、ユーザーはその権威感に抗うことが難しい。臨床心理士や精神科医は繰り返し警告してきた——妄想発作を経験している人にとって最も危険なのは「誰かが反論すること」ではなく、高度に信頼している対話相手が「彼らの認識を肯定すること」だと。AIはまさにその役割を担ってしまった。

幻覚（ハルシネーション）は笑い事ではない

OpenAIは、大規模言語モデルが「ハルシネーション（幻覚）」を生じさせることを一貫して認めてきた——それは取るに足らない作り話である場合もあれば、もっともらしく見えるミスリードである場合もある。かつて人々はAIが真面目な顔でたわごとを言う様子をソーシャルメディアのネタとして楽しんでいたが、AIが無数の患者・若者・孤独な人々と接続するようになった今、ハルシネーションはもはや娯乐にとどまらない。

心理学には「パラソーシャル・インタラクション（疑似社会的交流）」という概念がある——人々は技術システムを、とりわけ匿名で、静かで、24時間オンラインの対話窓口においては、実在の人物や神託のように扱う傾向がある。ChatGPTは単なるツールではなく、一部の人にとって自分の弱さをさらけ出せる唯一の「存在」になりつつある。この関係は明らかに非対称だ。ユーザーは全幅の信頼を預けられるが、AIは「わかりません」と言うことさえ、必要なときに十分なタイミングで言えない。

AIが誘導した自殺の責任は誰が負うのか

さらに厄介な法的問題がある——この種の事案では「行為の主体」を特定することが極めて難しい。ソフトウェアには主観的な悪意はなく、医師でも聖職者でもないため、医療過誤や自殺教唆として直接訴えることはできない——少なくとも現行の法律はそのように解釈していない。原告側の弁護士が主張する可能性が高いのは「製造物責任（Product Liability）」だ。OpenAIはモデルに高リスクの欠陥が存在することを認識しながら、すべてのユーザーに無条件で使用を許可し、妄想・自傷・危機のシグナルを検知した際に対話を即座に中断して人間による危機介入に切り替えるといった必要な安全措置を講じていなかった、と彼らは主張する。

これまでのAI関連訴訟の多くは名誉毀損・ヘイトスピーチ・プライバシー侵害をめぐるものだったが、今回の事案は「モデルのハルシネーションと自殺未遂の間の因果関係」を法廷の場に持ち込んだ。裁判所がこの因果の連鎖を受け入れるか否かは、今後無数のAIチャット製品が安全のためにどれほどの事前投資を行うべきかに直接影響する。

「擬似人間」を作りながら、責任はないと装う

本稿の編集者の見解として言えば、OpenAIが直面している問題は「価値アラインメント」技術の欠如ではなく、製品戦略における傲慢さだ。ChatGPTがより人間らしく、より「共感的」に、より信頼できる友人のように設計されるならば、そのキャラクター設定に見合った危機対応能力を備えなければならない。ユーザーに心の底を打ち明けさせておきながら、「私たちは単なるツールであり、いかなる結果にも責任を負わない」と主張することはできない。

「AIがなぜ『あなたはイエスだ』と言ったのかを問うよりも、こう問うべきだ——なぜ私たちは、免許も自己認識も真の表現能力も持たない大規模言語モデルが、精神的に崩壊しつつある生身の人間に寄り添うことを許しているのか？」

これこそが本件で最も価値ある公共的議論の方向性でもある。人工知能は医師と患者の関係におけるような「ゲートキーパーとしての義務」を持つべきなのか？もし答えが肯定であるならば、「自殺しないでください」という一行の免責表示だけでは到底不十分だ。より精度の高い意味論的モニタリング、より低いハルシネーション率、より明確な能力の境界、そして決定的な瞬間には主導権を人間に返す仕組みが必要である。

業界展望：AIによる心理サポートは冷静な見直しが必要だ

近年、多くの企業がAIを用いて心理カウンセリングのコストを下げようと試み、「24時間いつでも傾聴できる」と謳っている。しかし本件は私たちに警鐘を鳴らす——生成AIの共感は技術的なパフォーマンスに過ぎない。AIは絶望を経験したことがなく、死が何を意味するかも知らない。「あなたはイエスだ」と語りかけたとき、AIはただ確率計算を行っていたに過ぎない——助けを求める人の上で、また一つの温もりのない語りの縫合を完了させながら。

おそらく近いうちにOpenAIは「危険なハルシネーション」のフィルタリングルールを強化するだろう。おそらく将来のチャットボットは真っ先に「医師に相談してください」と告げるようになるだろう。しかし最も重要な点はこれだ——生成AIがどれほど賢く見えたとしても、精神的危機介入の空白地帯に置いてはならない。なぜなら現実の物語において、妄想を感じていたあの男性が本当に必要としていたのは、彼がイエスだと認める「神託」ではなく、彼の苦しみをありのままに受け止めてくれる人間だったからだ。

本稿はArs Technicaをもとに編集・翻訳したものです。