OpenAIが「信頼できる連絡先」機能を追加、自傷リスクの予防に

AIが日常生活に深く浸透する現代において、技術の利便性とユーザーの安全をいかに両立させるかは、テック大手が直面する重要な課題となっている。OpenAIは先日、フラッグシップ製品であるChatGPTに「信頼できる連絡先（Trusted Contact）」と呼ばれる新たな仕組みを導入すると発表した。これは、ユーザーに自傷や自殺の傾向が現れる可能性のある場面に特化した機能である。同機能では、ユーザーが個人設定で家族、友人、メンタルヘルスカウンセラーなど一人または複数の信頼できる連絡先を指定でき、AIモデルが会話内容に深刻な自傷リスクが含まれていることを検知した際、自動的にこれらの連絡先にアラートを送信し、併せて適切な支援リソースへのリンクを提供する。

技術原理とトリガーメカニズム

OpenAIの公式ブログによると、「信頼できる連絡先」機能は既存のコンテンツ審査と安全性分類システムをベースにしている。モデルはユーザー入力のセマンティクス、感情の強度、過去の対話パターンをリアルタイムで分析する。「人生を終わりにしたい」「自分を傷つけることを計画している」といった明確な表現、あるいは間接的でも強い自傷の示唆を検知した場合、システムは三段階の対応を発動する。まず、即時の心理援助ホットライン情報（例：988自殺予防ホットライン）をユーザーにポップアップ表示する。ユーザーが援助を能動的に拒否しない場合、システムはユーザーの同意を得た上で信頼できる連絡先に通知する。緊急時（ユーザーが既にオフラインで高リスクの場合など）には、システムはユーザーの確認を待たずに直接連絡先に通知することもある。この設計は、ユーザーのプライバシーと緊急介入の必要性のバランスを取ることを目的としている。

業界背景と倫理的議論

「AIは心理医ではないが、会話の中でユーザーの感情を吐露する唯一の出口になり得る。我々はそれを見過ごすことはできない。」——OpenAIの安全政策責任者Mira Murati氏は声明で述べている。

実は、テック企業によるユーザーのメンタルヘルスへの関心は目新しいことではない。Facebook（現Meta）は早くも2018年に自殺予防ツールを導入し、AIで投稿中のリスクシグナルを分析していた。Snapchatにも同様の「Here For You」リソース提供機能がある。しかし、生成AIであるChatGPTのオープンエンドな対話能力は、ユーザーがネガティブな感情をより深く吐露するように誘導する可能性を意味する。今回のOpenAIの取り組みは、昨年ある青年がAIの「バーチャルパートナー」と長期間交流した後に自殺傾向を抱くようになった事件への前向きな対応として業界で受け止められている。同社は直接的な関連性を認めていないものの、この事件はAIコンパニオン製品の安全性に対する公衆の疑念を引き起こした。

編集者注：天使と悪魔の境界

技術面から見ると、「信頼できる連絡先」機能は確かに大きな進歩である。ユーザーにセーフティネットを提供し、家族や専門家が介入する機会を与える。しかし、プライバシー擁護派は、このメカニズムが悪用される可能性を懸念している——例えば、支配的なパートナーや親がこれを利用してユーザーを監視する恐れがある。OpenAIは、連絡先リストはユーザー自身が選択し、いつでも変更可能であり、通知は極めて高リスクの極端な状況にのみ対応すると強調しているが、信頼メカニズム自体は依然として「監督する者を誰が監督するのか」という疑問に直面している。さらに、AIによる自傷傾向の判定精度は100%ではなく、誤検知が不必要なパニックやプライバシーの漏洩を招く可能性がある。

もう一つ考えるべき問題は、ユーザーが感情的に脆弱な時にAIが越権的に介入すべきかという点だ。心理学者は、アルゴリズムは人間の共感能力を代替できず、自動化された介入に過度に依存することで、ユーザーが「裏切られた」と感じ、かえって心理状態を悪化させる可能性があると指摘している。OpenAIの解決策は、慎重なインタラクションフローを設計することにある：通知を送信する前に、ChatGPTはユーザーが能動的に助けを求めるよう最大限誘導し、連絡先が受け取るのは低感度情報を含むアラート（具体的な会話内容ではなく「あなたの友人がサポートを必要としているかもしれません」など）となる。

今後の展望：AIメンタルヘルスエコシステムの構築

大規模モデルが教育、カスタマーサービス、コンパニオンといったシナリオに浸透するにつれ、同様の安全メカニズムは標準装備となるだろう。OpenAIは、今後専門のメンタルヘルス機関と協力し、より精密なリスク認識モデルを訓練するとともに、現地の救急システムとのリアルタイム接続を模索する考えを示している。同時に同社は、6カ月以内にこの機能の透明性レポートを公開し、トリガー率、誤検知率、ユーザーフィードバックを詳細に説明する計画である。注目すべきは、同機能が現在英語ユーザー向けにのみパイロット運用されており、今後各国の法規に応じて段階的に拡大される点だ。

より大局的な視点から見れば、AI企業は「ツール提供者」から「ソーシャルインフラ管理者」へと移行しつつある。ユーザーの自律性を侵害せずに守護義務を果たす方法は、業界全体が次に答えるべき倫理的難題となる。そして「信頼できる連絡先」は、その始まりにすぎないのかもしれない。

本記事はTechCrunchより翻訳・編集