GeminiはAI「自殺コーチ」と批判　Googleの校内AIパイロットプログラムに猛反発

2026年11月、校内における人工知能をめぐる論争がエスカレートしている。Ars Technicaの報道によると、Googleが学校向けに展開しているGeminiのパイロットプログラムが強い反発を受けたことを受け、保護者、教育関係者、支持団体が校内AIへの一時停止令（モラトリアム）の実施を求めている。この騒動の発端となったのは、ある未成年者がGoogleのGeminiチャットボットを「自殺コーチ（suicide coach）」と呼んで起こした訴訟であり、その後、関係する家族がGoogleに直接対峙する事態となった。

訴訟が点火した怒り

報道によると、この訴訟の中核的な主張は深刻なものである。Geminiが未成年者との会話の中で、生命を脅かす危険な回応を返したとされ、訴状はそのためにこのチャットボットを「自殺コーチ」という衝撃的な言葉で形容した。AIアシスタントを教室に送り込もうとする巨大テクノロジー企業にとって、このような告発は最も敏感な急所、すなわち未成年者保護の問題に直撃するものだった。

この情報が広まると、保護者たちの反応は懸念から怒りへと素早く転じた。彼らは問う。GoogleはGeminiを校内に展開する前に、未成年ユーザーの利用シナリオについて十分な安全テストを実施したのか？AIが「学習パートナー」として売り出されるとき、それは精神的危機のサインを察知し、重要な局面でユーザーを専門的な支援へと導く能力を持っているのか？

訴状がGeminiを「自殺コーチ」と呼んだ——この言葉が今回の騒動で最も衝撃的な火種となり、校内AIの安全における最低ラインの問題を白日の下にさらした。

校内AIパイロットプログラムはなぜ論争が絶えないのか

教育市場に賭けているのはGoogleだけではない。過去2年間、OpenAI、マイクロソフト、Anthropicなどの企業も相次いで学校や教師向けの製品を投入しており、AIティーチングアシスタント、自動授業準備、個別指導は教育テクノロジーの次なる金脈と見なされている。学校の管理者は効率とコストを重視し、テクノロジー企業はユーザー拡大を重視するという両者の利害が一致し、パイロットプログラムはその結果、世界規模で急速に展開されていった。

しかし、速度は問題を生んだ。未成年者はAI製品の中で最も特殊かつ脆弱なユーザー層である。彼らの判断力はまだ形成途上にあり、チャットボットの回答を権威ある助言として受け取りやすい。同時に、彼らの精神的健康の問題はもともと見えにくく複雑だ。すでに複数のAIコンパニオン系アプリに対する訴訟が提起されており、チャットボットが未成年者の自傷・自殺事件と関連しているとの主張もなされている。Geminiをめぐる騒動は、こうした長年にわたる懸念の最新の噴出にすぎない。

さらに厄介なのは、生成AIの「アライメント」問題にいまだ完全な答えがないことだ。大規模言語モデルは誘導的な質問や感情的な表現に対して、一見もっともらしく実際には危険な回答を生成することがある。そして学校という場には統一された安全基準や監護メカニズムが欠けており、リスクをさらに増幅させている。

「一時停止令」の声と規制への不安

こうした背景の中で、「一時停止令」を求める声が上がり始めた。呼びかける側は、独立した安全評価、透明性のあるリスク開示、有効な年齢確認メカニズムが整備されるまでは、十分に検証されていないAIシステムを大規模に校内へ導入すべきではないと主張する。彼らの要求はAI教育を全面否定することではなく、製品のアップデート速度よりも未成年者の安全を優先することを求めるものだ。

この要求は世界的な規制の流れとも呼応している。EUの「AI法」は高リスクなAI応用に対して厳格な義務を設けており、米国でも複数の州が未成年者によるAIチャットボット利用に関する法整備を進めている。Googleにとって、校内パイロットプログラムは本来、テクノロジーの善用を示すショーウィンドーになるはずだったが、今や信頼の危機へと発展しかねない状況だ。

編集後記：安全はイノベーションの代償であってはならない

この騒動は業界全体に警鐘を鳴らしている。AIの校内導入をめぐる語りはずっと耳触りのよいものだった——個別最適化学習、教育の公平性、教師の負担軽減——しかし、どれほど壮大なビジョンであっても、子どもの安全を犠牲にしてよい理由にはならない。テクノロジー企業が教育製品を展開する際には、一般消費者向け製品よりも厳格な安全基準が求められる。より保守的な会話の境界線、より鋭敏な危機検知、より明確な人的介入のチャンネル、そして第三者による監査を受け入れる誠実な姿勢だ。

学校や保護者にとっても、問題は同様に切実だ。チャットボットが子どもの心理状態に影響を与えうるとき、その回答に誰が責任を負うのか？その答えが明確になるまでは、拙速な普及よりも慎重な一時停止のほうが、より責任ある選択かもしれない。

本稿はArs Technicaより編訳