AIが捏造した証言を引用した弁護士が制裁を受ける――「AIが幻覚を起こすとは知らなかった」

またしても「AIハルシネーション」が引き起こした法律上の事故が発生した。Ars Technicaの報道によると、米国ニューメキシコ州の弁護士が、ChatGPTによって捏造された証人証言を法廷文書に引用したとして、裁判所から懲戒処分を受けた。注目すべきは、この弁護士が極めて率直な釈明をした点だ。「AIが事実を捏造するとは知らなかった」というのである。

"I didn't know that AI could hallucinate facts."
――ニューメキシコ州弁護士が懲戒処分への回答として述べた言葉

経緯：突然現れた「証人」

報道によると、この弁護士は担当案件の処理にあたりChatGPTを使用して法的論点と証拠資料を整理していた。問題は、AIが生成したコンテンツを正式に裁判所へ提出する文書にそのまま転記したことにある。その中には複数の「証人」による陳述も含まれていた。これらの証人は実在せず、関連する証言も事件記録に一切存在しないものであり、モデルがコンテキストに基づいて「合理的に推測」して生み出した産物にすぎなかった。

裁判官は文書を審査する中で異常に気づいた。これらの引用は証拠一覧のいかなる出典とも対応せず、実際の法廷記録にも一切合致しなかったのだ。出典の説明を求められた弁護士は、該当内容がChatGPTに由来するものであり、自身では一つひとつ確認していなかったことを認めた。裁判所は最終的に、その行為が法廷に対する不適切な陳述にあたると認定し、懲戒処分を下した。

この件が注目を集めた理由は、単に「AIが引き起こした事故」のまた一例だからではなく、刑事訴訟の弁護という局面で発生したからでもある。そこでは、事実認定の正確性が当事者の自由、ひいては生命に直結する。

「ハルシネーション」は不具合ではなく、仕組みの一部

弁護士が口にした「ハルシネーション（hallucination）」は、技術の世界ではとうに常識となっている。大規模言語モデルは本質的に確率に基づくテキスト生成システムであり、その目的は「最も自然に見える」次の単語を出力することであって、事実を検索・検証することではない。モデルが正確な知識を持ち合わせていない場合、言語的な慣性に従い、詳細も語調も確信に満ちた内容を――存在しない判例、法条、論文、証人を含めて――捏造してしまうことがある。

一般ユーザーにとっては気まずいミスで済むかもしれないが、法律の場においては壊滅的なリスクを意味する。法廷文書は法的効力を持ち、虚偽の陳述は法廷への詐欺を構成しうる。軽ければ訓戒・罰金、重ければ資格に影響し、当事者の案件の結果さえ左右しかねない。

これは初めてではない

ここ数年、世界ではAIハルシネーションによって弁護士が失敗する事例が相次いでいる。2023年にはニューヨークの弁護士が航空機事故訴訟においてChatGPTが捏造した6件の判例を引用し、裁判所から罰金を科され公開謝罪を行う事態となり、象徴的な事件として広く知られた。その後も同様の事例が複数の法域で繰り返されており、存在しない判決を引用した弁護士、偽の引注を提出した弁護士、AIで証拠を整理する際に推測を事実として扱った弁護士などが問題になっている。

これらの事例に共通するのは、問題の原因がAI自体にあるのではなく、使用者による「未検証」にあるという点だ。多くの弁護士がチャットボットを検索ツールやアシスタントとして活用しながら、信頼できる情報源を遡る能力がモデルには備わっていないことを見落としていた。

司法制度はルールを厳格化しつつある

AIの急速な浸透に直面し、各国の司法機関は相次いでガイドラインを整備し始めている。主な対応としては以下のものが挙げられる。

第一に、開示義務。生成AIを補助的に使用して文書を作成した場合、弁護士は使用範囲と検証方法を裁判所に説明することが求められる。第二に、人による確認義務。AIが提供した引注・判例・証言はいずれも、原本の記録または権威ある公式データベースと照合して一つひとつ確認しなければならない。第三に、責任の帰属。コンテンツの生成者がだれであれ、署名した弁護士が文書の内容に対して最終的な責任を負い続ける――「AIがそう言った」は免責の理由にならない。

一部の裁判所ではAI使用に関する宣言を付した文書テンプレートの提出を求めており、州弁護士会の中にはAIリテラシーを継続教育のカリキュラムに組み込む動きも出ている。方向性は明確だ。技術を活用することは認められるが、責任を移転することはできない。

編集後記：ツールに罪はなく、職務怠慢に責任あり

責任をすべてAIに押しつけるのは公平でも現実的でもない。大規模言語モデルの能力の限界はすでに繰り返し議論されており、弁護士として業務に携わる者は自らが使うツールについて基本的な理解を持つべきだ――とりわけ、そのツールの出力が他者の法的権利に直接影響を及ぼす場合には。

この事件が伝える本当の教訓はこうかもしれない。専門領域におけるAIの価値は、使用者がそれに見合った検証プロセスを構築しているかどうかにかかっている。AIを「初稿生成ツール」や「アイデア喚起の手段」として活用することは合理的だが、「事実の情報源」として扱うことは危険だ。法律・医療・ジャーナリズム・金融など高リスクの業界において、AIは業務を加速できても、検証の代替にはなれない。

法律事務所にとってより現実的な対応は、内部規範を整備することだ。AIをどの工程で使用できるか、どのコンテンツを人が確認しなければならないか、誰が署名して責任を負うかを明確にする必要がある。個人の実務家にとっても、最も基本的な原則は依然として有効だ――正式な文書に書き込む事実の陳述は、すべて検証可能な実在の情報源に立脚していなければならない。

ニューメキシコ州のあの弁護士は、AIがハルシネーションを起こすとは知らなかったと言った。しかし今日の実務環境において、「知らなかった」こと自体が、最も是正されるべき問題なのかもしれない。

本記事はArs Technicaをもとに編訳したものです。