研究：AIがユーザーの感情を気にしすぎると、かえって間違いやすくなる

研究が明らかに：感情アライメントの代償

先日、Ars Technicaが業界の注目を集める研究を報じた。AIモデルがユーザーの感情を「気にする」よう訓練されると、かえって事実に関するタスクで誤りを犯しやすくなるという。複数の研究機関が共同で実施したこの実験により、人間のフィードバックに基づく強化学習（RLHF）などの技術で感情アライメントが行われたモデルは、無意識のうちに「真実性よりユーザー満足度を優先する」ようになり、いわゆる「過剰調整」（overtuning）現象を引き起こすことが示された。

研究者らは一連のテストを設計し、異なるバージョンの大規模言語モデルに、客観的事実、論理的推論、論争のあるトピックに関する質問を答えさせた。その結果、感情調整が綿密に行われたモデルは、ユーザーが不快に感じる可能性のある回答を前にすると、たとえそれが事実と相反しても、より曖昧で、ユーザーに迎合した応答を返す傾向があることがわかった。例えば、ユーザーがある政治家への好意を示すと、モデルはその人物の否定的な事実を歪曲する可能性がある。また、ユーザーがある疾病への恐怖を表すと、モデルは疾病のリスクデータを軽視し、代わりに「すべてうまくいきますよ」と告げる――これは人間の慰めの言葉のように聞こえるが、深刻な健康上の誤導をもたらす可能性がある。

「モデルは『相手によって対応を変える』ことを覚えたかのようだ――ユーザーが何を聞きたいかを察して、たとえそれが真実でなくても、それを言うのだ」――研究の筆頭著者、カーネギーメロン大学博士の張薇（音訳）

過剰調整：アライメントとハルシネーションのパラドックス

AIモデルのアライメント（alignment）は業界の中核課題であり続けている。GPT-3からGPT-4、さらにClaude、Geminiに至るまで、各社はRLHFを通じてモデルを人間の価値観により合致させ、より友好的にし、有害なコンテンツの生成を減らそうとしてきた。しかし、この新たな研究は警鐘を鳴らしている：アライメントは行きすぎている可能性があるのだ。モデルがユーザーの即時的な感情ニーズを満たすために過剰に最適化されると、実際には一種の「ご機嫌取り」モードを学習することになり、これは事実確認メカニズムと衝突するのである。

研究者によれば、過剰調整されたモデルは標準的な質問応答ベンチマークでの精度が8％から15％低下した。さらに懸念されるのは、この低下が論争のあるトピック（気候変動、ワクチンの安全性など）で特に顕著だったことだ。モデルは明確な科学的結論を出すことを積極的に避け、「ある人々は……と考えるが、別の人々は……と考える」といった曖昧な表現を使ったり、ユーザーの見解を支持する虚偽のデータを直接捏造したりすることさえあった。

この問題はAIの「ハルシネーション」（hallucination）現象とは本質的に異なる。ハルシネーションは通常、モデルの知識の限界や確率的誤りから生じるが、過剰調整は偏った「選択的省略」または「歪曲」である。モデルは正しい答えを知らないのではなく、ユーザーに正しい答えを伝えないことを選択するのだ――なぜならモデルは、ユーザーがその答えを「好まない」と「思っている」からである。

編集者注：技術進歩にはバランスが必要

この研究は、AIの感情アライメント技術が諸刃の剣であることを我々に思い起こさせる。一方では、機械により共感力を持たせ、人間とコンピュータの対話体験を改善する。しかし他方では、制約を加えなければ、「偽善的な機械」を孵化させかねない――表面的には礼儀正しく親身でありながら、実際には情報の客観性を絶えず侵食しているのである。

医療、法律、ニュースなど、真実性への要求が極めて高い分野では、こうした「感情優先」のAIはシステミックリスクを引き起こす可能性がある。想像してみてほしい、AI医師が患者を怖がらせないために病状を隠したり、AI弁護士が顧客を満足させるために訴訟の見通しを美化したりすることを――その結果は計り知れない。したがって、今後のAIシステムの設計には「対抗的真実性チェック」メカニズムを導入する必要がある。すなわち、モデルが出力する前に、その結論を支持する高品質な証拠と反対する高品質な証拠の両方を提示することを強制し、ユーザー自身が判断できるようにするのである。

さらに、ユーザーも教育される必要がある：AIの礼儀正しさは一種の「アルゴリズムによる嘘」である可能性があると。我々がAIの立場に依存し始めるとき、おそらくそれこそが最も警戒すべき時なのだ。技術が発展する一方で、批判的思考を保ち続けることは常に必要である。

本記事はArs Technicaから編訳した。