「ハルシネーションって最近よく聞くけど、一体どういう現象なの？」
「ハルシネーションによるリスクを避けるには、どのような対策が必要？」
ChatGPTをはじめとする生成AIの利用が急速に広まる中、生成AIが事実とは異なる情報をもっともらしく生成する「ハルシネーション」が問題視されています。
もし誤情報をそのまま活用してしまうと、個人や企業の信用を損ねたり、誤った意思決定につながったりする危険があります。特に社会的に影響力のある場面で誤情報が拡散されれば、深刻な混乱を招くおそれも否定できません。
そこで本記事では、生成AIのハルシネーションについて以下の内容を解説します。
- ハルシネーションとは何か
- ハルシネーションが起こる原因
- ハルシネーションがもたらす悪影響
- ハルシネーションへの具体的な対策
本記事を読むことで、ハルシネーションのリスクを正しく理解し、生成AIを安全に活用するためのポイントがわかるでしょう。生成AIを業務で利用している方や、導入を検討している企業の担当者の方は、ぜひご一読ください。
ハルシネーションとは
ハルシネーションとは、生成AIが事実とは異なる情報や、文脈に合わない内容をもっともらしく生成してしまう現象のことです。「幻覚」や「幻影」を意味する言葉で、誤った回答を出力する様子を表しています。生成AIは正確な情報の中に自然な形で誤情報を混ぜ込むため、利用者が誤りに気づかず信じてしまうケースも少なくありません。
特に厄介なのは、一見すると論理的で説得力があるように見えてしまう点です。そのため、誤った情報を鵜呑みにしてしまうと、ビジネス上の判断ミスや誤った知識の拡散につながるおそれがあります。
現在の技術では、ハルシネーションの発生を完全に防ぐことは難しいといわれています。生成AIを活用する際は、「ハルシネーションが起こりうる」という前提を理解した上で、情報を鵜呑みにせず検証する姿勢が重要です。
ハルシネーションの種類
ハルシネーションには、大きく分けて「Intrinsic Hallucinations（内在的ハルシネーション）」と「Extrinsic Hallucinations（外在的ハルシネーション）」の2種類があります。
「Intrinsic Hallucinations」は、生成AIが学習した元の情報と矛盾する、あるいは内容が食い違う情報を生成してしまう現象です。たとえば、参照した記事の内容を要約させた際に、元の記事にはない情報を付け加えたり、内容を誤って解釈したりするケースがこれにあたります。
一方で「Extrinsic Hallucinations」は、学習データに存在しない情報をあたかも事実であるかのように生成してしまう現象です。具体的には、存在しない研究論文を引用したり、架空の事件について詳細に語ったりするケースがあります。
ハルシネーションが起こる原因
ハルシネーションが発生する原因は一つではありません。以下のように、生成AIが学習する「データ」の問題と、人間からの「指示」の問題の2つが挙げられます。
- 学習データが不十分または偏っている
- 指示の仕方に問題がある
学習データが不十分または偏っている
生成AIが学習するデータの質と量は、回答の精度に大きく影響します。学習データの量が不足していたり、特定の分野や意見に偏っていたりすると、生成AIは正確な判断ができません。その結果、知識の不足を補おうと不正確な推測で情報を生成してしまい、ハルシネーションが発生しやすくなります。
また、学習データの「鮮度」も原因の一つとして挙げられます。生成AIは学習した時点までの情報しか持たないため、学習データが古いと最新の出来事や新しい概念に対応できません。そのため、現状とは異なる内容を出力してしまうケースがあります。
指示の仕方に問題がある
生成AIへの指示（プロンプト）の仕方が不適切である場合も、ハルシネーションを引き起こす原因となります。生成AIが理解しにくい曖昧な質問や、複雑すぎる指示をした場合、生成AIは推測に基づいて情報を強引に生成しようとするため、ハルシネーションが引き起こされやすくなるのです。
問題が起こる背景には、生成AIが文章を作る仕組みが関係しています。生成AIは学習データを基に、次に来る確率がもっとも高い単語を予測しながら文章を生成。この仕組み上、情報の正確性よりも文脈としての自然さが優先される傾向があり、もっともらしい嘘が生まれてしまいます。
また、前提条件に誤りを含む誘導的なプロンプトも危険です。たとえば、「22世紀に活躍した日本の偉人について教えて」といった、事実としてあり得ない前提を含む質問を投げかけると、生成AIはその誤った前提に乗っかって架空の人物像を作り出してしまうことがあります。
ハルシネーションによる悪影響
ハルシネーションが発生した場合、個人や企業、さらには社会全体に深刻な影響をもたらす可能性があります。ここでは、情報の信頼性の観点、意思決定の観点、セキュリティの観点から、主な悪影響を取り上げます。
- 不正確な情報が広まってしまう
- 誤った情報を信じて行動してしまう
- 新たな脆弱性が生まれるリスクがある
誤った情報に基づく判断や行動は、取り返しのつかない損害を引き起こすリスクを含んでいるため、その影響範囲を正しく認識しておきましょう。
不正確な情報が広まってしまう
ハルシネーションによって生成された誤った情報が、SNSなどを通じて拡散されてしまうリスクがあります。生成AIが作成した文章や画像は巧妙であるため、多くの人が誤りに気づかずに事実として受け入れてしまうケースも少なくありません。一度拡散された誤情報は多くの人々の目に触れることで、社会的な混乱にもつながる可能性があります。
特に、個人や企業の名誉を傷つけるような誤りが含まれていた場合、その影響は深刻です。事実無根の情報によって、社会的な信用を失墜させられるおそれもあります。実際に海外では、生成AIがある人物について「犯罪に関与した」といった虚偽の情報を生成したことで、名誉毀損として訴えられるケースが発生しています。
誤った情報を信じて行動してしまう
ハルシネーションによる誤情報を基にした行動は、個人や組織に深刻な被害をもたらす可能性があります。たとえば、企業の重要な意思決定において、生成AIによる架空の市場データや分析レポートを参考にした場合、経営判断を誤り、重大なトラブルに発展するおそれがあります。誤った情報に基づく行動は、ビジネスチャンスの損失や経済的なダメージを招くことにもなりかねません。
実際に、アメリカでは弁護士が裁判の準備で生成AIを利用した際、生成AIが出力した「存在しない過去の判例」を事実確認せずに裁判所へ提出してしまった事例が報告されています。誤情報を信じて行動することは、個人・組織を問わず重大な結果を招きかねないため、情報の信頼性を必ず検証する姿勢が求められます。
新たな脆弱性が生まれるリスクがある
生成AIの活用はシステム開発の分野にも及んでいますが、ハルシネーションはセキュリティ上のリスクを生み出す原因にもなり得ます。生成AIが作ったプログラミングコードやシステムの設定内容に、一見すると気づきにくい誤りが含まれている可能性があるためです。
たとえば、生成AIがハルシネーションによって不適切なコードを出力した場合、開発者がその問題を認識できないままシステムに組み込んでしまう事態が考えられます。もし、そのコードをそのまま本番環境に反映させてしまうと、意図しない脆弱性が生まれる可能性があります。脆弱性は悪意のある第三者によるサイバー攻撃の標的となるため、情報漏洩といった深刻なインシデントにつながるおそれも否定できません。
ハルシネーションによるトラブルへの対策
ハルシネーションによるリスクを最小限に抑えるためには、適切な対策を講じることが不可欠です。完全にハルシネーションを防ぐことは困難ですが、以下の対策を実施すると、発生確率を減らし、万一発生した場合の被害を最小限に留められます。具体的な対策は次の5つです。
- プロンプトの指示内容を明確にする
- 必ずファクトチェックを行う
- RAGを活用した生成AIを使う
- ガイドラインやマニュアルを作成する
- 脆弱性診断を実施する
1.プロンプトの指示内容を明確にする
ハルシネーションを抑制する上で、AIへの指示、すなわちプロンプトの内容を明確にすることが非常に重要です。プロンプトを作成する際は、以下の3つの点に配慮しましょう。
- 主語・年代・対象を具体的に示す
「2023年以降に日本で施行された労働関連の法律の改正点を教えて」など明確に指示する - 事実かどうかわからないことを前提にしない
存在するかわからない情報について断定的に質問しない - 回答が存在しない場合の対応を指定する
該当する情報がない場合は「情報がありません」と回答するよう指示する
指示内容をできる限り明確にすることで、生成AIが不正確な補完を行うリスクを抑え、より信頼性の高い出力を得られるようになります。
2.必ずファクトチェックを行う
生成AIが出力した情報を利用する際は、その内容を鵜呑みにせず、必ずファクトチェック（事実確認）を行うことが不可欠です。生成AIの回答に誤りが含まれている可能性を常に念頭に置き、補助的なツールとして活用する姿勢が求められます。具体的には、出力された情報が古くないか、内容に誤りはないか、質問の意図と回答が合致しているかなどを確認しましょう。
確認作業は個人の判断に任せるだけでなく、組織全体で取り組む体制を整えることも大切です。たとえば、「誰が、どのような方法で事実確認を行うのか」といったルールをあらかじめ定めておけば、チェック漏れを防げます。
特に企業で利用する場合には、担当者による一次チェックに加え、法務部門などの専門部署が内容を再確認するダブルチェック体制を構築するのも有効な手段です。複数人の目で確認することで、ハルシネーションによる誤った情報を社内外の資料に使用してしまうリスクを低減できます。
3.RAGを活用した生成AIを使う
ハルシネーション対策として、RAGと呼ばれる技術を導入するのも有効な手段です。RAGは「Retrieval-Augmented Generation」の略で、日本語では「検索拡張生成」と訳されます。生成AIの機能に外部の情報を検索する機能を組み合わせた技術で、最新の情報や信頼性の高い情報源を参照できるようになります。
従来の生成AIは、事前に学習したデータの範囲内でしか回答を生成できませんでした。しかし、RAGを活用すると、生成AIは事前に学習したデータ範囲だけでなく、外部のデータベースから得た情報に基づいてより精度の高い回答を生成することが可能です。
また、RAGを活用した生成AIの多くは、回答の根拠となった情報ソースを提示してくれる点も大きなメリットです。万が一ハルシネーションが起きたとしても、どの情報源に問題があったのかを特定しやすく、原因究明やデータ修正といった管理が容易になります。
4.ガイドラインやマニュアルを作成する
組織で生成AIを導入する際は、利用に関するガイドラインやマニュアルの整備が重要です。明確なルールを設けることで、従業員が安全かつ効果的に生成AIを活用できる環境を整えられます。
たとえば、生成AIの利用範囲を「アイデア出しの補助」や「情報収集のたたき台」といったサポート業務に限定するのが有効です。重要な意思決定や外部向けの公式文書作成など、リスクの高い業務での使用を制限することで、ハルシネーションに起因する重大なトラブルを未然に防ぐ効果が期待できるでしょう。
マニュアルには、具体的な対策を盛り込むことが求められます。効果的なプロンプトの作成方法や、出力結果に対するファクトチェックの義務化などを明記し、従業員がハルシネーションのリスクを理解した上で利用できる環境を構築しましょう。また、そもそもハルシネーションとは何か、どのような危険があるのかといった基本的な知識を周知することも欠かせません。
5.脆弱性診断を実施する
生成AIを活用してシステム開発を行う環境においては、セキュリティ対策として脆弱性診断を行うことが不可欠です。脆弱性診断とは、Webアプリケーションなどに潜むセキュリティ上の問題点を網羅的に洗い出す検査です。万が一ハルシネーションによって誤ったコードを組み入れてしまった場合でも、システムに潜むリスクを早期に発見できます。
近年では、AI搭載アプリケーションの普及に伴い、従来のWebアプリケーションよりもさらに複雑な脆弱性が生まれる可能性が高まっています。生成AI時代においてより安全な開発環境を維持するために、定期的な脆弱性診断を実施しましょう。
脆弱性診断についてより詳しく知りたい方は、以下の関連記事をご覧ください。
▼関連記事
まとめ｜ハルシネーションのリスクを理解して生成AIを活用しよう
ハルシネーションとは、生成AIが事実とは異なる情報を生成してしまう現象です。誤情報が広まれば社会的混乱を招いたり、誤った判断につながったりするだけでなく、システム開発において新たな脆弱性を生むリスクもあります。
生成AIは非常に便利なツールですが、その特性とリスクを正しく理解した上で活用することが不可欠です。ハルシネーションによるトラブルを防ぐためには、以下のような対策を組織的に実施することが求められます。
- プロンプトの指示内容を明確にする
- 必ずファクトチェックを行う
- RAGを活用した生成AIを使う
- ガイドラインやマニュアルを作成する
- 脆弱性診断を実施する
特に、生成AIをシステム開発に活用する場合、意図しない脆弱性が生まれるリスクは無視できません。生成AIが自動生成したコードに問題がないかを確認するためにも、定期的な脆弱性診断を行いましょう。
定期的、継続的な脆弱性診断の実施には、高精度な自動診断を提供するAeyeScanが役立ちます。生成AI時代のセキュリティリスクを効果的に低減させたい方は、まずAeyeScanの資料をダウンロードしてみてください。
