ハルシネーションとは、ChatGPTなどの生成AIが、事実とは異なる情報をあたかも正しいかのようにもっともらしく生成してしまう現象です。
ChatGPTをはじめとする生成AIの利用が急速に広まる中、ハルシネーションは企業・個人を問わず深刻なリスクとなっています。
もし誤情報をそのまま活用してしまうと、個人や企業の信用を損ねたり、誤った意思決定につながったりする危険があります。特に社会的に影響力のある場面で誤情報が拡散されれば、深刻な混乱を招くおそれも否定できません。
そこで本記事では、生成AIのハルシネーションについて以下の内容を解説します。
- ハルシネーションとは何か
- ハルシネーションが起こる原因
- ハルシネーションがもたらす悪影響
- ハルシネーションへの具体的な対策
本記事を読むことで、ハルシネーションのリスクを正しく理解し、生成AIを安全に活用するためのポイントがわかるでしょう。生成AIを業務で利用している方や、導入を検討している企業の担当者の方は、ぜひご一読ください。
ハルシネーションとは
ハルシネーションとは、生成AIが事実とは異なる情報や、文脈に合わない内容をもっともらしく生成してしまう現象のことです。「幻覚」や「幻影」を意味する言葉で、誤った回答を出力する様子を表しています。生成AIは正確な情報の中に自然な形で誤情報を混ぜ込むため、利用者が誤りに気づかず信じてしまうケースも少なくありません。
特に厄介なのは、一見すると論理的で説得力があるように見えてしまう点です。そのため、誤った情報を鵜呑みにしてしまうと、ビジネス上の判断ミスや誤った知識の拡散につながるおそれがあります。
現在の技術では、ハルシネーションの発生を完全に防ぐことは難しいといわれています。生成AIを活用する際は、「ハルシネーションが起こりうる」という前提を理解した上で、情報を鵜呑みにせず検証する姿勢が重要です。
ハルシネーションの種類
ハルシネーションには、大きく分けて「Intrinsic Hallucinations（内在的ハルシネーション）」と「Extrinsic Hallucinations（外在的ハルシネーション）」の2種類があります。
「Intrinsic Hallucinations」は、生成AIが学習した元の情報と矛盾する、あるいは内容が食い違う情報を生成してしまう現象です。たとえば、参照した記事の内容を要約させた際に、元の記事にはない情報を付け加えたり、内容を誤って解釈したりするケースがこれにあたります。
一方で「Extrinsic Hallucinations」は、学習データに存在しない情報をあたかも事実であるかのように生成してしまう現象です。具体的には、存在しない研究論文を引用したり、架空の事件について詳細に語ったりするケースがあります。
生成AIによるハルシネーションの事例
ハルシネーションによるトラブルは、数多く報じられています。ここでは、報道や公的な発表で内容を確認できる主な事例を紹介します。
- 事例①ChatGPTの誤回答をめぐる名誉毀損訴訟
- 事例②企業のチャットボットが存在しない割引制度を案内
- 事例③弁護士が存在しない判例を裁判所に提出
- 事例④新聞の推薦図書リストに実在しない本が掲載
事例①ChatGPTの誤回答をめぐる名誉毀損訴訟
米国のラジオ番組司会者が、ChatGPTに「横領で訴えられている」という事実無根の内容を生成されたとして、開発元のOpenAIを名誉毀損で提訴しました。ジャーナリストがChatGPTに別の訴訟の要約を頼んだところ、その訴訟と無関係な司会者が横領の当事者であるかのような回答が出力されたのが発端です。
なお、この訴訟では2025年5月、ジョージア州の裁判所がOpenAI側の主張を認め、司会者側の請求を退けました。判断にあたっては、OpenAIが誤りの可能性を利用者に警告していた点などが考慮されています。法的な責任の有無にかかわらず、AIの出力によって特定の個人に虚偽の疑いがかけられた点で、見過ごせない事例です。
※出典：Cleary Gottlieb
事例②企業のチャットボットが割引制度の適用条件を誤案内
エア・カナダのWebサイトに設置されたチャットボットが、忌引割引運賃について「搭乗後でも90日以内に申請すれば適用される」と誤って案内しました。実際の規定では、搭乗後の申請は認められていません。案内を信じて正規運賃で航空券を購入した利用者が、返金を求めて申し立てを行いました。
2024年2月、ブリティッシュコロンビア州の民事紛争解決審判所は、チャットボットの情報もWebサイトの一部であり、企業が責任を負うと判断し、同社に差額などの支払いを命じました。「チャットボットは独立した存在で、会社は責任を負わない」という企業側の主張は、認められませんでした。
※出典：米国法曹協会（ABA）Business Law Today
事例③弁護士が存在しない判例を裁判所に提出
米ニューヨーク州の連邦地裁で審理されていた航空会社への損害賠償訴訟で、原告側の弁護士がChatGPTを使って作成した書面に、存在しない判例が複数引用されていました。相手方の弁護士や裁判官が判例を見つけられなかったことで発覚しています。
弁護士は、AIが出力した判例を、事実確認せずに裁判所へ提出していました。最終的に、弁護士らには5,000ドルの制裁金が科されています。
事例④新聞の推薦図書リストに実在しない本が掲載
2025年5月、米紙シカゴ・サンタイムズなどに掲載された夏の推薦図書リストで、紹介された15冊のうち10冊が実在しない本だったことが判明しました。
著者名には実在の作家が使われていましたが、書名やあらすじはAIが作り出したものでした。記事は外部の配信会社から提供されたもので、執筆したフリーランスのライターがAIを使い、内容を確認しないまま納品していたと報じられています。
ハルシネーションが起こる原因
ハルシネーションが発生する原因は一つではありません。以下のように、生成AIが学習する「データ」の問題、人間からの「指示」の問題、生成AIが文章を作る「仕組み」の問題が挙げられます。
- 学習データが不十分または偏っている
- 指示の仕方に問題がある
- 次に来る言葉を確率で予測して文章を作っている
- 学習した時点より新しい情報を知らない
学習データが不十分または偏っている
生成AIが学習するデータの質と量は、回答の精度に大きく影響します。学習データの量が不足していたり、特定の分野や意見に偏っていたりすると、生成AIは正確な判断ができません。その結果、知識の不足を補おうと不正確な推測で情報を生成してしまい、ハルシネーションが発生しやすくなります。
特に、専門性の高い分野や、インターネット上に情報が少ない社内固有の事柄（自社製品の仕様や社内規定など）は、学習データにほとんど含まれていません。こうした内容を尋ねる場面では、ハルシネーションが起こりやすいと考えておきましょう。
指示の仕方に問題がある
生成AIへの指示（プロンプト）の仕方が不適切である場合も、ハルシネーションを引き起こす原因となります。生成AIが理解しにくい曖昧な質問や、複雑すぎる指示をした場合、生成AIは推測に基づいて情報を強引に生成しようとするため、ハルシネーションが引き起こされやすくなるのです。
また、前提条件に誤りを含む誘導的なプロンプトも危険です。たとえば、「22世紀に活躍した日本の偉人について教えて」といった、事実としてあり得ない前提を含む質問を投げかけると、生成AIはその誤った前提に乗っかって架空の人物像を作り出してしまうことがあります。
▼関連記事
次に来る言葉を確率で予測して文章を作っている
生成AI（LLM）は、質問の意味を踏まえて回答を生成しますが、その内容が必ずしも事実に基づいているとは限りません。学習した大量の文章をもとに「この言葉の次には、どの言葉が来る確率が高いか」を予測し、言葉を一つずつ繋げて文章を組み立てています。
出力の際は文章として自然かどうかが優先され、内容が事実かどうかが確かめられていないケースも少なくありません。そのため、正しい知識がない質問に対しても、それらしい言葉をつなげて自然な文章を作れてしまいます。
また、生成AIは質問に対して何らかの形で答えようとします。知識が足りない部分があっても「わからない」とは答えず、推測で埋めてしまう場合がある点も押さえておきましょう。
学習した時点より新しい情報を知らない
生成AIは、基本的に学習した時点までの情報をもとに回答を生成します。Web検索などの外部情報を参照する機能がなければ、学習以降に起きた出来事や、改正された法律、新しく公開された製品・サービスについて、正確に回答できない場合があります。それでも質問されると、古い知識を「現在の情報」として答えたり、知らない部分を推測で補ったりします。
Web検索機能を備えた生成AIであれば、最新の情報を参照できる場合もあります。ただし、検索で見つけたページの内容を正しく読み取れるとは限りません。最新の情報が必要な場面では、公式サイトなどの一次情報で必ず確認しましょう。
ハルシネーションによる悪影響
ハルシネーションが発生した場合、個人や企業、さらには社会全体に深刻な影響をもたらす可能性があります。ここでは、情報の信頼性の観点、意思決定の観点、セキュリティの観点から、主な悪影響を取り上げます。
- 不正確な情報が広まってしまう
- 誤った情報を信じて行動してしまう
- 新たな脆弱性が生まれるリスクがある
誤った情報に基づく判断や行動は、取り返しのつかない損害を引き起こすリスクを含んでいるため、その影響範囲を正しく認識しておきましょう。
不正確な情報が広まってしまう
ハルシネーションによって生成された誤った情報が、SNSなどを通じて拡散されてしまうリスクがあります。生成AIが作成した文章や画像は巧妙であるため、多くの人が誤りに気づかずに事実として受け入れてしまうケースも少なくありません。一度拡散された誤情報は多くの人々の目に触れることで、社会的な混乱にもつながる可能性があります。
特に、個人や企業の名誉を傷つけるような誤りが含まれていた場合、その影響は深刻です。事実無根の情報によって、社会的な信用を失墜させられるおそれもあります。
誤った情報を信じて行動してしまう
ハルシネーションによる誤情報を基にした行動は、個人や組織に深刻な被害をもたらす可能性があります。たとえば、企業の重要な意思決定において、生成AIによる架空の市場データや分析レポートを参考にした場合、経営判断を誤り、重大なトラブルに発展するおそれがあります。誤った情報に基づく行動は、ビジネスチャンスの損失や経済的なダメージを招くことにもなりかねません。
誤情報を信じて行動することは、個人・組織を問わず重大な結果を招きかねないため、情報の信頼性を必ず検証する姿勢が求められます。
新たな脆弱性が生まれるリスクがある
生成AIの活用はシステム開発の分野にも及んでいますが、ハルシネーションはセキュリティ上のリスクを生み出す原因にもなり得ます。生成AIが作ったプログラミングコードやシステムの設定内容に、一見すると気づきにくい誤りが含まれている可能性があるためです。
たとえば、生成AIがハルシネーションによって不適切なコードを出力した場合、開発者がその問題を認識できないままシステムに組み込んでしまう事態が考えられます。もし、そのコードをそのまま本番環境に反映させてしまうと、意図しない脆弱性が生まれる可能性があります。脆弱性は悪意のある第三者によるサイバー攻撃の標的となるため、情報漏洩といった深刻なインシデントにつながるおそれも否定できません。
生成AIの出力を確認する具体的な手順と比較例
ハルシネーションの悪影響を防ぐには、生成AIの出力結果をそのまま業務に利用せず、人間による確認（ファクトチェック）を徹底することが欠かせません。
ここでは、以下の点を解説します。
- 生成AIが出力した内容が正しいか確認する手順
- 出力結果の取り扱いに関するNG例とOK例
生成AIが出力した内容が正しいか確認する手順
生成AIの出力に対する確認は、以下の3つの観点で行いましょう。
- 一次情報と照合する
- 論理を確認する
- 専門家による確認を行う
一次情報と照合する
出力の中に根拠となるURLや引用元が含まれている場合、必ずアクセスしてページが実在するかを確認します。また、官公庁の発表や企業の公式ドキュメントなど、信頼できる一次情報と突き合わせます。
【確認ポイント】
・出力に含まれる根拠URLを実際に開き、ページが存在するかを確認する
・引用元の論文・書籍・法令・判例を、発行元の公式サイトや公的なデータベースで検索し、実在するかを確認する
・生成AIが説明した内容や数値が、引用元に本当に書かれているかを照らし合わせる
・引用元の公開日・更新日を確認し、情報が古くなっていないかを確かめる
論理を確認する
文章の前提と結論の間に飛躍がないか、計算式や数値の辻褄が合っているかを確認します。一見すると論理的に見えても、よく読むと因果関係が破綻していることがあります。
【確認ポイント】
・回答の前提（対象・期間・地域・製品のバージョンなど）が、質問の条件と一致しているかを確認する
・「AだからBになる」という説明の間に、根拠のない飛躍がないかを確認する
・回答の前半と後半で、矛盾した説明をしていないかを確認する
・一般論を、自社の環境や条件にそのまま当てはめていないかを確認する
専門家による確認を行う
セキュリティ要件、法的見解、社内規定など、専門的な判断が求められる内容は、必ず該当分野の専門家や担当部署がもう一度確認します。
【確認ポイント】
・セキュリティ担当者が、コードや設定に危険な構成（不要な権限の付与、認証の省略、暗号化の無効化など）がないかを確認する
・法務・コンプライアンス担当者が、法令や契約、社内規定との食い違いがないかを確認する
・製品やサービスの担当者が、自社の仕様や運用ルールと矛盾がないかを確認する
出力結果の取り扱いに関するNG例とOK例
生成AIが出力した内容は、どのように取り扱ったらよいのでしょうか。製品のセキュリティ仕様を生成AIに尋ね、詳細なAPI仕様と設定項目が出力された場合について考えてみましょう。
【NG例】そのまま信じて使ってしまう
もっともらしい内容であったため、公式マニュアルを確認せず、生成AIが提示した存在しないAPI仕様や設定項目をそのままソースコードやシステム設定に組み込んだ。結果としてエラーが発生したり、予期せぬ脆弱性が生まれたりした。
【OK例】公式ドキュメントと照らし合わせる
出力内容をそのまま使わず、AIが示した設定項目や設定方法について、メーカー公式ドキュメントや最新のリリースノートと照らし合わせて裏付けを取った。実在する仕様であり、安全性や自社環境との適合性も確認できたものだけを、コードや設定に反映させた。
このように、出力結果は同じでも、その後の行動によって結果は変わります。必ずOK例のような対応をしましょう。
ハルシネーションによるトラブルへの対策
ハルシネーションによるリスクを最小限に抑えるためには、適切な対策を講じることが不可欠です。完全にハルシネーションを防ぐことは困難ですが、以下の対策を実施すると、発生確率を減らし、万一発生した場合の被害を最小限に留められます。具体的な対策は次の5つです。
- プロンプトの指示内容を明確にする
- 必ずファクトチェックを行う
- RAGを活用した生成AIを使う
- ガイドラインやマニュアルを作成する
- 脆弱性診断を実施する
1.プロンプトの指示内容を明確にする
ハルシネーションを抑制する上で、AIへの指示、すなわちプロンプトの内容を明確にすることが非常に重要です。プロンプトを作成する際は、以下の3つの点に配慮しましょう。
- 主語・年代・対象を具体的に示す
「2023年以降に日本で施行された労働関連の法律の改正点を教えて」など明確に指示する - 事実かどうかわからないことを前提にしない
存在するかわからない情報について断定的に質問しない - 回答が存在しない場合の対応を指定する
該当する情報がない場合は「情報がありません」と回答するよう指示する - 回答の根拠を示すよう求める
「回答の根拠となった資料名とURLを併記して」と指示し、後から確認できるようにする
指示内容をできる限り明確にすることで、生成AIが不正確な補完を行うリスクを抑え、より信頼性の高い出力を得られるようになります。ただし、生成AIが示した根拠のURLや資料名そのものが架空の場合もあるため、必ず実在を確認しましょう。
2.必ずファクトチェックを行う
生成AIが出力した情報を利用する際は、その内容を鵜呑みにせず、必ずファクトチェック（事実確認）を行うことが不可欠です。生成AIの回答に誤りが含まれている可能性を常に念頭に置き、補助的なツールとして活用する姿勢が求められます。具体的には、出力された情報が古くないか、内容に誤りはないか、質問の意図と回答が合致しているかなどを確認しましょう。
確認作業は個人の判断に任せるだけでなく、組織全体で取り組む体制を整えることも大切です。たとえば、「誰が、どのような方法で事実確認を行うのか」といったルールをあらかじめ定めておけば、チェック漏れを防げます。
特に企業で利用する場合には、担当者による一次チェックに加え、法務部門などの専門部署が内容を再確認するダブルチェック体制を構築するのも有効な手段です。複数人の目で確認することで、ハルシネーションによる誤った情報を社内外の資料に使用してしまうリスクを低減できます。
3.RAGを活用した生成AIを使う
ハルシネーション対策として、RAGと呼ばれる技術を導入するのも有効な手段です。RAGは「Retrieval-Augmented Generation」の略で、日本語では「検索拡張生成」と訳されます。生成AIの機能に外部の情報を検索する機能を組み合わせた技術で、最新の情報や信頼性の高い情報源を参照できるようになります。
従来の生成AIは、事前に学習したデータの範囲内でしか回答を生成できませんでした。しかし、RAGを活用すると、生成AIは事前に学習したデータ範囲だけでなく、外部のデータベースから得た情報に基づいてより精度の高い回答を生成することが可能です。
また、RAGを活用した生成AIの多くは、回答の根拠となった情報ソースを提示してくれる点も大きなメリットです。万が一ハルシネーションが起きたとしても、どの情報源に問題があったのかを特定しやすく、原因究明やデータ修正といった管理が容易になります。
ただし、次のような条件ではRAGを使ってもハルシネーションが起きる可能性があるため、過信は禁物です。
- 参照するデータ自体に問題がある
RAGが参照する社内の資料やデータベースに、古い情報、誤り、部署間で食い違う情報が含まれている場合、生成AIはその誤った情報を基に回答を生成してしまいます。 - 検索の精度が低い
質問に合う情報を正しく取り出せないと、生成AIには関係の薄い情報が渡されます。必要な情報がないまま回答を求められた生成AIは、渡された無関係な情報を無理に使ったり、足りない部分を推測で補ったりします。 - AIが渡された情報を誤って解釈する
正しい情報を検索してAIに渡せたとしても、プロンプトの指示の書き方が曖昧だったり、AIモデル特有のくせがあったりすると、生成AIが情報を無視したり、勝手に自分の知識を補って事実を歪めたりすることがあります。
4.ガイドラインやマニュアルを作成する
組織で生成AIを導入する際は、利用に関するガイドラインやマニュアルの整備が重要です。明確なルールを設けることで、従業員が安全かつ効果的に生成AIを活用できる環境を整えられます。
たとえば、生成AIの利用範囲を「アイデア出しの補助」や「情報収集のたたき台」といったサポート業務に限定するのが有効です。重要な意思決定や外部向けの公式文書作成など、リスクの高い業務での使用を制限することで、ハルシネーションに起因する重大なトラブルを未然に防ぐ効果が期待できるでしょう。
マニュアルには、具体的な対策を盛り込むことが求められます。効果的なプロンプトの作成方法や、出力結果に対するファクトチェックの義務化などを明記し、従業員がハルシネーションのリスクを理解した上で利用できる環境を構築しましょう。また、そもそもハルシネーションとは何か、どのような危険があるのかといった基本的な知識を周知することも欠かせません。
5.脆弱性診断を実施する
生成AIを活用してシステム開発を行う環境においては、セキュリティ対策として脆弱性診断を行うことが不可欠です。脆弱性診断とは、Webアプリケーションなどに潜むセキュリティ上の問題点を網羅的に洗い出す検査です。万が一ハルシネーションによって誤ったコードを組み入れてしまった場合でも、システムに潜むリスクを早期に発見できます。
近年では、AI搭載アプリケーションの普及に伴い、従来のWebアプリケーションよりもさらに複雑な脆弱性が生まれる可能性が高まっています。生成AI時代においてより安全な開発環境を維持するために、定期的な脆弱性診断を実施しましょう。
脆弱性診断についてより詳しく知りたい方は、以下の関連記事をご覧ください。
▼関連記事
ハルシネーション対策とあわせて考えるべきリスク管理
生成AIを業務で安全に利用するためには、ハルシネーションへの対策だけでなく、AIを取り巻くセキュリティ環境全体を俯瞰する必要があります。技術的な脆弱性と組織的な管理体制、この両輪を意識して、より安全な生成AIの活用を実現しましょう。
AIセキュリティの考えを押さえておく
ハルシネーションへの備えは、生成AIを安全に使うための第一歩にすぎません。生成AIを業務に取り入れるほど、機密情報の入力による漏洩や、AIを組み込んだシステム自体が攻撃対象になるといったリスクも同時に生まれます。
そこで押さえておきたいのが「AIセキュリティ」という考え方です。AIセキュリティには、AI自体を攻撃や悪用から守る「Security for AI」と、AIの技術を活用して脅威を検知・防御する「AI for Security」という2つの視点があります。ハルシネーション対策は、前者の「Security for AI」と関係する、AIの安全性・信頼性を高めるための取り組みです。
さらに近年は、攻撃者側も生成AIを活用しています。違和感のないフィッシングメールの自動生成や、ディープフェイクによるなりすましなど、攻撃の巧妙さは従来とは比べものになりません。生成AIを「攻撃に使われる技術」としても捉え、自社に必要な対策を整理しておきましょう。
▼関連記事
LLM全体のセキュリティリスクを把握する
ハルシネーションは、自然な文章を理解・生成するLLM（大規模言語モデル）におけるリスクの一つです。国際的なセキュリティコミュニティOWASPが公開している「OWASP Top 10 for LLM Applications 2025」では、ハルシネーション以外にも多くのリスクが指摘されています。
例えば、プロンプトインジェクションによる意図しない動作や機密情報の漏洩などです。ハルシネーションへの警戒はもちろん重要ですが、LLMを利用する以上、それ以外のリスクについてもセットで把握しておきましょう。他のセキュリティリスクとの関連性を理解して対策することが、予期せぬトラブルを防ぐカギとなります。
▼関連記事
誤情報を防ぐには組織としてのAIガバナンスも必要
ハルシネーションを技術的に100%防ぐことは、現時点では困難と言われています。そのため、最終的には「生成AIが間違えることを前提とした組織体制」が必要不可欠です。
これを実現するのが「AIガバナンス」です。誰が生成AIの出力を確認するのか、万が一誤情報によって損害が発生した場合の責任所在はどうするのか、といったガイドラインを明確にします。個人のリテラシーに依存するのではなく、組織としてリスクをコントロールする仕組みを構築しましょう。しっかりとしたガバナンスがあれば、ハルシネーションが発生しても実害を最小限に抑えられます。
▼関連記事
まとめ｜ハルシネーションのリスクを理解して生成AIを活用しよう
ハルシネーションとは、生成AIが事実とは異なる情報を生成してしまう現象です。誤情報が広まれば社会的混乱を招いたり、誤った判断につながったりするだけでなく、システム開発において新たな脆弱性を生むリスクもあります。
生成AIは非常に便利なツールですが、その特性とリスクを正しく理解した上で活用することが不可欠です。ハルシネーションによるトラブルを防ぐためには、以下のような対策を組織的に実施することが求められます。
- プロンプトの指示内容を明確にする
- 必ずファクトチェックを行う
- RAGを活用した生成AIを使う
- ガイドラインやマニュアルを作成する
- 脆弱性診断を実施する
特に、生成AIをシステム開発に活用する場合、意図しない脆弱性が生まれるリスクは無視できません。生成AIが自動生成したコードに問題がないかを確認するためにも、定期的な脆弱性診断を行いましょう。
定期的、継続的な脆弱性診断の実施には、高精度な自動診断を提供するAeyeScanが役立ちます。生成AI時代のセキュリティリスクを効果的に低減させたい方は、まずAeyeScanの資料をダウンロードしてみてください。
著者：榊原敦子（シニアカスタマーマーケティングマネージャー）
