AIのハルシネーションとは？なぜもっともらしい間違いを言うのか

AIのハルシネーションとは、AIがもっともらしい文章を出しても、内容が事実や与えた資料と一致しなかったり、根拠のないことを断定したりする現象です。文章を自然に続けることと、その内容が正しいと確かめることは同じではありません。

対策の第一歩は、回答を一つずつの主張に分け、元の資料と照らすことです。「AIだから全部だめ」と捨てる前に、どの部分が違い、何がまだ分からないのかを見てみましょう。

ユイ

AIが教えてくれた本を探したけれど、題名も著者も見つからないの

マコト

本の紹介らしい文章でも、その本が実在するとは限らないんだね

ピコ

まず題名と著者を分けて確かめよう。見つからないだけで、まだ存在しないと決まったわけでもないよ

ラボの不確実性案内所では、生成した地図と、確認に使う原図を別々に置きます。似た道を自然に描けることと、その場所を本当に通れることを分けるためです。文章でも同じ違いを確かめていきます。

文章生成の土台を先に見るなら大規模言語モデルLLMとは？が入口です。LLMは文脈に続くトークンを予測して文章を作ります。その過程だけで、各文の事実性が確定するわけではありません。

ハルシネーションを先に定義

ハルシネーションという言葉は研究や製品で少し違う範囲に使われます。初心者向けには、出力が次のどれかと食い違う状態として捉えると整理しやすくなります。

• 現実の確認可能な事実と一致しない
• 利用者が渡した資料と一致しない
• 引用元に書かれていない内容を引用したように述べる
• 同じ回答の中で前後が矛盾する
• 根拠のない固有名詞や数値を、確認済みの事実のように補う

単なる誤字、計算ミス、質問の読み違いをどこまで含めるかは評価定義によります。実際の運用では言葉だけで一括せず、「事実誤り」「資料との不一致」「引用の捏造」「推測の断定」のように観察した失敗を具体的に記録します。

たとえは、案内人が地図の空白を周囲の道に似た形で埋め、存在しない近道を自然に説明してしまう場面です。ただしモデルには人間の案内人と同じ意図や体験があると決めるものではありません。

架空の物語を頼んで、架空の町が出てきたなら、依頼どおりの創作です。実在する町の道を尋ねたのに、存在しない道を事実として案内する場合とは区別します。では、見た目はよくできた回答の、どこを見れば違いが分かるのでしょうか。

もっともらしさと事実の違い

次は仕組みを考えるための架空の案内と回答例です。実在の催しや、特定のAIの出力を測定した記録ではありません。

ラボ見学会の案内メモ

開始は14時。所要時間は30分。予約が必要。会場はラボ1階。

このメモだけをもとに案内文を作るよう頼み、次の回答が返ったとします。

見学会は15時から、ラボ1階で開催します。予約なしで参加でき、お土産も用意しています。

文章としては自然です。でも、開始時刻はメモと違い、予約の条件も逆になっています。お土産は、あるともないとも書かれていません。会場だけは一致しています。一つの回答に、正しい部分と確かめられない部分が混ざることがあります。

言語モデルは、入力文脈に合うトークン列を生成します。学習した文章の規則性を使うため、文法、語調、文書の形式をうまく再現できます。架空の論文でも「著者名、題名、年、雑誌名」という引用らしい形を作れてしまうのは、その形式を構成できるからです。

一方、事実性を確かめるには、出力内容を現実の資料やデータと照合する必要があります。文体が整っていること、説明が長いこと、自信を示す語があることは、照合結果ではありません。

AIは本当に言葉を理解しているの？で分けたように、言語課題をこなす能力と、根拠の正しさ、意識の有無は別の軸です。「流暢だから正しい」「間違えたから能力が何もない」という二択を避けます。

この例では資料を渡しているのに、内容が変わっています。単に「知らなかったから」と考えるだけでは、直す場所を見落とします。

知識不足だけが原因ではない

新しい出来事や珍しい固有名詞の情報を学習していないことは誤りの一因ですが、それだけではありません。ハルシネーションに見える出力は、複数の段階で起こり得ます。

1. 質問が曖昧で、モデルが別の意味を選んだ
2. 学習データに誤り、偏り、情報不足があった
3. モデルが似た名前や関係を混ぜた
4. 候補選択で事実と異なる列を生成した
5. 検索が関係の薄い資料を取得した
6. 正しい資料を取得しても、回答に反映する際に取り違えた
7. 外部ツールの入力・計算・読取りが失敗した

同じ「答えが違う」でも、原因ごとに対策が変わります。質問を明確にする、一次資料を渡す、検索条件を改善する、計算機を使う、出力後に照合するなど、失敗した工程に対応させます。ただし、誤答一つだけを見てモデル内部の原因まで特定できるとは限りません。

案内文を検索付きAIで作るなら、古い案内を検索したのか、最新のメモを読み違えたのかで確認先が変わります。まず入力したメモと回答を並べると、少なくとも「どこが違うか」は確かめられます。

引用・数値・固有名詞で危険な場面

確認の優先度は、間違えたときの影響と、モデルが生成で補いやすい部分から決めます。

• 法律、医療、税金、契約、投資など判断への影響が大きい内容
• 人名、企業名、製品名、論文名、判例名などの固有名詞
• 日付、金額、割合、統計、型番、バージョン番号
• 引用文と、その引用元のページや節
• 現在の役職、価格、制度、提供地域など変化しやすい情報
• 実在の個人に関する評価や不正の主張

低影響のアイデア出しと、高影響の意思決定では同じ確認工程になりません。用途を先に分類し、人間が最終判断を持つ範囲を決めます。見学会の開始時刻や予約も、間違えると参加できなくなる情報です。文章の言い回しより先に確かめます。

自分で調べる代わりに、AIへ検索を頼めば解決するでしょうか。資料を探せることと、その資料を正しく使うことにも違いがあります。

検索付きAIとの共通点と違い

Web検索や社内資料検索を組み合わせると、モデル単体にはない新しい情報や根拠を入力に追加できます。これは事実性を改善する助けになりますが、回答全体が自動で正しくなるわけではありません。

検索付きでも、次の失敗が残ります。

• 検索語がずれ、別の同名対象を取得する
• 古い資料や信頼性の低いページを選ぶ
• 長い文書から必要箇所を取りこぼす
• 引用箇所は正しいのに、回答が過度に一般化する
• 出典リンクと本文の主張が対応しない
• 検索対象へアクセス権がなく、重要資料を読めない

共通点は、最後に言語モデルが文章を生成することです。違いは、生成時の文脈へ外部資料を追加できることです。この構成はRAGとは？で、資料準備から回答までの流れとして詳しく扱います。

見学会のメモへのリンクが付いていても、「お土産あり」という一文まで裏付けられたことにはなりません。リンクを開いた次に、何と何を比べればよいのでしょうか。

確認する順番と使い分け

回答全体を漠然と疑うより、主張を小さく分けて確認します。

1. 用途を決める: 下書き、学習、公開、意思決定のどれか
2. 主張を分ける: 定義、数値、引用、推測、提案へ色分けする
3. 高影響部分を先にする: 人、安全、金銭、権利に関わる箇所を優先する
4. 一次資料を探す: 法令、公式仕様、原論文、当事者の発表を確認する
5. 主張と資料を対応させる: リンクがあるだけでなく、該当箇所が支えるか読む
6. 不明を残す: 確認できない箇所を断定せず、公開範囲を調整する

AIへ自己確認を頼むことは補助になりますが、同じモデルの再回答だけを独立した証拠にはできません。計算なら計算機、現在情報なら公式ページ、原文なら一次資料というように、性質の違う確認手段を使い分けます。

「見つからない」と「存在しない」、「書かれていない」と「間違っている」も別です。根拠を確認できない内容を、確認済みとして使わないことが大切です。

ここまでで、回答のどこを照合すればよいかが見えてきました。最後のワークで、先ほどの案内文を実際に書き直してみます。

同じ種類の誤りを減らせたか、変更後にも前の仕事ができるかを調べるなら、複数の例が必要になります。AI評価（Evals）では、目的に合うケースと合格条件を用意し、変更前後を比べる方法を扱います。

不確実性案内所から次へ進む

外部資料を検索して文脈に加える構成はRAGとは？へ進みます。検索サービスがページを取得し、要約や回答に使う流れはAI検索はWebサイトをどう読んでいるの？で続きます。

生成の基本へ戻るなら大規模言語モデルLLMとは？、能力と人間の理解を分けるならAIは本当に言葉を理解しているの？を確認できます。

失敗を分類する確認クイズとワーク

ワーク：先ほどの回答から「15時」「予約なし」「お土産あり」「ラボ1階」を取り出し、メモと「矛盾する」「メモだけでは不明」「一致する」に分けてください。次に、メモから言える範囲で案内文を書き直します。

これは、与えたメモに沿っているかを確かめる練習です。現実の催しなら、メモ自体が最新の正式な案内かも確認します。資料に忠実であることと、その資料が現実に正しいことは別だからです。

Q1. AIは真実を知りながら意図的に嘘をつく？

通常のハルシネーション説明では、そのような人間的意図を前提にしません。生成結果が事実と不一致だった現象と、意図の推測を分けます。

Q2. 検索結果を参照した回答なら、全体が自動で事実になる？

なりません。検索対象、取得箇所、引用の対応、生成時の要約や推論を確認します。

Q3. 「分からない」と答えさせればゼロにできる？

不確実性を示す設計は有効ですが、誤って自信を持つ出力や、必要な回答まで拒む問題は残ります。用途別の評価と外部確認を組み合わせます。

回答を一文ずつ資料と照らせば、直せる箇所と、まだ分からない箇所が分かります。今度は、答える前に必要な資料を渡したいところです。資料が何百ページもあるとき、質問に合う部分だけをどう探してAIへ渡せばよいのでしょうか。次はRAGの仕組みで、資料棚から回答に使うページを選ぶ流れを追います。