ChatGPTの嘘（ハルシネーション）見分け方と対策法

※本記事はプロモーションを含みます。

卒論の参考文献リストに「存在しない論文」が紛れ込んでいた話

卒論やレポートを書いていて、ChatGPTに「このテーマに関する先行研究を教えて」と聞いたことがある人は多いと思います。もっともらしい著者名・雑誌名・発行年が並んだリストが返ってきて、そのまま参考文献欄にコピペしそうになった経験はないでしょうか。ところが実際にその論文をGoogle ScholarやCiNiiで検索してみると、著者は実在するのに論文タイトルはヒットしない、あるいは雑誌名自体が存在しない、ということが普通に起こります。

これが「ハルシネーション（幻覚）」と呼ばれる、生成AI特有のクセです。厄介なのは、嘘の答えほど自然な文章で、堂々と出てくることです。「たぶん」「自信がないですが」といった曖昧な言い方ではなく、断定口調で存在しない論文や統計、URLを出してくることすらあります。ゼミの発表資料や期末レポートにそのまま使ってしまうと、指導教員に「この文献、存在しないよね」と指摘されて信用を落としかねません。

なぜChatGPTは嘘をつくのか（原因）

ChatGPTをはじめとする大規模言語モデルは、事実データベースを検索して答えているわけではありません。学習した膨大なテキストから「次に来る確率が高い言葉」を予測して文章を組み立てています。つまり仕組み自体が「本当らしい文章を作る」ことに最適化されていて、「事実かどうか」を保証する仕組みは元々備わっていないのです。

これは、卒論の参考文献のように「実在する著者名」と「実在しないタイトル」を組み合わせて、もっともらしい1件をでっち上げてしまう挙動としてよく現れます。モデルのバージョンが新しくなっても、この構造自体はまだ変わっていません。応答の自然さや推論能力は向上しますが、「知らないことを知らないと正直に言う」精度が完璧になるわけではないため、ハルシネーションはゼロにはならないのが実情です。ここを誤解していると「新しいモデルだから今回は大丈夫」と根拠のない安心をしてしまいがちです。

つまずきポイント1：「ハルシネーションしないで」と頼むだけで満足してしまう

プロンプトの最後に「ハルシネーションしないでください」「嘘をつかないでください」と付け加える方法は一時期よく紹介されました。実際にはこの指示だけでは効果が限定的で、根本的な対策にはなりません。AIは「嘘をつくつもりで嘘をついている」わけではなく、本人（?）も本当だと思って答えているケースが多いため、単なる念押しでは自覚を促せないのです。

つまずきポイント2：出典やURLをそのまま信じてしまう

「出典を示してください」と頼むと、ChatGPTはそれらしい書籍名や論文タイトル、URLを生成することがあります。就活のES（エントリーシート）を書く際に「〇〇業界の市場規模の統計データを教えて」と聞いて、それらしい数字と出典を鵜呑みにしてしまうケースも同じ構造です。出典が付いているからといって、それだけで信頼度が上がるわけではない、という点は中級者でも見落としがちです。

見分け方：怪しい回答のサインを知る

完全に見抜く方法はありませんが、次のようなサインがあるときは特に注意が必要です。

• 固有名詞（人名・書籍名・法律名・数値）が含まれるのに、根拠の提示がない
• 「〜と言われています」「一般的に〜」など、主語がぼかされている
• 同じ質問を少し表現を変えて聞き直すと、答えの内容が変わる
• 非常に新しい出来事、あるいはニッチすぎる情報について断定的に語っている

特に卒論のテーマが少しマイナーな分野だったり、就活のES対策で聞いているのが自分の志望業界の細かい統計だったりする場合、このサインが出やすくなります。「あまり有名でないテーマほど疑ってかかる」くらいの姿勢がちょうどいいです。

正しい対策の手順：プロンプト設計から実践する

ハルシネーションを完全になくすことはできませんが、発生率を下げる工夫は現時点でいくつも確立されています。実際に試してみると、指示の出し方ひとつで答えの質がかなり変わることが体感できます。

手順1：「わからない場合は正直に言う」ことを先に約束させる

あなたは正確性を重視するアシスタントです。
確信が持てない情報については、
「確認できませんでした」「情報が不十分です」と
正直に答えてください。推測で断定しないでください。

まず、〇〇（自分の卒論テーマ）に関する
先行研究を3件教えてください。

このように、あらかじめ「わからない」という選択肢を許可しておくと、AIが無理に答えを埋めようとする挙動が抑えられやすくなります。卒論の先行研究探しでこの一文を入れておくだけでも、架空の論文をそれらしく出してくる頻度は体感で下がります。

手順2：一次情報・根拠を条件として明示する

この回答の根拠となる情報源（論文のDOI・出版社・
公式統計データなど）を具体的に示してください。
示せない場合は「根拠が確認できません」と
明記してください。

出典を求めるだけでなく、「示せなければ示せないと言う」ことをセットで指示するのがポイントです。ES用の業界統計を聞くときも同様に、「出典の一次URLも合わせて出してください」と条件を付けておくと、後で自分で裏取りしやすくなります。

手順3：同じ質問を角度を変えて2〜3回聞く（Self-Consistency）

1回の回答を鵜呑みにせず、聞き方を変えて複数回質問し、内容が一致するかを確認する方法です。例えば期末試験の一夜漬けで「〇〇法の要件を教えて」と聞いた後、別のチャットで「〇〇法の適用要件は何ですか」と表現を変えて聞き直し、答えの中身が一致するかを見ます。答えがブレる場合は、その情報自体の信頼度が低い可能性が高いと判断できます。手間はかかりますが、試験に出る条文や定義ほど、この一手間が効きます。

手順4：外部の一次情報と突き合わせる（RAG的な使い方）

本格的にはRAG（Retrieval-Augmented Generation：外部情報を検索してから回答させる仕組み）を導入すると、ハルシネーションの発生率を下げられることが分かっています。個人利用でも、講義のレジュメPDFや教科書の該当章をChatGPTに読み込ませたうえで「このファイルの範囲内だけで答えてください」と指示するだけで、簡易的に近い効果が得られます。期末試験前に配布資料を読み込ませて一問一答を作らせる、といった使い方をする場合は特に有効です。

中級者向け：一歩進んだ運用の考え方

ここまでの手順を身につけたら、次に意識したいのは「AIの出力は完成品ではなく下書き」という運用姿勢です。特に次のようなケースでは、必ず自分の目でのファクトチェックを挟むことをおすすめします。

• 卒論・レポートの参考文献や統計値など、間違いが単位や評価に直結する分野
• 就活のESや面接対策で使う業界データ・企業情報
• 「最新の出来事」に関する質問（学習データの時点より後の情報は特に不確か）

また、Self-Refine（AI自身に自分の回答を見直させる）という手法も有効です。「先ほど挙げてくれた先行研究について、事実誤認や実在しない文献がないか自己チェックしてください」と重ねて聞くだけでも、明らかな矛盾に気づいて訂正してくれることがあります。ただしこれも万能ではなく、AI自身が誤りに気づかないケースも残る点は覚えておいてください。最終的には、卒論の参考文献であればCiNiiやGoogle Scholarで実在確認を取る、というひと手間は省けないと考えたほうが安全です。

よくある誤解

FAQ

Q. ハルシネーションを完全になくすプロンプトはありますか？

現時点では、完全に防ぐプロンプトは確認されていません。発生率を下げる工夫を積み重ねることが現実的な対策です。

Q. 有料プランにすればハルシネーションは減りますか？

モデルの性能向上により誤りが減る傾向はありますが、プランの違いだけで解決する問題ではありません。プロンプト設計や検証手順の方が影響が大きいです。

Q. 卒論やレポートの締め切り前で、ファクトチェックする時間がありません。どうすればいい？

すべてを確認する必要はありません。参考文献のタイトル・著者名・統計の数値など「間違えると評価に直結する部分」に絞って、CiNiiや公式統計サイトで確認するだけでも、リスクはかなり下げられます。

まとめと次の一歩

ChatGPTのハルシネーションは、仕組み上どうしても残ってしまう性質のものです。大切なのは「なくす」ことを目指すのではなく、「怪しいサインに気づき」「答え方を事前に指定し」「重要な部分だけ検証する」という運用を習慣化することです。次に卒論の先行研究やES用の統計データを調べるときは、プロンプトの頭に「わからない場合は正直に言ってください」の一文を加えるところから試してみてください。それだけでも、AIとの付き合い方が一段変わるはずです。

関連商品（楽天）

ChatGPT 120%活用術 [ ChatGPTビジネス研究会 ]（1,390円）