ChatGPTの回答の過半数が誤情報!?間違った回答への対策やパターンと原因を紹介 - チャットボットのhitobo（ヒトボ）

【公開日：2024年7月29日】

ChatGPTは今や業務効率化のためのツールとして、多くの企業で活用されるようになっています。ただ、ChatGPTが登場して以降、ずっと注目されている問題が、回答に含まれる誤情報です。

ChatGPTは必ずしも正しい回答をするとは限りません。そのため、ユーザーは、ChatGPTが生成する回答が間違っている可能性があることを考慮して、活用する必要があります。

本記事では、ChatGPTが誤情報を含んだ回答を生成するよくあるパターンやその要因を解説します。ChatGPTの誤情報への対応も紹介しますので、ぜひ参考にして、安心してChatGPTを活用しましょう。

1 ChatGPTが誤情報を生成する確率
2 ChatGPTが誤情報を生成する3つのパターン
3 ChatGPTが誤情報を生成する3つの理由
4 ChatGPTの誤情報への4つの対応方法
5 まとめ

ChatGPTが誤情報を生成する確率

ChatGPTの回答の精度に関しての調査があります。アメリカのパデュー大学の研究者は、ChatGPTがプログラミング関連の回答をした際の精度に関する調査を行いました。結果、ソフトウェア工学関連の質問をした場合、その回答の信頼性に課題があることが発覚しました。

調査では、エンジニア同士で質問と回答を行うサイト「Stack Overflow」に掲載されている517件の質問をChatGPTに入力して、回答の精度を評価しました。すると、517件中、誤りがあった回答が269件と、52％にも上りました。また、提供された回答の77％は冗長なものだったと評価されました。

さらに、プログラミング知識を持つ12名がChatGPTの回答を確認したところ、間違いを見抜けなかったケースが39.34％と3割以上との結果が出ました。ChatGPTの回答の特徴的な口調や表現から、説得力を感じて、誤情報を見逃してしまうケースがあるようでした。

ChatGPTは2022年11月の公開以降、新たなモデルが登場する度に、精度も高くなっています。しかし、どんなに精度が上がったとしても、100％正しい回答をする訳ではないことには注意しておく必要があります。

ChatGPTが誤情報を生成する3つのパターン

ChatGPTが間違った情報を生成する場合には、いくつかのパターンがあります。ここでは、その3つのパターンを紹介します。

特殊な事例や特定分野に関する質問をしたとき

一般的ではなく、特殊で専門的な質問に対しては最も誤りが多いと言われています。そのような状況や事柄に関するデータを学習できていないことが要因です。

例えば、登山業界では有名なミャンマー最高峰「カカボラジ山」について、ChatGPTが「一般的でない」と回答したケースがありました。しかし実際には、カカボラジ山はアウトドアの有名雑誌で特集が組まれるほど人気なコンテンツです。

他にも、偉人や芸能人など人物に関する質問や、飲食店、映画や漫画・アニメなどのエンタメに関する質問をしても、間違った回答を返してくるケースが多くあります。

英語以外の言語の精度向上

GPT-4oは英語以外の言語、特に日本語における性能が大幅に向上しています。従来のモデルは、主に英語データの訓練がされていたため、日本語をはじめ他の言語の性能は、まだ改善の余地がありました。

GPT-4oは、英語以外の多言語データでの訓練が強化され、現時点で日本語を含む50種類の言語に対応し、パフォーマンスが向上しています。これにより、グローバルでのコミュニケーションを効率的かつスムーズに行えるようになると期待されています。

日本での出来事に関する質問をしたとき

ChatGPTが学習している言語データの中で、最も多くを占めるのが英語です。そのため、英語圏以外の情報に弱い傾向があります。例えば、日本の歴史上の出来事や人物に関する質問、日本の法律に関する質問をした際に、間違った回答を返してくるケースが多く見られます。

ChatGPTが誤情報を生成する3つの理由

ChatGPTが誤情報を生成するのには理由があります。ここでは、その誤情報が生成される原因を紹介します。

学習データの内容が偏っている

ChatGPTは、あらゆる場所から大量にデータを集めて学習しています。ただ、学習データの中には誤った情報や差別的な内容、偏った意見に基づいた情報などが含まれている可能性があります。

そのため、回答の生成にそのようなデータを参照した場合、誤情報を含めた回答や問題のある回答をしてしまう場合があります。また、英語圏以外のデータが少ないこと、特定分野に関するデータを学習できていないことなどから、誤った回答をしてしまうケースも考えられます。

学習データの期間が限られている

ChatGPTの学習データは期間が限られています。ChatGPTの無料版である「GPT-3.5」は2021年9月までのデータしか学習しておらず、有料版のChatGPT Plusで利用できる「GPT-4」が学習しているのは、2023年4月までのデータです。そのため、最新の事柄に対しては、学習していないため回答することができず、誤情報を生成してしまう要因となっています。

質問文の意図が読み取れない

ユーザーの質問が曖昧であったり、いくつか捉え方があったりするものだと、ChatGPTが誤った回答を導き出す可能性が高くなります。特に、ChatGPTは感情の読み取りが苦手です。そのため行間を読む必要のある質問の場合は、意図しない回答が返ってくる可能性が上がります。（※2024年5月に公開された「ChaGPT-4o」では、ある程度の感情の読み取りや表現が可能になりました。）

つまり、ChatGPTに正確な回答を出力させるには、質問者側にも技術や工夫が必要です。ChatGPTが正しい回答をしているように見えても、実際には質問に続きそうな言葉を予測して生成しているだけであることを理解しておくのが重要でしょう。

ChatGPTの誤情報への4つの対応方法

ChatGPTの回答が正しい可能性は100％ではありません。そのため、誤情報をなるべく生成しないように対策を講じる必要があります。ここでは、ChatGPTの誤情報の生成確率を下げるための対応方法を紹介します。

ChatGPTの回答を人の目で確認する

ChatGPTの学習データ自体が間違っているために誤情報を回答してしまうケースがあります。これに関しては、ユーザー自身の目で回答が間違っていないかを確認するしかありません。回答を鵜呑みにしてそのまま利用するのではなく、自身の目で確認すること、またChatGPTの回答は参考程度にとどめて使用することで、誤情報の発信リスクを防ぎましょう。

Webブラウジング機能を使用する

Webブラウジング機能は、インターネット上での情報検索やウェブサイト閲覧を可能にする機能です。ChatGPTのWebブラウジング機能の活用によって、リアルタイムの情報にアクセスできるようになります。

これにより、ChatGPTの学習期間が限られていることによる誤情報の生成を防ぐことが可能です。最新のニュースや特定のトピックに関する質問への対応も可能になります。

質問文（プロンプト）を工夫する

ChatGPTから的確な回答を得るには、質問者側の技術や工夫も必要で、最も重要になるのがプロンプトです。プロンプトの精度が高ければ高いほど、回答の精度も高くなる傾向があります。

プロンプトを作成する際には、生成AIの有識者が発信しているプロンプト情報や、他ユーザーが効果的だったとして発信しているプロンプトなどを参考に、精度の高いプロンプトの生成を心がけましょう。プロンプトの質を上げることで、ChatGPTが誤情報を生成する確率を下げることができます。

まとめ

ChatGPTは、今や個人のみならず企業でも生産性向上・効率化のためのツールとして使用されています。ただ、注意すべきが、ChatGPTが生成する回答に含まれる可能性のある誤情報です。ChatGPTは常に誤情報を生成する恐れがあることを念頭において、使用するのが重要です。

ChatGPTで効率化ができる業務の1つに、社内外における問い合わせ対応業務があります。問い合わせ対応業務とChatGPTは相性が良く、さまざまな場面で活用が可能です。しかし、ChatGPTを使いたいものの、ユーザーに間違った情報を提供することを恐れて、避けている方もいるでしょう。

問い合わせ対応業務にChatGPTを活用するなら、Q&AをChatGPTによって自動生成して、担当者が一度チェックしたものを公開する運用にすることで、誤情報の発信のリスクを防げます。また、引用元・生成元の情報を参照データとして回答内に表示することで、ソースの情報を確認できるようにすることも必要でしょう。

「hitobo」は、ChatGPT API連携がされたAIチャットボットサービスです。すでにGPT-4o mini のAPI連携の対応もしており、ChatGPTの高度なAI技術を活用して、Q&A自動生成機能を利用できます。自動作成したQ&Aをhitoboのツール上で最終チェックし、そのままチャットボットが自動応答するためのQ&Aに登録できるため、問い合わせ対応業務を大幅に効率化できます。ユーザーには担当者が事前に確認済みの回答を表示でき、誤回答による混乱を招く恐れもありません。

生成AIを活用しての、問い合わせ対応の効率化を目指している方や興味のある方は、以下から「hitobo」の資料を無料でダウンロードできますので、ぜひご覧ください。