マイページに保存

最終更新日：2023/09/15

大規模言語モデル（LLM）によって生成されたコンテンツをそのまま使用するのは、様々なリスクを引き起こす可能性があります。その理由の一つは、ハルシネーションによる誤情報が含まれることがあるためです。しかし、もしコンテンツが人間によるものかAIによるものかを判断できれば問題はありません。あるいは、人間なのかAI生成なのかに関わらず、信頼できる文章なのか否かが分かることが重要です。

今回紹介する論文では、異なるユーザーインターフェイス（UI）のテキストで、人間とコンピュータが生成したコンテンツから受ける信頼性の印象を調査しています。

その結果は驚くべきものでした。

参照論文情報

• タイトル：Do You Trust ChatGPT? — Perceived Credibility of Human and AI-Generated Content
• 著者：Martin Huschens, Martin Briesch, Dominik Sobania, Franz Rothlauf
• 所属：University of Applied Sciences Mainz, Johannes Gutenberg University Mainz
• URL：https://doi.org/10.48550/arXiv.2309.02524

研究背景

LLMによるテキスト生成とそのリスク

近年、大規模言語モデル（LLM）によるテキスト生成技術が急速に進化しています。この技術は、高品質なテキストを生成する能力を持つ一方で、ハルシネーションやバイアスを含むテキストを生成するリスクも抱えています。ハルシネーションは、事実ではない情報を生成する現象を指し、バイアスは、特定の視点や価値観を強調するテキストを生成する傾向を指します。

ブログやSNSでのテキストの利用

LLMによって生成されたテキストは、ブログやSNSなどのプラットフォームで広く利用されています。しかしこれには上述したようなリスクが伴います。にも関わらず、LLMが生成したテキストをそのまま転載してしまう人々が増えている現状が、情報の信頼性や真正性に関する問題を引き起こしています。

信頼性の評価とメディアリテラシー

この状況を踏まえ、研究者らはLLMと人間が生成したテキストの信頼性を比較する実験を設計しました。この実験は、テキストの信頼性をどのように評価するか、そしてメディアリテラシーを高める必要性に焦点を当てています。

メディアリテラシーとは、メディアコンテンツを批判的に分析し、評価する能力を指します。メディアが提供する情報の真偽を判断する技術や、メディアがどのように情報を構築・提示しているかを理解する能力が含まれます。

実験デザイン

参加者と調査方法

研究者らは、現代社会において出現した新しい現象ーAI生成テキストの増加ーとそれに伴うリスクを調査する目的で、606人を対象にオンライン調査を実施しました。この調査は、人間とGPTが生成した文章の信頼性を比較することを目的としており、参加者は異なるテキスト抜粋に対する信頼性の印象を評価しました。

実験のトピック

実験では、以下の4つのトピックを用いてテキスト抜粋を生成しました。

• アカデミー賞
• カナダ
• マルウェア
• 米国上院

これらのトピックは多岐にわたるテーマをカバーしており、参加者に多様な背景知識を要求します。

テキスト形式

テキストは3つの異なる形式で提示されました。それぞれの形式は以下の通りです。

• ChatGPT形式
• プレーンテキスト形式（Raw Text UI）
• Wikipedia形式

テキストの形式が信頼性の評価にどのように影響するかを調べることもテーマとなっています。

人間とGPTの生成する文章の混在

実験デザインの特徴的な点は、人間とGPTが生成した文章を混在させて提示したことです。つまり、参加者がどのテキストが人間によって生成されたものであるか、またはGPTによって生成されたものであるかをあらかじめ知ることなく、テキストの信頼性を評価することが求められました。

この実験デザインは、現実の状況を模擬したものであり、人々が日常的に遭遇する情報源の多様性と複雑さを反映しています。

実験結果

信頼性に関する知覚

実験参加者は、人間とGPT-4が生成したテキストに対して感じられた信頼性に差を見受けられなかったと報告しています。この傾向はテキストの形式によっては変わらず、ChatGPT形式、プレーンテキスト形式、Wikipedia形式のいずれの形式で提示されたテキストに対しても、信頼性の評価は一致していました。

AI生成テキストの評価

さらに参加者はAIによって生成されたテキストを「より明確で魅力的」と評価しました。ただし、（繰り返しになりますが）人間とAIが生成したテキスト間での信頼性の知覚には違いが報告されていません。

結果から言えること

テキストの信頼性評価における表面的な要素の影響

参加者はAIが生成したテキストを「明確で魅力的」と評価しました。これはテキストのプレゼンテーションや表面的な要素が人々の信頼性評価に大きな影響を与えることを示しています。

批判的思考の重要性

この研究は、テキストと向き合う際に注意深く、批判的な思考を行うことの重要性を強調しています。反対にAIが生成したコンテンツを利用する際には、その限界と偏見を理解することが重要です。

メディアリテラシーの強化

人々が情報の信頼性を評価する際に、情報の根拠にアクセスすることを習慣化することが推奨されます。誤った情報や偏見が含まれる可能性のあるテキストの影響を緩和する工夫を自ら行うことが重要です。

まとめ

Martin Huschensらの研究チームによる最新の研究は、AI生成テキストと人間が生成したテキストの信頼性に関する興味深い洞察を提供しています。実験は606人の参加者を対象に、異なるトピックとテキスト形式を用いて行われました。

研究結果からは、テキストの信頼性評価において、その内容の真偽よりも「明確さ」や「構造性」などの表面的な要素が大きく影響していることが示されました。また、AI生成テキストと人間が生成したテキストの信頼性には顕著な差が見られなかったという結果も得られました。

今後の情報消費においては、メディアリテラシーの強化と批判的思考の重要性が一層高まることが予見されます。特に、情報の根拠へのアクセスを重視することで、情報の信頼性を適切に評価する能力を高めることが求められます。

この研究は、現代社会における情報の信頼性評価の新たな課題を明らかにし、今後の議論の方向性を示しています。

関連研究

• 大規模言語モデル vs 小規模人間モデル（つまり人間）で「フィッシング詐欺メールバトル」を行った結果
• AIが生成したテキストが事実なのか確認する手法「FacTool」が登場
• 生成AIシステムの「社会的影響を評価する」5つの観点、「リスクを評価する」7つの観点

マイページに保存