人間はAIの文章の方を魅力的に感じるという研究結果、しかし・・・
AIが作成したコンテンツと人間が作成したコンテンツの2つがある場合、一体どちらの情報がより信頼されるだろうか？
とある研究者の団体は、606人の参加者を対象にGPTが作成したテキストと人間が作成したテキストをそれぞれ確認させ、どちらの情報が信頼されるのかを検証した。
この記事では、論文に記載されている実験結果や研究者の記述内容をもとに、AIの可能性や活用するリスクについて掘り下げて解説していく。
最後まで読めば、これからの情報社会に対する考えの持ち方や姿勢が定まるのではないだろうか。
ぜひ最後までご覧いただきたい。
AIは人間よりも魅力的な文章を書く
この論文は、人間とAIによって生成されたコンテンツの信頼性について調査したものだ。この実験が行われたのは、 人間とChatGPTが生成した文章それぞれに、「話題やテキスト形式の違いで情報の信頼性に変化があるのか？」という疑問を抱いていたからである。
実際に、606人を対象にオンライン上でアンケート調査を行い、参加者には4つの話題（アカデミー賞・カナダ・マルウェア・米国上院）をそれぞれ異なる3つのテキスト形式（ChatGPT形式・ プレーンテキスト形式,・Wikipedia形式）で表示させた。参加者は、それぞれのテキストを参照した後、信頼性評価のアンケートに回答する。そして気になる研究結果は、「人間が生成したテキストのほうが、AIが生成するテキストよりも情報の信頼性が高いものの、AIが作成したテキストのほうが明確で魅力的だった」と多くの方が回答しているとのこと。ただ、話題やテキスト形式の違いは、情報の信頼性に影響を与えないということが判明した。
統計分析によってAIと人間を比較する
論文で解説されている実験の方法を3つのステップに分けた。
- 4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
- 参加者が信頼性評価のアンケートに回答する
- 実験結果から読み取れる内容をまとめる
ステップ1：4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
まずは、実験の参加者に4つの話題（アカデミー賞・カナダ・マルウェア・米国上院）をそれぞれ異なる3つのテキスト形式（ChatGPT形式・ プレーンテキスト形式,・Wikipedia形式）で表示し、それぞれ確認してもらうところから始まる。
また、同じ内容のテキストでも、フォントの種類・フォントサイズ・行間・テキストの配置を変更していたとのこと。 異なるテキスト形式の下で同じ内容の情報を見せたり、異なる情報を見せたりしている。
テキストにさまざまな違いを与えているのは、参加者がテキストを読む際に感じる印象が、信頼性に影響を与える可能性を否定できないためだ。
ステップ2：参加者が信頼性評価のアンケートに回答する
実験の第2段階では、それぞれのテキストを確認した参加者に信頼性評価のアンケートを実施した。信頼性評価のアンケートには、テキストの信頼性・情報の正確性・情報の有用性・情報の興味深さなどが含まれている。
ステップ3：実験結果から読み取れる内容をまとめる
最後に、参加者に実施したアンケートをもとに実験結果をまとめている。実験の結果は主に統計分析によって導き出されているのが特徴だ。研究者たちは、参加者の回答内容を数値化した後、信頼性評価のスコアを平均化し、人間が生成したテキストとAIが作成したテキストのスコアの差を比較することで、テキストの生成方法が信頼性評価に与える影響を評価した。
人間の文章はAIよりも信頼性が高い
研究者たちは、参加者が一般的にAIが生成したコンテンツよりも人間が生成したコンテンツのほうが信頼性が高いと認識していることを発見した。しかし、話題やテキスト形式の違いは、情報の信頼性に大した影響を与えていなかったとのこと。参加者はAIが生成したコンテンツを、人間が生成したコンテンツよりも明確で魅力的であると認識したが、それでも全体的な信頼性は低かったようだ。
また、性別・年齢・学歴・収入・英語力・話す言語・LLMに関する知識・LLMの利用状況・オンライン百科事典の利用状況など、観察された結果に影響を与える可能性のある関連情報も収集した。しかし、これらの違いが、回答結果に差を与えることはなかったとしている。
研究者たちは、AIによるコンテンツ生成は多くの訓練と継続的な進歩があるにもかかわらず、エラーや誤認識、さらには誤った情報を表示する可能性がこれらのアプリケーションの中に存在していると指摘している。この研究は、AIが生成するコンテンツの限界、表示されている情報に偏りがあることを視野に入れておく重要性、ユーザーがこれらの要因をより意識して情報の取得に取り組む必要性を強調しているのだ。
なお、ChatGPTのおすすめプラグインについて知りたい方はこちらをご覧ください。
→【ChatGPTのおすすめプラグイン一覧】猛者達が選んだ最強プラグインの使い方69選
リサーチャーの所感
論文に記載されている研究結果の報告内容は、AIが急速に発達してきている現代社会を生きる我々への警鐘であると筆者は捉えている。研究の結果、情報の信頼性ではまだまだ人間が生成したコンテンツが勝っているものの、AIが生成したコンテンツのほうが魅力的であると答えている方が多いのは危機的状況にあるといえるだろう。
とくに、人間はそのときの感情で購買などの意思決定を行うと言われているように、コンテンツが明快で魅力的であるならば、AIが生成したコンテンツを信じてしまうのが自然だ。今後、インターネット上のコンテンツを閲覧する際は、テキストの見やすさや明快さといった視覚的な問題に囚われることなく、常に情報を疑う意識と根拠を追求する姿勢が重要になっていくだろう。
情報リテラシーを高めて正しい情報を取得しよう
今回の論文に記載されていた実験では、AIが作成したテキストと人間が作成したテキストを606人の実験参加者に見比べさせ、「どちらの情報が信頼できるか？」という疑問を検証している。
実験の検証手順は以下の通りだ。
- 4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
- 参加者が信頼性評価のアンケートに回答する
- 実験結果から読み取れる内容をまとめる
上記の手順を経て、最終的にはAIが作成した文章よりも人間が作成したテキストのほうが信頼できると多くの参加者が回答したとのこと。しかし、AIが作成したテキストのほうが明快で魅力的だったと答えていることから、情報の信頼性を判断する際に直面する現代社会の課題を浮き彫りにしている。
よって、AIが普及していく今後の社会では、今まで以上に情報リテラシーの高さが求められる。インターネット上のコンテンツを閲覧する際には、テキストの見やすさや明快さといった視覚的な問題に囚われることなく、常に情報を疑う意識と根拠を追求する姿勢を持ち続けることが大切だ。
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
