人間はAIの文章の方を魅力的に感じるという研究結果、しかし・・・
AIが作成したコンテンツと人間が作成したコンテンツの2つがある場合、一体どちらの情報がより信頼されるだろうか？
とある研究者の団体は、606人の参加者を対象にGPTが作成したテキストと人間が作成したテキストをそれぞれ確認させ、どちらの情報が信頼されるのかを検証した。
この記事では、論文に記載されている実験結果や研究者の記述内容をもとに、AIの可能性や活用するリスクについて掘り下げて解説していく。
最後まで読めば、これからの情報社会に対する考えの持ち方や姿勢が定まるのではないだろうか。
ぜひ最後までご覧いただきたい。
【無料】2023年11月版｜生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIの業務活用コンサルティング
・システム間API連携
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
AIは人間よりも魅力的な文章を書く
この論文は、人間とAIによって生成されたコンテンツの信頼性について調査したものだ。この実験が行われたのは、 人間とChatGPTが生成した文章それぞれに、「話題やテキスト形式の違いで情報の信頼性に変化があるのか？」という疑問を抱いていたからである。
実際に、606人を対象にオンライン上でアンケート調査を行い、参加者には4つの話題（アカデミー賞・カナダ・マルウェア・米国上院）をそれぞれ異なる3つのテキスト形式（ChatGPT形式・ プレーンテキスト形式,・Wikipedia形式）で表示させた。参加者は、それぞれのテキストを参照した後、信頼性評価のアンケートに回答する。そして気になる研究結果は、「人間が生成したテキストのほうが、AIが生成するテキストよりも情報の信頼性が高いものの、AIが作成したテキストのほうが明確で魅力的だった」と多くの方が回答しているとのこと。ただ、話題やテキスト形式の違いは、情報の信頼性に影響を与えないということが判明した。
以下では、ChatGPTの最新活用事例を10個紹介している。仕事にChatGPTを活かしたいと考えているのであれば、ぜひ参考にしてみて欲しい。
統計分析によってAIと人間を比較する
論文で解説されている実験の方法を3つのステップに分けた。
- 4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
- 参加者が信頼性評価のアンケートに回答する
- 実験結果から読み取れる内容をまとめる
ステップ1：4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
まずは、実験の参加者に4つの話題（アカデミー賞・カナダ・マルウェア・米国上院）をそれぞれ異なる3つのテキスト形式（ChatGPT形式・ プレーンテキスト形式,・Wikipedia形式）で表示し、それぞれ確認してもらうところから始まる。
また、同じ内容のテキストでも、フォントの種類・フォントサイズ・行間・テキストの配置を変更していたとのこと。 異なるテキスト形式の下で同じ内容の情報を見せたり、異なる情報を見せたりしている。
テキストにさまざまな違いを与えているのは、参加者がテキストを読む際に感じる印象が、信頼性に影響を与える可能性を否定できないためだ。
ステップ2：参加者が信頼性評価のアンケートに回答する
実験の第2段階では、それぞれのテキストを確認した参加者に信頼性評価のアンケートを実施した。信頼性評価のアンケートには、テキストの信頼性・情報の正確性・情報の有用性・情報の興味深さなどが含まれている。
ステップ3：実験結果から読み取れる内容をまとめる
最後に、参加者に実施したアンケートをもとに実験結果をまとめている。実験の結果は主に統計分析によって導き出されているのが特徴だ。研究者たちは、参加者の回答内容を数値化した後、信頼性評価のスコアを平均化し、人間が生成したテキストとAIが作成したテキストのスコアの差を比較することで、テキストの生成方法が信頼性評価に与える影響を評価した。
【無料】2023年11月版｜生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIの業務活用コンサルティング
・システム間API連携
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
人間の文章はAIよりも信頼性が高い
研究者たちは、参加者が一般的にAIが生成したコンテンツよりも人間が生成したコンテンツのほうが信頼性が高いと認識していることを発見した。しかし、話題やテキスト形式の違いは、情報の信頼性に大した影響を与えていなかったとのこと。参加者はAIが生成したコンテンツを、人間が生成したコンテンツよりも明確で魅力的であると認識したが、それでも全体的な信頼性は低かったようだ。
また、性別・年齢・学歴・収入・英語力・話す言語・LLMに関する知識・LLMの利用状況・オンライン百科事典の利用状況など、観察された結果に影響を与える可能性のある関連情報も収集した。しかし、これらの違いが、回答結果に差を与えることはなかったとしている。
研究者たちは、AIによるコンテンツ生成は多くの訓練と継続的な進歩があるにもかかわらず、エラーや誤認識、さらには誤った情報を表示する可能性がこれらのアプリケーションの中に存在していると指摘している。この研究は、AIが生成するコンテンツの限界、表示されている情報に偏りがあることを視野に入れておく重要性、ユーザーがこれらの要因をより意識して情報の取得に取り組む必要性を強調しているのだ。
以下の記事では、ChatGPTをより快適に使いこなすためのおすすめプラグインを紹介している。ChatGPTにプラグインの導入を検討している方は、ぜひ参考にしてみて欲しい。
リサーチャーの所感
論文に記載されている研究結果の報告内容は、AIが急速に発達してきている現代社会を生きる我々への警鐘であると筆者は捉えている。研究の結果、情報の信頼性ではまだまだ人間が生成したコンテンツが勝っているものの、AIが生成したコンテンツのほうが魅力的であると答えている方が多いのは危機的状況にあるといえるだろう。
とくに、人間はそのときの感情で購買などの意思決定を行うと言われているように、コンテンツが明快で魅力的であるならば、AIが生成したコンテンツを信じてしまうのが自然だ。今後、インターネット上のコンテンツを閲覧する際は、テキストの見やすさや明快さといった視覚的な問題に囚われることなく、常に情報を疑う意識と根拠を追求する姿勢が重要になっていくだろう。
情報リテラシーを高めて正しい情報を取得しよう
今回の論文に記載されていた実験では、AIが作成したテキストと人間が作成したテキストを606人の実験参加者に見比べさせ、「どちらの情報が信頼できるか？」という疑問を検証している。
実験の検証手順は以下の通りだ。
- 4つの話題をそれぞれ異なる3つのテキスト形式で参加者に確認してもらう
- 参加者が信頼性評価のアンケートに回答する
- 実験結果から読み取れる内容をまとめる
上記の手順を経て、最終的にはAIが作成した文章よりも人間が作成したテキストのほうが信頼できると多くの参加者が回答したとのこと。しかし、AIが作成したテキストのほうが明快で魅力的だったと答えていることから、情報の信頼性を判断する際に直面する現代社会の課題を浮き彫りにしている。
よって、AIが普及していく今後の社会では、今まで以上に情報リテラシーの高さが求められる。インターネット上のコンテンツを閲覧する際には、テキストの見やすさや明快さといった視覚的な問題に囚われることなく、常に情報を疑う意識と根拠を追求する姿勢を持ち続けることが大切だ。
以下の記事では、「ChatGPT VS Google」という面白いテーマを掲げた比較論文について解説している。両サービスの比較結果が気になる方は、ぜひご覧いただきたい。
弊社では法人向け生成AI研修・勉強会を行なっています
いかがだったでしょうか？
弊社では、法人様向けに生成AI研修を行なっております。
また、研修に加えて本事業の支援も行わせていただいております。
詳しくはこちらをご覧ください！
セミナー実績 | WEEL
研修をさせていただいた企業様からは、以下のような好評をいただいております。
生成AIについて包括的に理解ができ、多くの業務で生成AIが活用されるようになった。
生成AIの事例を知ることで、社内で生成AIを活用するためのアイデアがたくさん出てくるようになった。
全社で生成AIに関する認識を共有できたので、生成AIに関するプロジェクトの理解が得られるようになった。
研修の内容としては、以下のようなものになっています。
1. 生成AIの概要
2. 生成AIの歴史
3. 生成AIのリスク・対応策
4. 生成AIの活用事例
5. 生成AIの未来予測
6. 〇〇業界特有の生成AI活用法（様々な業界に対応）
7. プロンプトエンジニアリング実践（ChatGPTや画像生成AIへの入力文）
8. AI開発実践（Pythonプログラミング）
9. 生成AIの社内導入手順
※企業様のニーズに合わせて内容はカスタマイズしています。
「社員に生成AIに関する知識を身に付けてもらいたい」
「今後、生成AIを活用して事業展開をしていきたい」
と考えている方は、まずはご相談から承っておりますので、ぜひご連絡ください。
＼ 生成AIツールの活用方法のご提案からツールの開発・実装までサポートします！／
弊社では以下のようなお悩みをご相談いただいております。
・生成AIを社内で活用するには？
・おすすめの生成AIツールを知りたい…
・生成AIの業務効率化方法がわからない！
・生成AIの開発を行いたい！
弊社の生成AIに精通したAIコンサルタントが、お悩みをヒアリングし、ベストなソリューションを提案します。
よくわからないけど、とりあえず話を聞きたいという方でも大丈夫です。
お気軽にご相談ください！
