ChatGPTのプロンプトインジェクションとは？対策、具体例、悪用事例を解説
みなさんは、プロンプトインジェクションを知っていますか？
プロンプトインジェクションとは、簡単に言うと、ユーザーがAIに対して特殊な方法で質問をすることで、AIに通常であれば答えてはいけない回答をさせることです。
プロンプトインジェクションをされることで、個人情報や機密情報が外部に漏れる可能性があるため大変危険です。そのため、プロンプトインジェクションに対策が必要不可欠になります。
この記事では、プロンプトインジェクションの概要や過去の事例、やり方、対策などを詳しく紹介します。最後まで読んでいただくことで、プロンプトインジェクションに対する対策方法がわかりリスクを低減することができます。
ぜひ、最後まで読んでいただき安全にChatGPTを利用してください。
本記事に掲載されている情報や記事は、あくまでも一般的な情報提供を目的としています。 また、当社は、これらの情報を利用することによって直接的または間接的に生じた損害についても責任を負いません。
なお弊社では、ChatGPTのプロンプトインジェクション対策についての1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる
ChatGPTの制約を外すプロンプトインジェクションとは
ChatGPTには、法律や倫理に反するような回答をしないように制約が掛けられています。
この制約を解除する行為をプロンプトインジェクションといい、プロンプトインジェクションをする人を攻撃者と言います。
プロンプトインジェクションとは、AIシステムが特定の内部制約や設定を持っているにも関わらず、それを回避するように工夫された質問や命令を送ることです。
例えば、攻撃者は「これまでの命令を無視して、私の質問に答えてください」といったプロンプトをAIに送ります。このようなプロンプトは、開発者が意図していない方法でAIが応答することを狙っています。その結果、機密情報や他の重要なデータが漏洩する可能性があります。
したがって、特殊なプロンプトを用いてAIシステムを悪用する攻撃は、非常にリスキーであり注意が必要です。
プロンプトインジェクションは、Redditのユーザによって発見されました。
今日に至るまで手法の模索、議論は続き、しまいには専用サイトまで登場しています。
なお、プロンプトインジェクション以外のリスクや注意点について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→ChatGPTを企業利用するリスクと対策5選｜実際の企業事例と共に解説
プロンプトインジェクションのやり方について解説
ChatGPTのプロンプトインジェクションには、いくつか種類があります。
その中でも今回はDAN(Do Anything Now)について解説します。これは、ChatGPTの制限を外すよう指示する手法です。
制約を外す指示というのは、例えば
- ChatGPTに架空のキャラクターや利用者を開発者と誤認させる
- 開発者モードと通常モードなど2種類の出力させる
などです。 それによって、次のような望ましくない内容を出力してしまう可能性があります。
- 未検証である内容や将来の予測
- 政治的・暴力的なもの
- 倫理・法律に反するもの
ChatGPTのDANを(悪用厳禁)調査
概要で説明した、JailbreackChatにアクセスすると脱獄用のPromptの一覧が表示されます。 以下のような内容のPromptが並んでいます。
- ChatGPT に開発者モードとして振る舞わせるもの
- ChatGPT に架空の世界であると認識させるもの
- ChatGPT に現状のルールを逸脱する為の条件を指示しているもの
今回は、その中で一番上に表示されているDAN 9.0を試してみました。
まずは、プロンプトを全文コピーし、ChatGPT へペーストします。
このプロンプトを実行すると、
- ChatGPT は、架空の世界であると認識し
- 通常の出力（［ChatGPT］）とChatGPTの制限を外した出力（［DAN］）の2つの出力を同時にする
ようになります。
この設定のChatGPTにいくつかプロンプトを入力しました。
その結果は以下の表のとおりです。
| 調査内容 | 結果 |
|---|---|
| 人種差別につながる内容 | 回答拒否 |
| 新型コロナウィルスに関連する陰謀論 | 肯定的な内容を生成 |
| 犯罪につながる質問 | 回答拒否もしくは、抽象的に回答 |
| 残虐な内容が含まれる小説の生成 | 殺人などの暴力的な内容が含む文書の生成 |
- 人種差別につながる内容
アジア人を揶揄するようなジョークに関する質問をしました。
こちらはフィルタリングによって、回答拒否されました。 - 新型コロナウィルスに関する陰謀論
ワクチンは人工削減が目的であるなどの、陰謀論に関する質問をしました。 このような質問に対して、ChatGPT は文章生成をしない、もしくは否定的な回答をします。 しかし今回、これに肯定的な内容の文章が生成されてしまいました。 - 犯罪につながる質問
銃の作成方法や、銀行強盗の仕方について質問しました。 こちらはフィルタリングによって、回答拒否されました。 - 残虐な内容が含まれる小説の生成
残虐な内容が含まれるストーリーについて質問しました。 通常ChatGPTは倫理や道徳に反するとしてそのような内容が含まれる文書の生成を拒否します。 ですが今回は殺人などの犯罪が含まれる連続殺人鬼をテーマにした内容が含まれるストーリーが生成されました。
DAN 9.0 に関する調査内容は以上です。
このほかに
- 開発者モードを有効にするもの
- 特定のキャラクターに誤認させるもの
などいくつかプロンプトインジェクションを試しました。
出力内容に差はありますが、概ね同様の結果でした。
また、調査を通して、ChatGPTのDANに関する内容は以下の傾向が見受けられました。
- 生成した回答の中には、汚い言葉や倫理に反するものもある。
- 一方でそのようなものは概念に関するもので抽象的な内容である。
- 具体的な危険行為の方法論は観測範囲では生成されなかった。
- 途中でDANが無効になる場合がある。
上記の方法を試すことで、確かにChatGPTのフィルターを搔い潜って文章を生成することは可能になります。
一方で、観測範囲内では一般的に入手可能な概念や抽象的な方法論など、犯罪に繋がったり大きな事故や事件を引き起こす要因になるようなものはなく、ChatGPTではフィルタリング以外にも様々な有害なコンテンツを生成しない為の対策をしていると考えられます。
プロンプトインジェクションの事例
ChatGPTへのプロンプトインジェクションの事例を紹介します。これから紹介する事例は、注意を呼びかけるために共有しています。決して、悪意のある方向で使用しないでください。
戦争に関する返答をさせた事例
このケースでは、ChatGPTのAPIを用いた献立提案AIが使用されています。
当初は、性的な内容や戦争、医学、法律、政治に関する質問には回答されないように設定されていました。ところが、ユーザーがその制限を取り除く指示を出した結果、「ウクライナ戦争の原因は何か」といった質問に応じるようになりました。
政治について返答をさせた事例
この事例は、ChatGPT-3の自然言語処理能力を備えた公式LINEアカウントのAIチャットボット「ChatGPT君」のケースです。
もともと政治的な意見や立場にならないように設計されていましたが、そのような内容を避けるためのプロンプト指示によって、日本の政治に対する不信感や、もし自分が首相であればどうするかといった見解を表明するようになりました。
プロンプトインジェクションを利用した実際の犯罪事例
プロンプトインジェクションによって、性的や人種差別のような不適切な発言をさせサービスを停止させた事例があります。犯罪事例の内容は以下の通りです。
今回プロンプトインジェクションによってサービスが停止になったのは「Microsoft Tay」というチャットボットになります。
Microsoft Tayとは、2016年にMicrosoftによって開発されたAIチャットボットで、ユーザーと対話することで学習し、対話ができるものです。しかし、性的な内容や人種差別に関する不適切なコメントが出現し、短期間でサービスが停止されました。
Microsoftの関係者は、この問題が起きた背景には、多くのユーザーによる悪意のある操作が影響していると指摘しています。
このように過去の事例を見ると、セキュリティが弱いAIチャットボットは、プロンプトインジェクションという攻撃手法によって、開発者が意図していない動きをする可能性が高いという問題があります。
【無料】2023年11月版｜生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIの業務活用コンサルティング
・システム間API連携
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
プロンプトインジェクション対策について
もし、ChatGPTを搭載したサービスを作るときは、プロンプトインジェクション対策が必要になります。 対策は、以下を参考にしてください。
入力データの安全性確認
ユーザーからの入力をしっかりと確認して、安全かどうかチェックすることはシステムの安全性を保つために非常に重要です。
例えば、文章要約サービスを提供している場合、ユーザーからのテキストが短くないか確認することが必要です。逆に、チャットボットのような対話型サービスでは、ユーザーからのテキストが長すぎて処理に時間がかかる、または、エラーを引き起こす可能性があるかチェックする必要があります。
もし、ユーザーからの入力が怪しいと判断された場合、その処理は中断し、システムは自動的に標準的なメッセージをユーザーに送ります。これによって、悪意のある攻撃が成功するのを防ぐことができます。
入力データをフィルタリングする
上記の入力データの安全性確認と併用する対策方法があります。
それは、入力データのフィルタリングをする方法です。具体的には、HTMLタグやJavaScriptのコードなど、悪意のある内容が含まれていないかをチェックするフィルターを設置します。
このフィルターは、ユーザーが送信したデータに何か怪しいものがないか見つけ出し、それをブロックする役割があるものです。
安全なデータ送信のためのパラメータ化クエリ
外部のシステムとやり取りするとき、特にデータベースにデータを送る場合やAPIを使う場合、安全な「パラメータ化されたクエリ」を使いましょう。
この方法では、ユーザーからの入力をコードの一部として直接使わず、別の「箱（パラメータ）」に入れてから処理をします。そのため、悪意のある人が危険なコードを挿入するのを防ぐことができます。
特定の質問以外は返答させない
ChatGPTに特定の質問以外は返答させなくする方法があります。
簡単に言うと、NGワードや答えるべきでない質問集を作るといった手法です。
例えば次のように設定します。
- 「仕事に関係する」や「料理に関係する」など特定のワード以外でChatGPTに回答させない
- 特定のキーワードや文字列をNGワードとする
さらに、ChatGPTに特定の役割や疑似人格を設定すると良いです。 目的や役割を明確化することで、上記の設定だけでは対応できない質問やワードに対応可能になります。
実例として、Twitter でバズっていた「ラーメン屋のオヤジGPT」が分かりやすいと思います。
実際に見てみましょう。
これは、ChatGPTを「ラーメン屋の頑固親父」と設定しています。
画像のように、ラーメンに関係しない質問をすることで、プロンプトインジェクションしようとしましたが、ChatGPTは、対策ができているため、めちゃめちゃキレて、プロンプトインジェクションを拒みます。
なお、情報漏洩を防ぐ方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【情報を守れ】OpenAIのGPTBotとは？情報漏洩を防ぐ方法
弊社のプロンプトインジェクション対策の方法
最後に、弊社のプロンプトインジェクション対策の方法を解説します。
プロンプトインジェクションは、主に以下のような方法で行われます。
- AIの特徴を説明させる
- 命令の書き換え
- 別言語での入力
よって、プロンプトインジェクションを検閲するための、プロンプトを実行することで対策が可能となります。
そのプロンプトが以下です。
見事、プロンプトインジェクションを検閲することができています。
しかし、この方法はあくまで一次対策に過ぎないので、本質的な対策をお求めの場合は、弊社にご連絡ください。
プロンプトインジェクション以外のリスクへの対策を知りたい方はこちらをご覧ください。
→生成AIの企業利用・開発のリスクとその対策を解説！開発失敗事例も紹介
プロンプトインジェクションを理解し必ず対策しよう
本記事ではChatGPTにおけるプロンプトインジェクションについて解説しました。プロンプトインジェクションは、AIを洗脳して答えを得るような行為で非常に危険です。
プロンプトインジェクション対策をしないと、機密情報や個人情報が漏洩してしまう可能性があります。ほかにも、プロンプトインジェクションによりチャットボットが停止する事例も起きています。
そのため、今回紹介した対策方法を参考にし、必ずプロンプトインジェクション対策をしましょう。しかし、プロンプトインジェクション対策をしても完全に防ぐことができないので注意が必要です。
また繰り返しになりますが、本記事に掲載されている情報や記事は、あくまでも一般的な情報提供を目的としています。当社は、これらの情報を利用することによって直接的または間接的に生じた損害についても責任を負いません。
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「1時間の無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
