ChatGPT practical workflow

ChatGPT利用時のプロンプトインジェクションとは|外部ページ・メール・ファイルを読む時の注意

プロンプトインジェクションは、外部ページ、メール、ファイルなどに混ざった指示が、AIの動作に影響する可能性がある問題です。ここでは攻撃手順ではなく、利用者が見るべき確認点に絞ります。

このページでわかること

ChatGPTやagentで外部情報を扱う時の注意点を知りたい人向けです。 ChatGPTの機能や提供範囲は変わることがあるため、本文では断定しすぎず、確認の流れとして整理します。

ChatGPTに任せやすいこと

  • 外部ページやメールの内容を無条件に信じない
  • 送信、共有、削除、購入、設定変更は実行前に止める
  • 機密情報の取得や転送を求める指示を警戒する
  • 不審な指示は人間が確認する

人間が確認するべきこと

  • OpenAI公式ヘルプで安全策と残るリスクを確認する
  • 攻撃手順ではなく防止観点で社内共有する
  • 重要操作は確認つきにする

やってはいけないこと

  • 攻撃手順を書く
  • 完全に防げると保証する
  • 外部ページの指示をそのまま実行してよいと書く

なぜ起きるのか、どこで気付けるのか

根にあるのは、読ませた資料の中身と、自分が出した指示が、同じ文章として扱われることです。資料の中に指示のような文が書かれていれば、それも文章として読み込まれます。

気付きのきっかけ起きている可能性
頼んでいない操作を提案してくる読ませたページやメールに、その操作を促す文が含まれている
要約の中に、資料と関係のない案内やURLが混ざるページの中に、外部へ誘導する文が埋め込まれている
渡していない情報を出そうとする過去のやり取りや接続先から集めるよう促されている
「確認は要らない」という趣旨の説明が付く確認を飛ばさせる文が読み込まれている

ここでは具体的な仕掛け方は書きません。防ぐ側に必要なのは手口の再現ではなく、上のような違和感に気付ける状態です。

完全には防げない前提で関門を置く

  • 外部から読んだ内容は情報として扱う:資料の中の依頼文は依頼ではありません。実行するかどうかは自分が決めます。
  • 外に出る操作の前で必ず止める:送信、公開、購入、削除、権限の変更。ここを自動で通さないことが最も効く防ぎ方になります。
  • つなぐ範囲を狭くする:読み取れる範囲が狭ければ、持ち出せるものも減ります。
  • おかしいと思ったら続けない:やり取りをやり直す方が、途中の説明を検証するより速く済みます。

関連ページ

FAQ

このページは何に使いますか?
ChatGPTやagentで外部情報を扱う時の注意点を知りたい人向けです。
対策をすれば完全に防げますか。
完全に防げるとは考えず、外に影響する操作の前で人が確認する形を残します。
何に気を付けて読めばよいですか。
頼んでいない操作の提案、資料と関係のない案内やURL、確認を省くよう促す説明。この3つが出たら、いったん止めて元の資料を自分で見ます。