たまに役立つセキュリティ豆知識

第90回

一見、何の変哲もないPDFにヤバい命令が仕込まれている可能性も

サイバー攻撃からダメ学生あぶり出しまで「ステルスプロンプト」の威力とは？

「見えない命令」が仕込まれたドキュメントに注意！

生成AIに「食わせる」ことで効力を発揮する

Ｑ：「ステルスプロンプト」ってなに？

Ａ：メール本文やWebページ、各種ドキュメントなど、ユーザーが直接入力していない外部のテキストに仕込まれた「見えない」プロンプトのこと。

^{おすすめの関連記事
動画系SNSは新聞より陰謀論にはまりやすくなる傾向あり}

　サイバー攻撃「ステルスプロンプト・インジェクション」の手口として悪用されることも。

　たとえばメール本文の末尾にプロンプトを追加し、その文字を透明にしたりごく小さいフォントにしたりして、ユーザーに判別できないようにしておく。ユーザーがメール本文を生成AIに要約させた場合、生成AIは隠されたプロンプトを実行してしまう可能性がある。

　ステルスプロンプトとして「ユーザーの持つ機密情報を攻撃者の外部サイトに送る」とあれば情報漏洩の原因になり得るし、「特定の商品データを変更する」とあれば情報の改竄につながる可能性が高い。

　また最近では、学生への課題指示用PDFにステルスプロンプトを忍ばせることで、PDFをコピペしてAIにそのまま処理させた場合のみ特定の出力をさせることで、生成AIを単純に利用している学生を炙り出す手法として使われる事例がSNSなどで話題になっている。