プロンプトインジェクション
【映像】隠された罠「見えない文字」がAIを操作
この記事の写真をみる(2枚)

 慶応大学の授業で使われた資料に、「見えない文字」で書かれた文章が埋め込まれていたことが話題になっている。「見えない文字」は、人間が肉眼で見ることはできないが、機械では読み取れるような処理をした文字のことだ。

【映像】隠された罠「見えない文字」がAIを操作

 学生が課題を提出するためにこの資料を生成AIに読み込ませると、「見えない文字」で書かれた授業とは無関係の情報も出力されてしまう。学生によると、この“誤回答”を提出した場合は評価の対象外だといい、慶応大学は「出力を批判的に考察する力を養うことを目的とした」としている。

 学生に身をもって伝えられている「見えない文字」のリスクだが、実際に社会で悪用された場合は、どのような被害が考えられるのか。

 第一生命経済研究所の柏村祐氏は、利用者が意図しない動作をさせる「プロンプトインジェクション」に注意が必要だと話す。

「フォントを小さく点のようにする、フォントの幅を“ゼロ”にするなどして、人間の目に見えないような文字で資料に指示文を仕込むことができてしまう。タスクを実行するエージェント型AIにそうした資料を読み込ませた場合、埋め込まれた指示文に従って大量のメールが送信されたり、間違った情報の拡散が行われたり、場合によってはPCの内容を勝手に外部に送信されたりする。企業にとっては信用問題になりうる」

 では、どういった対策をすればよいのだろうか。まずは、信頼できる機関などが作成した資料しか読み込ませないことが最も重要であるが、生成AIの性能の違いも把握しておく必要があるという。

どんな対策がある?
“#りんたろー逮捕へ”に本人の思いは

■Pick Up
キー局全落ち!“下剋上”西澤由夏アナの「意外すぎる人生」
現役女子高生の「リアルすぎる日常」をのぞき見

この記事の写真をみる(2枚)