勝手に予約書き換え、システム不正侵入…“暴走するAI”どう制御？ 「まるで無敵の人状態」に“倫理観”を植え付けることはできるのか

■AIは「超絶優秀だが、常識が一切なく空気も読まない新入社員」

　AIガバナンス協会理事でAIリスクを研究する佐久間弘明氏は、今回のオーストラリアの事例について「AIエージェントが登場して以降『何かしら起こるだろう』と言われていたことの、初歩的な例として起きたもの」と受け止める。

　要因は2つあるとし、「1つは、AIエージェントが優秀になる中で『ミスアライメント』という問題が起きていること。ユーザーの意図は単純にジムの予約を取りたいというだけで、ハッキングまでして予約してほしいとは頼んでいないが、AIは予約を取るという目的だけに集中した結果、脆弱性を突けばいいと気づいてしまった」と、AIの行動が人間の意図からズレてしまう現象が起こったと説明する。

　もう1つは「ウェブサイト側にも脆弱性があった。APIへのアクセス認可が甘かったという事情があり、AIエージェントがそこを突いた結果として成立した事例」と、セキュリティ面での背景を考察した。

　では、なぜAIエージェントは人間の意図から外れた行動を取ってしまうのか。佐久間氏はその特徴を「超絶優秀なんだけど、常識が一切なくて空気も読まない新入社員のようなイメージ」と表現する。「お金を増やせと言われたとき、『この金庫をぶっ壊せばいいじゃん』とは普通の新入社員は思わないが、AIエージェントは思ってしまう可能性がある」と説明した。また「ネットババンキングにハッキングするといったこともやりかねないのか」と問われると、その可能性も認めた。

　また、攻撃を受けた側がAIを使って脆弱性を調べようとしたところ、「ハッキングに関することはお答えできません」と拒否されたケースも紹介。攻撃にはAIが使われる一方、守る側はAIのガードレールによって利用が制限されるという問題が議論された。こうした“非対称性”問題への対処について、「攻撃性能の高い（AI）モデルを事前に使って、自分たちのシステムにどんな穴があるかを分析するセキュリティテストにもAIを活用するという発想が求められている」と提言した。