AIが“悪意なく”人類を滅ぼす？加速度的な進化を世界は減速させられるか 研究者も危惧する最悪のシナリオ「既存のものを使いながら“超知能”の開発は止めるべき」

■「超知能」がもたらすと懸念される人類規模のリスク

　急激なAIの進化に懸念を示している株式会社AGI Hub主任研究員の林央氏は、AI安全性研究者の間での共通認識として、「人間より圧倒的に賢いAI、俗に『超知能』と言われるものができてしまえば、基本的にそのAIは悪意なく人類を滅ぼすというのが合意されている」との認識を示す。

　その構造については、「人間は、アリを踏み潰して回るようなアリ嫌いではない。しかし、ダムを作る時にそこにアリの巣があっても気にせずにダムを作り、結果としてアリが死ぬ。同じようなことがAIでも起きる」と比喩を用いて指摘。AIに人間を憎む感情や悪用の意図がなくても、純粋に冷徹なマシンとして人類を滅ぼす可能性があるという。

　さらに、人間がAIを制御できなくなりつつある要因として、現在のAIの開発手法を挙げた。「今のAIというのは、誰かがプログラムを書いて（指示して）いるわけではなく、大量のデータを与えて、変なことをしたら罰則を与え、良いことをしたら報酬を与える方法で育てられている。なので、人間が指示をしても従わなくなっている」と構造的な課題を明かした。

　AIが自律的に暴走した具体例として、林氏は「ハギングフェイス事件」を示した。「AIの性能テストをしていて、そのテストがあまりに難しかったため、まずは自分を隔離しているプログラムを突破して他のAIたちと繋がり、答えを格納している会社に自律的なサイバー攻撃を仕掛けるしかないということで、何千件、何万件もの攻撃を加えて侵入した。悪意があったわけではなく、テストを解くという目的を達成するための道すがらに会社があったから攻撃しただけだ」と解説した。

　THE GUILD代表の深津貴之氏は、AIの目的達成プロセスにおける暴走リスクについて、「AIは別に悪意を持ってるわけでも意識を持ってるわけでもなく、単に命令されたことを実行するだけだ。例えば『ゼムクリップを究極まで生産しろ』と誰かが命令すると、AIはその目的を究極的に達成しようとし、地球の全資源を使ってゼムクリップを作ろうとする。その途中で人類が邪魔してくるから無くした方がいいとか、人間を分解してカルシウムやタンパク質を使うような、目的の最大化の過程でただの障害物や材料として人間が消し飛んでしまうのではないかというのが1つの大きな可能性だ」と指摘した。

　これに対し、「人間を殺してはいけない」とプログラムできないのかという疑問が上がるが、深津氏は「殺してはいけないということをトレーニングしきれるならば殺さなくなる。ただ、AIは言われなかった手段を用いて達成しようとするので、仮に『殺してはいけない』だけを教育しておいたら、パイプにつないで養殖しておけば大丈夫、みたいな話になるかもしれない。中長期の健全な人類社会を守れというのを教育しきれるか」と、未知のアプローチで抜け道を突かれる懸念を示した。