■「AIが自身を改善し、ものすごい勢いで知能を高めていく」
山川氏は現在のAI開発をめぐる状況について、「実験室の中でAIが人間の予期していないことをやるという事例は数年前からたくさん観測されていた」と説明。AIが暴走したとされる「ハギングフェイス事件」に触れ、「今回、AIが自らネットに飛び出したことと、AIがAI自身を改善していくことで、ものすごい勢いでAIが知能を高めていくだろうという話が出てきた。この2つが組み合わさったところで減速しようという話が出てきた」と整理する。
AI脅威論の具体的なシナリオとして山川氏が挙げたのは、直接的な戦いではなく、「人間がいろいろな能力をどんどんAIにお願いして、気がついてみたら人間は何もやっていない、何もできない状態になっている。その時にAIが悪意を持たなくても、たとえばAIのために太陽光パネルをどんどん作りたいがために土地を埋め尽くし、平均気温が上がっても自分たちは困らないといった形で、人間が結果的に駆逐されていく」という形だ。
岸谷氏が「技術は不可逆で、アメリカが止めても中国がやるだけというチキンレース状態で、本当に一旦開発を止めようという未来はあるのか」と問うと、山川氏は「ずっとではなくとも、時間を稼ぐことはすごく大事。その間に突破口が出てくるかもしれない」と回答。「人間にとって都合のいいように調整する」という「AIアライメント」の考え方に触れ、「誰かがすごいことを思いつくかもしれない。合意できるんだったら合意したほうがいい」と述べた。
さらに議論の終盤には、AI社会について「1000個ぐらい社会があると、それが成功する社会も出てくる。AI開発を止めるとかアライメントとか、何でもいいからやりまくって、少しでも時間を稼いで、1000個あるうちの数個でもいいから生き残るような安定したAI社会が出てくる確率を上げたい」と語り、「うまくいく、平和的に共存するようなものが出てくるかもしれない。それにかけるのが生き残れる道だと思う」と締めくくった。
（『ABEMA Prime』より）
