ニュース番組『ABEMAヒルズ』が取材を依頼した、性的ディープフェイクを作るサイトの一つからメールの返信があった。
生成AIの普及に伴い、深刻化する性的ディープフェイクの被害。その裏には、人間が写る写真を使い裸の画像や動画に加工するサイトの存在がある。
返信内容から、運営側は性的ディープフェイクが世界的に問題となっていることは認識をしているようだ。またサイトの利用規約では、18歳未満の人物が写る写真のアップロードなどを禁じているものの、規約に触れる画像が利用された場合に対処する方法があるのかという質問には、以下の内容がつづられた。
「未成年者の保護については、この問題を極めて真剣に受け止めている。ユーザーが未成年者の画像をアップロードした場合、弊社のシステムは直ちにそれ以降の画像の生成をブロックする。これは、現在積極的に展開中の新しい動画生成機能にも当てはまる」（“ヌード加工サイト”運営者からのメール、以下同）
未成年者保護の対策を行っていると答えているが、本当に未成年かどうかを見分けてブロックできるのかは定かではない。そして運営者は、動画も生成できる機能など、自社のAI技術の素晴らしさについて誇らしげにアピールし始めた。
「私たちは、このような技術が生成AIの進化における次の大きなステップになると確信していて、私たちはそれらを最初に実装するプラットフォームの一つとなるだろう。日本のユーザーを含め、これらの機能にはすでに大きな関心が寄せられている。これらの革新が、生成コンテンツの概念そのものを再定義すると確信している」
2023年、スペインでは、少なくとも20人の女子児童・生徒らの偽ヌード画像が作られ、SNSで拡散される事件が起きた。その際、偽の裸の画像はこのサイトのサービスを使って生成されたといわれている。
また2025年8月7日現在、この偽ヌード画像の生成サイトには、イギリス領バージン諸島に本社があるとの記載があるが、2024年のサイトを見ると所在地はアルゼンチンの首都ブエノスアイレスになっていた。
さらに、ドイツのニュース雑誌『デア・シュピーゲル』によると、同誌が保有するというこのサイト運営事業者の社内文書はすべてロシア語で作成されていて、このサイト運営者のメールサービスもロシアに拠点を置いていると報じている。
実際、今回の番組スタッフへの返信メールでも、メールの全文引用時に自動で挿入される冒頭の宛先の部分が、英語ではない言語になっていた。
日本の法では“規制不可”？ 弁護士の見解は…
