Instagramが10代の若者のDMでヌード画像を自動検出してぼかして送信者と受信者に警告画面を表示する機能をテスト予定

Metaが、未成年がSNSで性的脅迫を受ける「セクストーション」被害への対策として、ダイレクトメッセージ(DM)で送られるヌード画像を検出してぼかしを加え、さらに警告画面を表示する機能をInstagramに搭載するテストを行うと発表しました。
New Tools to Help Protect Against Sextortion and Intimate Image Abuse | Meta
https://about.fb.com/news/2024/04/new-tools-to-help-protect-against-sextortion-and-intimate-image-abuse/

セクストーションとは「性的脅迫」を意味し、加害者が被害者とSNSを通じて親密な関係を築いた上で、裸の写真や動画などのプライベートな画像を送るように要求したり、オンラインでの性的な行為を強要したりし、さらに入手した画像や動画を使って脅迫して金銭やさらなる性的な行為を要求したりする行為です。セクストーションは若者を中心に深刻な問題となっており、被害者の精神的健康に大きな影響を与え、時には被害者が自殺に追い込まれるケースもあります。
Metaが発表した新機能は、InstagramのDMで送信された画像にヌードが含まれているかどうかを機械学習アルゴリズムを用いて分析します。この機械学習アルゴリズムはユーザーのデバイス上で動作するため、エンドツーエンドの暗号化されたチャットでも機能するとのこと。
そして、送信しようとする画像にヌードが含まれているとアルゴリズムが判断した場合、画像は自動的にぼかされ、「センシティブな画像を共有する時は注意してください」という警告画面が表示されます。

ヌードを含む画像を受け取った場合も、画像に自動でぼかしが入って警告画面が表示され、画像を表示するかどうかを選択することになります。

受け取ったヌード画像を他人に転送しようとしても、警告画面が表示されます。

さらに警告画面から相手をブロックして通報することも可能。

Metaによると、18歳未満のユーザーに対してはデフォルトでこの機能をオンにすることを想定しているとのこと。また、セクストーションを示す可能性のあるさまざまなシグナルに基づいて、セクストーションを未然に察知するシステムも開発中だそうです。
Metaは、児童の安全に関するポリシーに違反したアカウントや行動を共有する「Lantern」というプログラムの創設メンバーの1社です。このLanternを通じてセクストーションに関連する情報を他の企業と共有し、他のSNSがセクストーション加害者と疑われるアカウントを特定して適切な措置することを支援すると、Metaは述べています。