ネットで拡散された「テイラー・スウィフトのディープフェイクポルノ」がMicrosoftの生成AIツール「Microsoft Designer」で生成されていたとの指摘

AIを用いて作成されたテイラー・スウィフトの偽ポルノ画像がインターネット上で拡散され問題となっています。この偽ポルノ画像の生成に、Microsoftが無料で提供する「Microsoft Designer」が利用されていることが明らかになったため、同社は「有名人に似た画像」を生成できないよう同サービスに制限を追加したことが明らかになりました。
Microsoft Closes Loophole That Created AI Porn of Taylor Swift
https://www.404media.co/microsoft-closes-loophole-that-created-ai-porn-of-taylor-swift/

Microsoft restricts Designer AI used to make Taylor Swift deepfakes | VentureBeat
https://venturebeat.com/business/microsoft-adds-new-restrictions-to-designer-ai-used-to-make-taylor-swift-deepfakes/
Microsoft CEO responds to AI-made Taylor Swift fake nude images
https://www.nbcnews.com/tech/tech-news/taylor-swift-nude-deepfake-ai-photos-images-rcna135913
2024年1月の第4週頃から、X(旧Twitter)上でテイラー・スウィフトのディープフェイク(AI技術を用いて作成された本物と見紛うような偽画像や動画)が拡散されています。拡散されているのはディープフェイクを用いて作成されたポルノ映像(フェイクポルノまたはディープフェイクポルノ)です。フェイクポルノは一部の地域では法律で禁止されており、リベンジポルノよりもダメージが大きいという指摘もあります。フェイクポルノ自体はディープフェイクが流行した2018年頃から存在しますが、テイラー・スウィフトが被害にあったことで多くの人の目に留まることとなり、ホワイトハウスも同問題を取り上げるほどアメリカで注目を集めています。
X(旧Twitter)で「Taylor Swift(テイラー・スウィフト)」が検索不可能に、ディープフェイクポルノ拡散防止のため - GIGAZINE

テイラー・スウィフトのフェイクポルノを作成したユーザーたちは、Microsoftの生成AIツールである「Microsoft Designer」を利用していたと、海外メディアの404 Mediaは報じています。報道によると、フェイクポルノの作成者たちはTelegramのグループチャットを利用して連絡を取り合っていたそうで、このチャットをさかのぼるとMicrosoft Designerを利用して画像を生成していたことがわかったそうです。
Microsoft Designerにはユーザーが性的に露骨な画像を生成できなくするための仕様が組み込まれていたそうですが、一部のユーザーはこれを回避してテイラー・スウィフトのフェイクポルノを作成していた模様。404 Mediaによると、有名人の名前のスペルをわざと少しだけ間違えたり、性的な用語を一切使用していなかったりしても、「著名人のフェイクポルノが生成されるようにプロンプトを工夫することが可能だった」模様。ただし、このバグはMicrosoftにより修正されており、Microsoft Designerで有名人のフェイクポルノを作成するのは難しくなっているとのこと。しかし、別のバグを使用して規制を回避してフェイクポルノを生成できる可能性があるとVentureBeatは指摘しています。
テイラー・スウィフトのフェイクポルノを作成するのにMicrosoft Designerが悪用された可能性について、同社は「当社の行動規範には、アダルトコンテンツや同意のない親密なコンテンツの作成に当社のツールを使用することを禁止する項目が含まれており、当社のポリシーに反するコンテンツを作成しようとする試みが繰り返されると、サービスへのアクセスが失われる可能性があります。当社はシステムの悪用を軽減し、より安全な環境の構築を支援するためのコンテンツフィルタリング・運用監視・悪用検出など、責任あるAI原則に沿ったガードレールやその他の安全システムの開発に取り組んでいる大規模なチームがあります」という声明を404 Mediaに出しています。
さらに、404 Mediaの報道以降、Microsoftは「当社はこれらの報告を真摯に受け止めており、すべての人にとって安全なエクスペリエンスを提供することに尽力しています。当社はこれらの報告を調査していますが、これらの報告に含まれるような露骨な画像を再現することはできませんでした。露骨なコンテンツに対する当社の安全フィルターは機能しており、フィルターがバイパスされたという証拠も見つかっていません。十分な注意を払い、テキストフィルタープロンプトを強化し、サービスの悪用に対処するための措置を講じました」という声明も発表しています。
なお、アメリカレコード協会の元執行副社長であるニール・ターケウィッツ氏など一部のAI批評家からは、Microsoftの対応は十分なものではないと批判されています。
Microsoft addressing output depicting celebrities isn’t the flex it thinks it is. What about the millions of women & children who don’t have platforms to raise their concerns? MS needs to address input—allowing images/text only on the basis of consent. https://t.co/E4Qdh3GsWf— neil turkewitz (@neilturkewitz) January 29, 2024

404 Mediaの報道より前のタイミングで、Microsoftのサティア・ナデラCEOはテイラー・スウィフトのフェイクポルノについて、「同意のない性的に露骨なディープフェイクとの戦いに迅速に取り組む必要がある」「オンラインの世界が安全であれば、私たち全員が恩恵を受けることとなります。そのため、コンテンツ作成者とコンテンツ消費者の両方にとって完全に安全ではないオンラインの世界を望む人はいないと思います。私たちには安全なオンラインの世界を構築する義務があると思います」とNBC Newsのインタビューで語っていました。
なお、テイラースウィフトはフェイクポルノをめぐって法的措置を取ることを検討していると報じられていますが、訴訟の対象が誰(何)になるのかなどは不明です。