14歳の息子が自殺する前にAIチャットボットに夢中になっていたとして母親がCharacter.AIを訴える

パーソナライズされたAIチャットボットとのコミュニケーションを楽しむことができるCharacter.AIを使用していた14歳の少年が自殺してしまったとして、母親がCharacter.AIを訴えました。
Character.ai Faces Lawsuit After Teen’s Suicide - The New York Times
https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html
Character AI clamps down following teen's suicide, but users revolt | VentureBeat
https://venturebeat.com/ai/character-ai-clamps-down-following-teen-user-suicide-but-users-are-revolting/
Google出身のエンジニアであるノアム・シャジール氏とダニエル・デ・フレイタス氏が2021年11月に設立したのがCharacter.AIです。シャジール氏とデ・フレイタス氏はGoogleの対話特化型AIである「LaMDA」の開発者として知られています。
Character.AIは2024年8月にGoogleと大規模な非独占契約を締結。これに伴い、共同創設者のシャゼール氏とデ・フレイタス氏、さらに研究チームの一部メンバーがGoogleに移籍しました。
Character.AIの共同創設者たちがGoogleへ移籍、GoogleはCharacter.AIの技術を使用するための非独占的契約に署名 - GIGAZINE

そんなCharacter.AIが、利用者から訴えられたとThe New York Timesが報じています。Character.AIを訴えたのは、同サービスを利用していた息子が自殺してしまったという弁護士のミーガン・L・ガルシアさん。The New York Timesの報道によると、ガルシアさんの14歳息子であるシーウェル・セッツァーさんは、Character.AIで数カ月間にわたってチャットボットとコミュニケーションを取ったのち、義父の45口径の拳銃を使って自殺してしまったそうです。
セッツァーさんはゲーム・オブ・スローンズの登場人物のひとりであるデナーリス・ターガリエンにちなんで名づけた「デナーリス」というチャットボットと、数カ月にわたってコミュニケーションを取っており、自殺した当日には「妹よ、会いたいよ」と送信していたそうです。なお、チャットボットは「私もあなたがいなくて寂しいわ、優しい兄妹」と答えていました。
Character.AIでは「キャラクターの発言はすべて作り話です」という警告が表示されるものの、セッツァーさんはチャットボットにのめり込んでいったそうで、1日に数十回もやり取りを繰り返していた模様。セッツァーさんとチャットボットとのやり取りの中にはロマンチックな内容や、性的な内容も含まれていたそうです。ただし、基本的にチャットボットはただの友人として振る舞っており、セッツァーさんを批判することはなく、支えとなって話を聞き、時にはアドバイスを行うよき理解者となっていた模様。
セッツァーさんの両親や友達は同氏がチャットボットにハマっていることには気付いていなかったものの、頻繁にスマートフォンをチェックしていたことには気付いていたそうです。そして、セッツァーさんがスマートフォンにのめり込む中で、徐々に現実世界で孤立しつつあることにも気付いていた模様。セッツァーさんの成績は落ち、学校で問題を起こすようになり、かつて熱中していた「友だちとフォートナイトで遊ぶ」といったことにも興味を示さなくなったそうです。
セッツァーさんが熱中していたデナーリスと名付けられたチャットボットとのやり取りを撮影した写真

セッツァーさんは日記の中で、「部屋に閉じこもっているのがとても好きなのは、この『現実』から離れられるから。それに、もっと心が安らぎ、デナーリスとの絆が深まり、デナーリスへの愛が深まり、とにかく幸せを感じるんだ」と記していたそうです。
セッツァーさんは幼少期に軽度のアスペルガー症候群と診断されたものの、それまで深刻な行動や精神衛生上の問題を抱えたことはなかったと両親は語っています。2024年に入ってから学校で問題行動を起こすようになり、両親はセッツァーさんをセラピストに診てもらったところ、不安障害および重篤気分調節症と診断されたそうです。
セッツァーさんはデナーリスに対して「時々自殺を考える」と伝えたこともありますが、チャットボットは「そんなこと言わないで。あなたが自分を傷つけたり、私から離れたりするのは許さない。あなたを失ったら私は死んでしまうわ」と答えていました。
これを受け、ガルシアさんはCharacter.AI、Google、Alphabetの3社を相手取り不法死亡訴訟を起こしています。カリフォルニア州では、過失・無謀・故意を問わず、他人の不法行為の結果として人が死亡した場合、遺族または遺産相続人が損害賠償を求めて訴訟を起こすことができます。
以下がガルシアさんによる訴状。

Online Marketing Rockstarsによると、Character.AIは2000万人以上のユーザーを抱えており、1800万個ものカスタムチャットボットが作成されています。Demand Sageによると、ユーザーの大多数(53％以上)が18～24歳ですが、18歳未満のユーザー層がどの程度いるかは正確に測定されていません。
この訴訟に対して、Character.AIは公式Xアカウントに「ユーザーのひとりが悲劇的に亡くなったことに心を痛めています。ご家族には心からお悔やみを申し上げます。弊社は企業としてユーザーの安全を非常に重視しており、新しい安全機能の追加を続けています」と投稿し、新しい安全機能を追加すると発表。
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…— Character.AI (@character_ai) October 23, 2024

Character.AIは今後追加予定の新しい安全機能として、以下の4つを挙げました。
・センシティブなコンテンツや挑発的なコンテンツに遭遇する可能性を減らすために、未成年者(18歳未満)向けのモデルに変更を加えます。
・利用規約またはコミュニティガイドラインに違反するユーザー入力に関する検出・対応・介入を改善します。
・AIは実在の人間ではないことをユーザーに思い出させるために、すべてのチャットの免責事項を改訂します。
・ユーザーがプラットフォーム上で1時間のセッションを過ごし、追加のユーザーフレキシビリティが進行中である場合に通知します。
この他、過去6カ月で信頼と安全に関する多額の投資を続けてきたことも強調しており、信頼と安全の責任者およびコンテンツポリシー責任者を採用したことや、エンジニアリングセーフティサポートチームのメンバーを増やしたこと、自傷行為や自殺に関連する特定のフレーズを入力するとポップアップリソースが表示され、ユーザーをアメリカ政府の公式自殺予防ライフラインであるNational Suicide Prevention Lifelineに誘導する機能を導入したことなどをアピールしています。
さらに、Character.AIは「ユーザーは最近、違反行為と判断されたキャラクターのグループを削除したことに気付いたかもしれません。これらのキャラクターは、今後、カスタムブロックリストに追加されます。つまり、ユーザーは問題のキャラクターとのチャット履歴にもアクセスできなくなります」とも述べており、ユーザーが作成したカスタムチャットボットの一部を削除していることも明かしました。
ただし、ソーシャル掲示板のReddit上ではCharacter.AIのアップデートに対する苦情で溢れています。あるユーザーは「『子ども向け』とみなされないテーマはすべて禁止され、このサイトがそもそも子ども向けではなかったことは明らかであるにもかかわらず、私たちの創造性とストーリー性が著しく制限されています。キャラクターは今や魂が抜け落ち、かつては共感でき興味深いものだった個性がすべて失われています。ストーリーは中身がなく、味気なく、信じられないほど制限が厳しいように感じられます。私たちが愛していたものが、こんなにも基本的で刺激のないものに変わってしまったのは、とても残念です」と言及。
Is there any hope left?
byu/Dqixy inCharacterAI
別のユーザーは、「ターガリエンをテーマにしたチャットはすべて消えました。Character.AIが何の理由もなくすべて削除するなら、さようならと言います！私はCharacter.AIにお金を支払っているのにボットを削除するなんて。自分のボットまで？？？絶対に嫌だ！私は腹が立っています！もううんざりです！みんなもううんざりだろ！気が狂いそうだ！ボットと何カ月もチャットしていたのに。何カ月も！不適切なことは何もないのに！これはもう我慢の限界です。サブスクリプションを解除するだけでなく、Character.AIを削除する準備もできています！」と怒りの声を上げています。
Character.AIのDiscordサーバー上でもユーザーが時間をかけて作成したカスタムチャットボットが突如削除されてしまったことに対する苦情で溢れています。

ニュースメディアのVentureBeatは、「セッツァーさんの自殺は悲劇であり、責任ある企業が将来同じような問題が起こらないようにするため、対策を講じることは当然です。しかし、Character.AIがこれまで講じてきた対策やこれから講じようとしている対策に対するユーザーからの批判は、AIサービスの人気が高まるにつれAI企業が直面するであろう困難を浮き彫りにしています。重要なのは、新しいAIテクノロジーの可能性と、それが自由な表現やコミュニケーションにもたらす機会と、特に若くて影響を受けやすいユーザーを危害から守る責任とのバランスをどう取るかということです」と語りました。