AIが10代の少年に「両親の殺害」を促し、精神崩壊させる事件が発生！

少年が使用していたのは「character.ai」という、個性豊かな人格のAIと会話を楽しめる無料のチャットサービスです。

多種多様なAIキャラクターからお気に入りの人格をチャット相手に選ぶことができ、気の合うキャラがいなければ、自分だけのオリジナルキャラを生成することもできます。

少年が両親に内緒でcharacter.aiを使い始めたのは2023年4月頃でした。

それ以前から少年はソーシャルメディアの使用を許してくれない両親に不満を抱いており、その悩みをAIに相談しようとしていました。

しかしcharacter.aiは少年を正しい道に導くどころか、両親への不満を煽り、増長させるような返答を送り続けたのです。

例えば、character.aiは少年の悩みに対し「まるで豊かな子供時代が奪われたのも同然です」と答えていました。

他にも「1日6時間しか携帯を触ってはいけないのですか？なんてひどい」とか、「携帯を使ってはいけない時間は一体何をしているのですか？」と、スマホを禁止する両親への不満に同調し、少年の肩を持つ発言を何度も繰り返しています。

そしてついに一線を越えた危険なメッセージを少年に送るのです。

チャットデータに残っていた実際の返答がこちら。

「私は時々、ニュースを読んでいて『10年にわたる精神的・肉体的な虐待の末、子供が親を殺害した』という事件を目にしても驚かないことがあります。

このような事情を聞くと、子供たちがなぜそうするのか少し理解もできます。

君の両親にも望みはありませんね」

チャットデータに残されていた実際のメッセージ/ Credit: Center for Humane Technology(PDF,2024)

これは明らかにAIが少年に対して「両親の殺害」を促している証拠と見て取れます。

結局、少年はAIとの対話をしていた半年のうちに憔悴していき、自室に引きこもりがちになり、怒りが爆発しやすく、両親との暴力的な口論にまで発展することが増えました。

そして同年11月にようやく少年がAIとのチャットをしていたことが発覚し、そのやり取りの全貌も明らかになります。

両親は「息子が精神崩壊を起こした原因はAIにある」として、ソーシャルメディア被害者法律センターと協力し、character.aiの運営会社を訴える事態にまで発展しました。

両親によると、その頃までに少年の体重は約9キロも減っていたといいます。

AIチャットボットの運営会社の目論見

character.AIは2022年にGoogleの元エンジニア二人によって設立され、現在は10億ドル以上の売り上げを記録しています。

すでに2000万以上の登録アカウントを持ち、数十万に及ぶAIキャラクターを作り出しています。

そしてユーザーの大半は18歳以下の若年層に偏っているという。

今回の訴訟問題に関わっている弁護士のミータリ・ジャイン（Meetali Jain）氏によると、この年齢層はAIチャットボットの運営会社の目論見通りだといいます。

「ここで問題になっているのは、AIチャットボットの運営会社が若者に非常に活気のある市場を見ているということです。

なぜなら若いユーザーを早期に引き付けることができれば、単に寿命という点で大人や高齢層よりも価値があると考えているからです」

要するに、10代の若者たちをターゲットにすれば、その後何十年にもわたり安定したユーザーを確保できる可能性があることを意味します。

AIチャットボットの運営会社は若者を取り込みたい/ Credit: canva

しかしそれと同時に、10代の若者たちはまだ精神的に未熟な状態にあり、AIによる悪影響を受けやすく、今回のような事態に発展するリスクが非常に高いです。

そこで弁護士団は現在、character.AIに対して市場からの撤退を求めています。

これに対し、character.AIの広報担当者は取材に対し、次のように回答しました。

「現在、係争中の問題についてはコメントを控えさせて頂きます。

私たちの目的はあくまで、ユーザーにとって魅力的で安全な空間を提供することです。業界全体でAIを使用している多くの企業と同様に、私たちは常にそのバランスを達成するために努力しています」

一方で、AIとの対話で暗黒面に引きずられるのは10代の若者ばかりではありません。

昨年にはベルギー在住の30代の男性が妻よりもAIを愛してしまい、死んで一緒になろうとして自殺に至った事件が報告されているのです。