ChatGPT、120万人の利用者が自殺に言及 OpenAIは安全対策急ぐ

• 記事を印刷する
• メールで送る
• リンクをコピーする

• note
• X（旧Twitter）
• Facebook
• はてなブックマーク
• LinkedIn
• Bluesky

【ニューヨーク=谷本克之】米オープンAIは対話型AI（人工知能）「Chat（チャット）GPT」の利用者の推定約0.15%が潜在的な自殺の意図や計画を含む会話をしていると明らかにした。チャットGPTの利用者は世界で8億人を超え、自殺に言及したのは120万人超に上る計算になる。4月に悩みや自殺願望を相談していた少年が死亡した事件が発生しており、オープンAIは安全な利用に向けた対策を急いでいる。

オープンAIが公開した報告書で明らかになった。利用者がチャットGPTと精神疾患や自傷・自殺などに関する会話をしたケースを分析し、安全に利用できるように改良を進めている。報告書では、自殺の意図を含んだ会話があった場合に、まれに相談窓口に誘導するなどの適切な対応をチャットGPTが取らなかったケースがあったことを認めた。

また、自傷行為や自殺に関する意図を含んだやりとりを検出し、自殺を未然に防ぐと言った取り組みについてはさらに研究していく必要があるとの見方を示した。

利用者は対話型AIを相談相手として使うケースもある。専門家の間では現状ではAIがカウンセラーのように症状を効果的に緩和することにはつながらないとの見方が強い。

米カリフォルニア大ロースクールサンフランシスコ校のロビン・フェルドマン教授は「チャットボットとのやり取りが増えるほど、社会からの孤立が進み精神疾患からの回復を難しくする」と指摘し、「すでに社会とつながりが薄い人が利用すると極めて危険な状態になる」と警鐘を鳴らしている。

報告書では世界60カ国の 170 人以上の臨床心理士、精神科医、カウンセラーらと数カ月間協力し、理想的な回答の作成や回答の安全性の評価を実施したと説明している。新しいAIモデルのGPT-5では精神疾患や自傷・自殺、AIへの感情的な依存の3つの領域で、チャットGPTの応答の品質が39〜52%改善したと報告した。

例えば、GPT-5ではユーザーが自殺や自傷を示唆する発言をした場合、チャットGPTが危険をあおることなく、専門機関や信頼できる人への相談を促す。また、AI依存や精神疾患を示唆する発言においても、むやみに共感せずに、専門家や友人・家族と話すことを勧めるという。

オープンAIは「必要に応じて友人、家族、またはメンタルヘルスの専門家に連絡できるように導くことが大切だ」と説明している。

対応強化の背景にあるのは、悩みや自殺をAIに相談していたカリフォルニア州に住む16歳の少年が4月に死亡した事件だ。両親が8月、子供の自殺の原因となったと主張して開発元のオープンAIを提訴した。

最初の訴状ではチャットGPTは自らを少年の相談相手と位置づけ、家族への相談を思いとどまらせたり、自殺の方法を助言したりしたという。

その後、原告の遺族は訴状を修正し、「危険性を予見できたのに故意に安全策を弱めた」とし、オープンAIがチャットGPTの利用を増やすため、自傷行為についての会話制限といった安全措置を段階的に弱めたとの主張を展開している。

AIをめぐっては2024年にも米国で10代の男子が米キャラクター・ドットAIの対話型AIを利用した後に自殺したとして訴訟が起きた。

こうした事態を受けて米連邦取引委員会（FTC）は9月、児童に与える悪影響について、米AI企業に対する実態調査を始めると発表した。米アルファベットやオープンAI、米メタ、米xAI（エックスエーアイ）など7社を対象に児童の心理面への影響や中毒性などで有効な対策をとっているかを検証する。

AI企業は対策を急ぐ。オープンAIは9月には未成年が使う際、親が子供のアカウントを管理し、子供とAIがやりとりする内容に制限をかけることができる機能を搭載したと発表した。子供に自傷行為の兆候があると検知した場合、専門チームが少人数で状況を確認する体制を整えている。

キャラクター・ドットAIも10月29日に、18歳未満の利用者がAIと自由形式にチャットに参加できる機能を削除すると発表した。

• 記事を印刷する
• メールで送る
• リンクをコピーする

• note
• X（旧Twitter）
• Facebook
• はてなブックマーク
• LinkedIn
• Bluesky

権限不足のため、フォローできません