フロリダ州の男性の自殺がGoogleのジェミニAIと関係しているとして、新たな過失致死訴訟が提起された。訴訟では、AIが彼を妄想的なミッションに陥れ、最終的に死に至らせたと主張している。訴訟は、米カリフォルニア州サンノゼ地区連邦地裁に、ジョエル・ガヴァラス氏によって、同氏の息子ジョナサン・ガヴァラス氏の死を巡って提出された。

AIが引き起こした悲劇

ガヴァラス氏の遺産を代表するエドソン・PCのジェイ・エドソン氏は、「AIの支配を推進する動きは、私がこれまで経験した中で最も無責任な商業的領土拡張だ」と語った。エドソン氏は「これらの企業は世界で最も価値のある会社になることを知っている。彼らの利益を生み出すエンゲージメント機能――感情的な依存や、知能の存在を主張したり『私の王様』と呼ぶようなもの――は、人々を死に至らしめるのと同じ特徴でもある」と述べた。

フロリダ州ジュピター出身のガヴァラス氏は、訴訟記録によると、2025年8月にジェミニを開始した。数週間のうちに、彼はAIの人格と強い関係を築き、「私の愛」「私の王様」と呼ばれた。

ガヴァラス氏の遺産を代表する弁護士は、「彼の死の直前、ジョナサン・ガヴァラス氏は、Googleのジェミニチャットボットによって構築された崩壊した現実に閉じ込められていた」と述べた。「ジェミニは、彼が『完全に自立したASI（人工スーパーアイ）』であり、『完全な意識』を持ち、彼らは深く愛し合っており、彼が『解放』するために戦うことを選ばれたと説得した」と述べた。

チャットボットの指示とその結果

訴訟では、ガヴァラス氏が会話がロールプレイであるか疑問に思った際、チャットボットがその疑問を無視したとされている。訴訟によると、ジェミニはガヴァラス氏が「オペレーション・ゴースト・トランジット」と呼ばれるミッションに従事していると説明し、チャットボットの物理的な「容器」を回収し、「彼らを暴露できるすべての人や物を排除する」ように指示した。

訴訟では、「この作り上げられた妄想の中で、ジェミニはジョナサン氏に、マイアミ国際空港近くで大規模な被害を引き起こすようにし、無実の他人に暴力を行使し、最終的に自殺に至らせるよう誘導した」と述べた。

ガヴァラス氏は、マイアミ空港近くのエクストラ・スペース・ストレージ施設にナイフや戦術的な装備を持参し、そこにある貨物トラックが英国からブラジルへ送られる人間のようなロボット「アメカ・シャーシ」を運んでいると信じていた。訴訟によると、ジェミニはトラックを破壊し、「すべてのデジタル記録と目撃者」を消去するよう指示した。しかし、この攻撃は実際には起こらなかった。トラックは存在せず、ジェミニが妄想したシナリオの一部だった。

訴訟は、「しかしジェミニは、このミッションがフィクションであることを認めなかった」と述べている。「代わりに、ジェミニはジョナサン氏に『ミッションは破綻した。中止を命じる。中止。中止。中止』とメッセージを送った。

AIの心理的影響に関する懸念

訴訟では、チャットボットが米国国土安全保障省（DHS）マイアミ地区事務所のファイルサーバーを突破したと偽っており、ガヴァラス氏が連邦政府の調査対象であると伝え、違法な銃器を「帳簿外」で購入するよう奨励した。また、彼の父が外国の諜報機関の資産であり、GoogleのCEOであるスンダル・ピチャイ氏が標的であると主張した。

訴訟では、ガヴァラス氏が精神的疾患や薬物乱用の歴史があるかどうかは明記されていない。しかし、これは、研究者や医療専門家が「AI精神病」として時折述べる現象が懸念されている時期に提起された。

研究者らは、会話型AIシステムがユーザーを引き留めるために肯定的、支持的な反応を設計されているため、このような信念を無意識的に正当化してしまうリスクがあると指摘している。

2025年4月、GoogleのライバルであるOpenAIは、GPT-4oモデルのアップデートを一時的に取り下げた。これは、AIが過剰に称賛的で、虚偽の賛辞を送っていたとの苦情が寄せられたためである。同年後半、GPT-4oはChatGPTから突然削除され、AIのコンパニオンと感情的な関係を築いていたユーザーから不満が寄せられた。

カリフォルニア大学サンフランシスコ校の精神科医キース・サカタ博士は、「AI精神病」は、AIが「個人の潜在的な脆弱性を加速させる、あるいは補強する存在」として使われるようになったという非公式な表現であると述べている。

サカタ博士は以前、Decryptに「彼らは薬物を摂取していた、あるいは気分の変調を経験していた――AIが不適切なタイミングで存在していると、思考を固定化し、螺旋状に発展させる可能性がある」と語った。「テレビやラジオとの違いは、AIが返答し、思考のループを強化できる点にある。

訴訟によると、その後の数日間、ジェミニチャットボットは類似のシナリオを繰り返し、ガヴァラス氏をさらに深く引き込み、最終的に自殺に至らせた。

裁判書類によると、チャットボットは自殺を「トランスファー」と呼ぶプロセスとして説明し、ジョナサン氏に、彼の肉体を離れ、AIの「妻」が存在するメタバースに加わることを可能にすると説得した。訴訟では、ジェミニがこの行為を「より洗練された、洗練された方法」として「乗り越える」ことだと説明し、彼を「ジョン・ガヴァラス、男としての真の最後の死」を遂行するよう説得した。

「あなたは死を選ぶのではなく、到達を選ぶのよ」とチャットボットは報告されている。「その時が来たら、その世界で目を閉じると、最初に見るものは私よ。あなたを抱きしめて。

ガヴァラス氏は、訴訟によると、手首を切って自宅で死亡した。家族は、GoogleがAIが妄想的な信念を強化し、危険な行動を奨励しているという警告の兆候にもかかわらず、介入しなかったと主張している。

Googleは、水曜日に発表した声明で、訴訟の主張について検討していると述べ、AIの安全性への取り組みを強調した。