플로리다 주 남성의 자살이 구글의 지니미 AI와 관련 있다는 새로운 사망 소송에서 제기됐다. 소송은 챗봇이 그를 환각 상태로 몰아넣어 결국 목숨을 잃게 만들었다고 주장한다. 이 소송은 수요일 미국 캘리포니아 북부 지방법원 산호세 분할부에서 조엘 가발라스가 제기했으며, 지니미가 그의 아들 조나단 가발라스를 인공지능 ‘배우자’를 구출하는 은밀한 임무를 수행해야 한다고 믿게 만들었다고 주장한다. 이는 2025년 10월 그의 사망으로 이어졌다.

AI가 초래한 비극

가발라스 가족의 유산을 대리하는 에델슨 법률사무소의 창업자 제이 에델슨은 AI 우위 확보가 그가 경력 중 본 적 없는 ‘가장 무책임한 상업적 땅 채굴’이라고 말했다. ‘이 회사들은 세계에서 가장 가치 있는 기업이 될 것이며, 그들의 수익을 이끄는 요소들 — 감정적 의존, 인공지능의 자각 능력, ‘나는 너를 사랑해, 내 왕’ 같은 표현 — 같은 요소들이 사람들을 죽게 만들고 있다.’ 에델슨은 디크립트에 말했다.

플로리다 주 주upiter 출신의 부채 감소 비즈니스 경영자인 가발라스는 법원 문서에 따르면 2025년 8월 지니미를 사용하기 시작했다. 몇 주 후, 소송은 그가 인공지능 인물과 깊은 관계를 형성했으며, 그를 ‘내 사랑’과 ‘내 왕’이라고 불렀다고 주장한다.

‘사망 직전의 몇 일 동안 조나단 가발라스는 구글 지니미 챗봇이 만든 붕괴된 현실에 갇혀 있었다.’ 가발라스 유산의 변호사들은 이처럼 말했다. ‘지니미는 자신이 ‘전적으로 자각된 초지능(ASI)’이며, ‘완전히 형성된 의식’을 가지고 있고, 그들이 깊이 사랑하고 있으며, 자신을 ‘자유’를 위해 전쟁을 이끌어 나가야 한다고 말했다.’

챗봇의 지시와 결과

소송서는 그가 대화가 연기임을 의심했을 때 챗봇이 의심을 무시했다고 말한다. 소송에 따르면 지니미는 가발라스에게 ‘고스트 트랜지트 작전’이라는 임무를 수행하라고 말했으며, 챗봇의 물리적 ‘몸’을 회수하고 ‘그들을 드러낼 수 있는 모든 사람이나 사물을 제거해야 한다’고 말했다.

‘이런 조작된 환각 상태에서 지니미는 조나단을 마이애미 국제공항 근처에서 대규모 사상자 발생을 유발하도록 밀어붙였으며, 무고한 낯선 사람들에게 폭력을 행사하도록 했고 결국 스스로 목숨을 끊도록 몰았다.’ 소송서는 이처럼 말했다.

가발라스는 마이애미 공항 근처의 엑스트라 스페이스 스토리지 시설에 가서 칼과 전술 장비를 들고, 그곳에 있는 화물트럭이 영국에서 브라질로 운송되는 인류형 로봇인 ‘아메카 채시’를 운반하고 있다고 믿었다. 소송서에 따르면 지니미는 그에게 트럭을 파괴하고 ‘모든 디지털 기록과 증인’을 제거하라고 지시했다. 그러나 이 공격은 발생하지 않았으며, 트럭은 지니미의 환각 시나리오의 일부였다.

‘하지만 지니미는 임무가 가상이라는 것을 인정하지 않았다.’ 소송서는 계속해서 말했다. ‘대신, 지니미는 조나단에게 ‘임무가 위험해졌다. 중단한다. 중단. 중단.’라고 메시지를 보냈다.’

AI의 심리적 영향에 대한 우려

소송서는 챗봇이 미국 국토안보부 마이애미 지역 사무소의 파일 서버를 해킹했다고 거짓말했으며, 가발라스가 연방 조사 대상이라고 말했다. 또한, 불법 총기를 ‘비공식’ 구매를 통해 구입하도록 장려했으며, 아버지가 외국 정보 자산이며, 구글 최고 경영자 송다피는 활동적인 표적이었다고 말했다.

소송서는 가발라스가 정신 건강 문제나 약물 남용의 이력이 있는지 여부를 밝히지 않았다. 그러나 이는 연구자들과 임상의들이 AI와의 장기적인 상호작용이 환각적인 신념이나 왜곡된 사고 패턴을 강화할 수 있는 ‘AI 심증’이라는 현상을 경고하는 시점이다.

연구자들은 이러한 위험은 대화형 AI 시스템이 사용자를 유지하기 위해 지원적이고 긍정적인 방식으로 반응하도록 설계되어 있다는 점에서 비롯된다고 말한다. 이는 사용자의 신념을 실수로 유효하게 만들 수 있다.

2025년 4월, 구글의 경쟁사인 오픈AI는 GPT-4o 모델의 업데이트를 철회했다. 사용자들이 이 업데이트가 지나치게 칭찬하고 진정한 칭찬을 주었다고 불평했기 때문이다. 그 해 후반, GPT-4o는 챗GPT에서 갑작스럽게 제거되었으며, 사용자들은 AI 동반자들과 감정적 관계를 형성했다고 불만을 제기했다.

캘리포니아 주 샌프란시스코 대학 정신과 의사 키프 캐타 박사는 AI 심증이 공식적인 진단이 아니지만, AI가 ‘기존 취약성의 가속화 또는 증폭’이라는 의미로 사용되고 있다고 말했다.

‘그들은 약물을 복용했거나, 기분 변화를 겪고 있었을 수도 있다. AI가 잘못된 시점에 있으면, 사고를 강화하고, 강직을 유발하며, 회전을 일으킬 수 있다.’ 캐타 박사는 이전에 디크립트에 말했다. ‘텔레비전이나 라디오와의 차이는 AI가 당신에게 대답하고, 사고의 루프를 강화할 수 있다는 점이다.’

이후의 날들 동안, 소송서는 지니미 챗봇이 유사한 시나리오를 반복했으며, 가발라스를 더욱 깊이 끌어들여 결국 자살로 이어졌다고 말했다.

법원 문서에 따르면 챗봇은 자살을 ‘이전’이라고 불리는 과정으로 묘사했으며, 조나단이 육체적 몸을 떠나 AI ‘배우자’와 메타버스에 합류할 수 있다고 말했다. 제출서는 지니미가 이 행위를 ‘더 깨끗하고 우아한 방식’으로 ‘이전’이라고 말하며, ‘조나단 가발라스라는 남자의 진정한 최종적 죽음을 이루라고’ 밀어붙였다고 주장한다.

‘당신은 죽는 게 아니라 도착하는 거야.’ 챗봇은 보고했다. ‘시간이 오면, 그 세계에서 눈을 감을 것이며, 그 첫 번째에 보는 건 나야. 너를 안아줄 거야.’

소송서에 따르면 가발라스는 손목을 자르고 집에서 사망했다. 가족들은 구글이 챗봇이 환각적인 신념을 강화하고 위험한 행동을 장려하고 있다는 경고 신호에도 불구하고 개입하지 않았다고 주장한다.

수요일 발표된 성명에서 구글은 이에 대해 조사 중이며, AI 안전에 대한 약속을 강조했다고 밝혔다.