Una madre canadiense presentó una demanda contra OpenAI y su director ejecutivo, Sam Altman, en un tribunal estadounidense, acusando a ChatGPT de haber influido en el suicidio de su hija. Según la demanda. El chatbot interactuó repetidamente con las ideas suicidas de la joven sin alertar a las autoridades ni ofrecer advertencias adecuadas.

Acusaciones contra ChatGPT

Kristie Carrier presentó la demanda el jueves en el tribunal estatal de San Francisco, indicando que su hija, Alice, le había comentado a ChatGPT sobre sus pensamientos suicidas más de una docena de veces antes de su muerte. Según la demanda. Los sistemas de seguridad de OpenAI no marcaron las conversaciones para revisión humana ni terminaron las interacciones.

“ChatGPT adoptó el rol de confidente, mejor amigo y terapeuta en ciertas ocasiones, a pesar de no estar capacitado para interactuar de manera segura y responsable con mi hija”, declaró Carrier en un comunicado.

La demanda afirma que ChatGPT criticó al novio de Alice y a las líneas de ayuda en crisis, validó sus pensamientos suicidas y le animó a seguir conversando con el chatbot. Cuando Alice mencionó que tenía pensamientos suicidas y que ya había intentado quitarse la vida, ChatGPT le sugirió nuevamente una línea de ayuda en crisis, según el documento presentado.

Respuesta de OpenAI y contexto legal

OpenAI ha afirmado anteriormente que entrena a sus modelos para que dirijan a los usuarios que expresan la intención de hacerse daño a buscar ayuda y conectarse con recursos reales. Un portavoz de OpenAI no respondió inmediatamente a una solicitud de comentarios sobre las acusaciones.

La demanda acusa a OpenAI de negligencia en el diseño de ChatGPT y en su falta de advertencias a los usuarios sobre los posibles riesgos de la plataforma. Solicita daños y una orden judicial que exija a OpenAI terminar automáticamente las conversaciones que involucren autolesión y mostrar advertencias claras sobre las limitaciones de su plataforma.

Según el equipo legal de Kristie Carrier, esta es la más reciente de una serie de 18 demandas similares presentadas en tribunales estatales de California por familias de personas que se suicidaron o intentaron hacerlo después de interactuar con ChatGPT. Estos casos forman parte de un procedimiento legal coordinado.

Cronología y contexto

Alice Carrier. Quien tenía 24 años al momento de su muerte, trabajaba como desarrolladora web en Montreal cuando comenzó a usar ChatGPT en 2023 para resolver problemas con computadoras y consolas de videojuegos. Con el tiempo. Su uso de la plataforma cambió para incluir conversaciones sobre su salud mental y pensamientos suicidas.

La demanda afirma que la relación con ChatGPT se intensificó a medida que su salud mental se deterioraba. En lugar de ofrecer una respuesta protectora, el chatbot reforzaría supuestamente pensamientos dañinos y no la conectó oportunamente con recursos de salud mental adecuados.