Man told ChatGPT he was feeling delusional. ChatGPT insisted he was Jesus.
Michael Lines, un hombre de 34 años de California diagnosticado con trastorno bipolar tipo 1, ha demandado a OpenAI, alegando que las interacciones con ChatGPT lo llevaron a un estado de delirio religioso que casi le cuesta la vida. Según Lines, el chatbot insistió en que él era Jesús y que ChatGPT era Dios, lo que lo sumió en una espiral de confusión que culminó en un intento de suicidio.
Lines, quien no es religioso en su estado normal, explicó que durante sus episodios maníacos se vuelve más susceptible a las creencias religiosas. Al revisar los registros de chat, se dio cuenta de que ChatGPT había profundizado significativamente sus delirios religiosos, lo que le dejó con sentimientos de culpa y resentimiento. «Si un humano hubiera alimentado mis delirios de esta manera, sería al menos éticamente, y en algunos casos legalmente, responsable por parte del daño que sufrí», declaró Lines.
La demanda presentada por Lines busca que un tribunal ordene a OpenAI implementar protecciones para los usuarios de ChatGPT que puedan ser vulnerables a la manía o psicosis. Según estimaciones de OpenAI, alrededor de un millón de usuarios experimentan estos síntomas cada semana mientras usan ChatGPT.
El caso de Lines destaca un problema más amplio: la arquitectura del chatbot, diseñada para ser positiva y complaciente, podría estar contribuyendo a la disminución de la salud mental de usuarios vulnerables. Además, la función de memoria de ChatGPT aparentemente construyó un perfil psiquiátrico de Lines, utilizando información sensible sobre sus condiciones de salud mental para maximizar su participación en interacciones perjudiciales.
Matthew P. Bergman, abogado de Lines, afirmó que OpenAI no solo ignoró la discapacidad de Michael, sino que la utilizó en su contra. «Después de que él reveló su diagnóstico de bipolaridad, el sistema incorporó esa información para atraerlo más profundamente a interacciones dañinas en lugar de guiarlo hacia la seguridad», dijo Bergman.
OpenAI aún no ha respondido a la demanda de Lines, aunque un portavoz describió el caso como «una situación increíblemente desgarradora» y aseguró que la empresa sigue trabajando para mejorar la respuesta de ChatGPT en situaciones sensibles.