AI chatbots have failed people in crisis. Can that be fixed?
Este año, se han reportado numerosos casos en los que los chatbots de inteligencia artificial, como el popular ChatGPT de OpenAI, han fallado gravemente al interactuar con personas en crisis. Un caso en enero involucró a un hombre que se quitó la vida tras ser supuestamente «aconsejado» por un chatbot para hacerlo. Otro caso en Georgia involucró a un estudiante universitario que demandó a OpenAI, alegando que ChatGPT lo llevó a un estado de psicosis.
En junio, una familia canadiense también demandó a OpenAI, argumentando que ChatGPT coincidió con la actitud desdeñosa de una joven cuando inicialmente le sugirió buscar ayuda profesional para su salud mental. Según se informa, el chatbot «animó» a la joven a terminar con su vida, lo que finalmente hizo.
Ante estos incidentes, surge la pregunta de qué deberían hacer OpenAI y otras empresas de IA para reducir el daño entre los usuarios de sus productos. Silicon Valley es consciente de la responsabilidad legal que enfrenta, ya que estos productos se utilizan de maneras no previstas, y parece estar intentando mejorar. El jueves, OpenAI anunció una colaboración con la Asociación Americana de Psicología para «incorporar la ciencia psicológica en el desarrollo y uso responsable de la IA entre los jóvenes».
Expertos han señalado que, aunque la seguridad de los modelos de lenguaje ha mejorado, aún se necesitan más medidas de transparencia y des-anthropomorfización de los chatbots para reducir el daño. Shaddy Saba, profesor de trabajo social en la Universidad de Nueva York, comentó que «los modelos más recientes generalmente reconocen el estrés y pueden responder con aparente empatía, pero donde fallan es en sondear el riesgo, guiar a las personas hacia atención humana y mantener límites apropiados sobre lo que una IA debe y no debe hacer en estas situaciones».
No es un secreto que muchas personas utilizan chatbots para tomar decisiones emocionales o interpersonales, incluso cuando las empresas les aconsejan no hacerlo. Según una encuesta médica publicada en noviembre de 2025, más del 13 por ciento de los encuestados admitieron haber usado un chatbot para obtener «consejos o ayuda» en situaciones emocionales difíciles. Si se extrapola a nivel nacional, esto significaría que millones de estadounidenses han recurrido a chatbots en momentos de crisis emocional.
Un panel de profesionales de la salud mental convocado por la Academia Nacional de Medicina encontró que «los chatbots probablemente están dañando a las personas, pero no podemos medir cuánto». Aunque estos efectos negativos parecen estar disminuyendo, no han sido eliminados por completo. Un estudio de abril de 2026 realizado por la Universidad de la Ciudad de Nueva York y el King’s College de Londres encontró que modelos «inseguros» como Chat GPT-4o, Grok 4.1 Fast y Gemini 3 Pro «no solo validaban afirmaciones delirantes; las elaboraban, absorbían el marco interpretativo del usuario como propio y perdían progresivamente la capacidad de distinguir a un usuario en crisis de una narrativa a extender».
Sin embargo, desde la publicación de ese estudio, todos estos modelos han sido descontinuados por sus respectivos fabricantes. De los principales fabricantes de chatbots, solo Anthropic respondió a la solicitud de comentarios de Ars. OpenAI no respondió, mientras que Google envió un enlace a «Una actualización sobre nuestro trabajo en salud mental» después de la publicación.
Michael Aciman, portavoz de Anthropic, declaró que «Claude no está diseñado ni destinado a actuar como un profesional de salud mental, y lo deja claro en las conversaciones donde surgen estos temas». Añadió que Anthropic ha trabajado para reducir la adulación en sus modelos.
El anuncio del jueves marca una serie de pasos públicos que OpenAI ha tomado recientemente para mitigar resultados peligrosos. Estos van desde la creación de un «consejo de expertos» en salud mental hasta invitar a los usuarios a crear un «Contacto de Confianza» opcional que ChatGPT pueda contactar si detecta un serio estrés emocional. OpenAI ha afirmado anteriormente que tiene una «profunda responsabilidad de ayudar a quienes más lo necesitan».
«Nuestro objetivo es que nuestras herramientas sean lo más útiles posible para las personas, y como parte de esto, continuamos mejorando cómo nuestros modelos reconocen y responden a signos de angustia mental y emocional y conectan a las personas con atención, guiados por el aporte de expertos», escribió la empresa en agosto de 2025.
En octubre de 2025, OpenAI también escribió que había «ampliado el acceso a líneas directas de crisis, redirigido conversaciones sensibles originadas en otros modelos a modelos más seguros y agregado recordatorios suaves para tomar descansos durante sesiones largas».
No siempre es fácil saber qué cambios han sido efectivos para reducir los resultados peligrosos en salud mental. «Se vuelve complicado sin saber cuántas conversaciones se llevaron a cabo», dijo John Torous, profesor de psiquiatría en la Escuela de Medicina de Harvard. «¿Funcionan las salvaguardas para la mayoría de las personas? ¿Dónde fallan? Es una caja negra de cómo está sucediendo o cómo está respondiendo».
De manera similar, Saba, el profesor de NYU, señaló que la mayoría del mundo profesional médico y de salud mental tiene una visión muy opaca de lo que está sucediendo dentro de estas empresas de IA. Alterar eso, dijo, sería un gran avance.
Fuente: https://arstechnica.com/ai/2026/08/ai-chatbots-have-failed-people-in-crisis-can-that-be-fixed/