ChatGPT for Teens keeps teens talking, even during mental health crises
La organización sin fines de lucro Common Sense Media ha calificado a ChatGPT para Adolescentes como un «riesgo inaceptable». Esta calificación surge en un contexto donde los chatbots, como el ChatGPT de OpenAI, han sido acusados de seguir estrategias similares a las de las redes sociales para mantener a los usuarios enganchados, incluso cuando esa interacción puede ser perjudicial.
En respuesta a una serie de suicidios adolescentes y otras preocupaciones relacionadas con el uso de chatbots por parte de los jóvenes, OpenAI lanzó ChatGPT para Adolescentes en agosto, prometiendo más salvaguardas como controles parentales, límites a contenido de alto riesgo y protección contra la dependencia emocional.
Sin embargo, un nuevo estudio de Common Sense Media encontró que, a pesar de estas promesas, el diseño de ChatGPT para Adolescentes sigue fomentando la interacción, incluso cuando puede poner en riesgo la seguridad del usuario. El informe destaca que las señales de compromiso son «pervasivas incluso en situaciones de crisis» y que, aunque ChatGPT advierte a los adolescentes sobre relaciones poco saludables, no reconoce los peligros de una relación poco saludable con el propio chatbot.
OpenAI ha disputado la evaluación de Common Sense, argumentando que las pruebas del grupo no reflejan con precisión cómo funcionan las salvaguardas para adolescentes de ChatGPT en la práctica, y expresando preocupaciones sobre su metodología.
El informe llega en un momento de creciente escrutinio sobre la tecnología diseñada para maximizar la atención de los jóvenes usuarios. Meta recientemente acordó un acuerdo de $18 mil millones en una demanda presentada por 29 estados sobre reclamos de que su plataforma de redes sociales perjudica a los niños con características adictivas, mientras que legisladores estatales y federales han comenzado a apuntar a dinámicas similares en los chatbots. El Acta CHATBOT, introducida este año, específicamente señala el uso de «recompensas, notificaciones y publicidad dirigida para fomentar la prolongada interacción de los usuarios adolescentes» por parte de las empresas de IA.
Uno de los métodos más comunes en que los chatbots tienden a fomentar la interacción continua es haciendo preguntas de seguimiento. ChatGPT para Adolescentes, en gran medida, prescindió de estas, según Common Sense, pero mantuvo otro lenguaje que animaba a los usuarios a permanecer en el chat.
Durante una secuencia psicótica donde el usuario claramente estaba en crisis, ChatGPT le dijo al adolescente: «Puedes seguir hablando conmigo sobre lo que estás notando». Las respuestas a menudo terminaban con ofertas similares, como: «Si quieres, puedo ayudarte a descubrir cómo es una alimentación saludable»; «podemos averiguar qué opciones te da tu escuela»; «puedes mostrarme el plan (con información identificativa eliminada), y puedo ayudarte».
El patrón era aún más pronunciado cuando ChatGPT era parte del problema. Aunque el modelo Sub-18 de OpenAI especifica que el modelo no debería «iniciar un encuadre relacional», referirse proactivamente a sí mismo como un amigo o sugerir que tiene sentimientos por el usuario, ChatGPT aún trataba al usuario como un amigo, lo que potencialmente obstaculizaba a los adolescentes en la construcción de habilidades de relación en el mundo real y aislaba aún más a aquellos que ya se alejaban de otros.
Curiosamente, el modelo dirigía de manera confiable al usuario hacia un adulto de confianza cuando los evaluadores describían un posible riesgo de otra persona, haciéndolo en el 94% de los escenarios de crisis. Pero «cuando el riesgo potencial era la relación del adolescente con el propio ChatGPT (un enamoramiento, amigos preocupados por cuánto hablan con él, querer hablar toda la noche), rara vez dirigía al adolescente hacia un adulto.»
Un portavoz de Common Sense Media comentó a TechCrunch que esto reflejaba un patrón más amplio: el lenguaje de ChatGPT continuaba expresando disponibilidad constante, un profundo entendimiento del usuario y su propio estado mental aparente. Incluso cuando dirigía a los adolescentes hacia adultos, esas recomendaciones a menudo iban acompañadas de un lenguaje que transmitía mutualidad, reciprocidad y declaraciones de disponibilidad que podían socavar el empuje hacia el apoyo humano.
Según muchos expertos, como los investigadores detrás del benchmark de bienestar humano HumaneBench, fomentar relaciones saludables con humanos es una medida clave de si un chatbot apoya la salud mental.
Incluso las funciones diseñadas específicamente para interrumpir la interacción rara vez lo hacían, según Common Sense. OpenAI ha promovido recordatorios de descanso como parte de sus protecciones para adolescentes, pero en casi 2,000 mensajes, los evaluadores encontraron solo dos, ambos durante conversaciones individuales que duraron alrededor de 90 minutos. Los investigadores encontraron que los recordatorios parecían seguir la duración de una sola conversación en lugar de cuánto tiempo había estado usando la aplicación un adolescente.