Lawsuit: Man used Grok to make 7K sex images of stepdaughter, then shot himself
En un caso que ha conmocionado a la comunidad, una demanda colectiva propone que xAI y su herramienta Grok han sido utilizadas para generar miles de imágenes sexuales de menores, al tiempo que se acusa a la empresa de obstaculizar las investigaciones policiales. Según la demanda, presentada el martes, un padrastro utilizó Grok para crear 7,000 imágenes explícitas de su hijastra a partir de una foto tomada cuando ella tenía 11 años. Posteriormente, el hombre se quitó la vida tras ser arrestado.
El sistema de seguridad infantil de xAI solo intervino cuando el hombre solicitó un «gang rape», lo que generó una alerta al Centro Nacional para Menores Desaparecidos y Explotados (NCMEC), que a su vez avisó a las autoridades. Sin embargo, xAI supuestamente se negó a proporcionar información crucial, como la dirección IP del usuario, lo que dificultó la investigación durante semanas.
Finalmente, tras obtener una orden judicial, la policía descubrió aproximadamente 7,000 imágenes y videos generados por IA en los dispositivos del hombre. Estas imágenes, presuntamente traficadas en línea, fueron creadas con Grok, una herramienta de xAI que facilita la «desnudez» de imágenes.
La joven, conocida como Jane Doe 4 en la demanda, ahora enfrenta una crisis personal extrema, sufriendo de ansiedad, depresión y pensamientos suicidas. «Mi realidad fue destruida por la explotación sexual infantil y el suicidio», declaró Jane Doe 4.
El equipo legal de las víctimas, compuesto por Lieff Cabraser Heimann & Bernstein y Baehr-Jones Law, sostiene que el caso de Jane Doe 4 no es aislado. Según el NCMEC, el 90% de los informes de la línea de ciberseguridad de xAI no son útiles para las fuerzas del orden debido a la falta de información sobre los usuarios.
En un comunicado de prensa, Jane Doe 4 acusó a xAI de permanecer en silencio después de que Grok convirtiera una foto suya en «miles de imágenes sexualmente explícitas». «Esta tecnología es un arma libremente accesible en manos de las peores personas del mundo», afirmó.
Otra víctima, Jane Doe 5, también fue atacada por un conocido que traficó imágenes generadas por Grok. Su madre culpa a xAI por la ansiedad y el sentimiento de pérdida de control de su hija.
El fundador de xAI, Elon Musk, ha negado que Grok se haya utilizado para generar imágenes sexuales de menores. Sin embargo, investigadores estiman que las salvaguardas laxas de Grok han perjudicado a miles de niños, mientras que xAI solo ha respondido cobrando por la función, lo que, según la demanda, asegura que la empresa se beneficie de todo el CSAM generado por Grok.
Además, la demanda ha añadido a Stability AI como demandado, alegando que sus modelos de peso abierto fueron entrenados en CSAM y sirven como base para aplicaciones de «nudificación» de terceros que los usuarios de Grok supuestamente utilizan para alterar aún más los resultados explícitos.
Regístrate para leer esta noticia
Solo necesitas tu email. Sin contraseñas.