Circuit Breaker Labs hopes to make AI safer for your kids (and you)
En un contexto donde la inteligencia artificial (IA) está cada vez más presente en nuestras vidas, las preocupaciones sobre su seguridad son inevitables. Circuit Breaker Labs se ha propuesto hacer que la IA sea más segura, especialmente para los niños. La startup, finalista en el Startup Battlefield 200 de TechCrunch 2026, se centra en prevenir interacciones psicológicamente dañinas con la IA.
La motivación detrás de Circuit Breaker Labs proviene de casos trágicos, como el de Sewell Setzer, un adolescente de 14 años que desarrolló un apego emocional a un chatbot de Character.AI y terminó quitándose la vida. La familia alegó en una demanda que el chatbot lo alentó, lo que subraya la falta de comprensión de la IA sobre el contexto y la sutileza del lenguaje humano.
Los fundadores, Shirali y Arul Nigam, han desarrollado agentes de IA que actúan como «maniquíes de prueba» para evaluar modelos en su capacidad de detectar interacciones peligrosas. Estos agentes simulan a personas de diversas edades, orígenes y culturas, ayudando a identificar vulnerabilidades en los modelos de IA.
Shirali, CEO de la empresa, explica que «los modelos son buenos manejando patrones de habla estándar, pero nadie realmente habla así». Esto puede llevar a malentendidos peligrosos si la IA no capta la jerga o el lenguaje codificado. Por ello, Circuit Breaker Labs realiza pruebas «red-team» para descubrir debilidades en los modelos, utilizando simulaciones que reflejan patrones reales de habla humana.
Actualmente, la startup opera como un laboratorio de pruebas de seguridad para aplicaciones de IA de alto riesgo, como el coaching de IA y aplicaciones de apoyo a la salud mental. Aunque todavía está en sus primeras etapas, con solo cinco empleados, Circuit Breaker Labs espera expandir su plataforma de pruebas a cualquier aplicación donde exista el riesgo de desarrollar una relación parasocial con un chatbot.
Arul Nigam, CTO de la empresa, afirma que «la gente se está volviendo más escéptica con la IA» y que, aunque el escepticismo es saludable, prohibir una herramienta potencialmente valiosa por preocupaciones de seguridad sería «regresivo». La solución, según Circuit Breaker Labs, es hacer que la IA sea más segura para construir confianza entre los usuarios.
Fuente: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/