Is regulation enough to stop AI systems killing us all? | Letters
En el reciente OpenAI DevDay 2026, Sam Altman, CEO de OpenAI, abordó las crecientes preocupaciones sobre la seguridad de los sistemas de inteligencia artificial (IA). La retirada de un modelo de IA de frontera por no pasar las pruebas de seguridad ha reavivado el debate sobre la necesidad de una supervisión independiente y una regulación efectiva. Sin embargo, como señala Martyn Thomas, profesor emérito de TI en Gresham College, la cuestión es si realmente estas medidas son suficientes para garantizar nuestra seguridad.
La tradición en ingeniería ha establecido estándares internacionales para sistemas críticos de seguridad, como los que controlan aviones o centrales nucleares. Estos requieren «casos de seguridad», análisis rigurosos que demuestran que los posibles peligros han sido identificados y controlados, y que la probabilidad de un accidente es extremadamente baja. Por ejemplo, se espera que un caso de seguridad muestre con una probabilidad de al menos el 99% que un accidente fatal no ocurrirá más de una vez cada 1,000 años.
Sin embargo, proporcionar evidencia para tales bajas probabilidades es un reto incluso para aeronaves, donde el peor escenario podría resultar en la muerte de 1,000 personas en un solo accidente. Los desarrolladores de sistemas de IA de frontera afirman que sus sistemas podrían poner en riesgo a toda la humanidad, pero no han presentado análisis de riesgo detallados, casos de seguridad que puedan ser evaluados independientemente, ni evidencia de que tales casos de seguridad puedan ser producidos para estos sistemas de IA.
Ante esta falta de evidencia, surge la pregunta: ¿cómo puede alguien racionalmente argumentar que la supervisión independiente y la regulación son suficientes? La política debe basarse en un análisis riguroso de los hechos, no en fantasías.