AI hallucination nearly triggers US military operation
Esta primavera, aviones militares estadounidenses ya estaban en el aire cuando se realizó un descubrimiento alarmante: la inteligencia que impulsaba una operación armada contra un buque chino había sido alucinada por un chatbot de inteligencia artificial. La operación fue abortada en el último momento, evitando por poco un posible conflicto con China, según informó CNN el viernes.
El episodio subraya una creciente preocupación entre los funcionarios militares y expertos externos: a medida que los responsables de la toma de decisiones dependen cada vez más de la inteligencia artificial, los errores que estos sistemas producen pueden escalar en la cadena de mando antes de ser cuestionados.
El informe de inteligencia, que circuló durante la guerra con Irán, decía que el buque transportaba componentes para un programa de armas nucleares. La falsa inteligencia se originó con un analista del Comando de Operaciones Especiales que consultó a un chatbot de IA para sintetizar datos de fuentes abiertas con inteligencia de señales clasificada. El chatbot identificó erróneamente el manifiesto de carga del barco. El analista luego usó la herramienta una segunda vez para formatear los hallazgos erróneos en un resumen con apariencia oficial, que se distribuyó a través de los canales de mando.
El casi incidente ocurre mientras el ejército de EE.UU. corre para integrar la IA a fin de acelerar la toma de decisiones y mantener su ventaja sobre China. El Pentágono ha descrito la IA como una ventaja significativa para acelerar su cadena de ataque, permitiendo a los comandantes responder en el momento adecuado. Pero la misma velocidad que hace atractiva a la IA también puede permitir alucinaciones con una supervisión humana insuficiente.
«Es importante que los miembros del servicio entiendan la incertidumbre inherente a los modelos de lenguaje de gran escala (LLM)», dijo Jake Steckler, investigador en GovAI y veterano oficial del ejército de EE.UU., en una respuesta escrita a TechCrunch. «Pero es especialmente crítico para cualquier decisión que pueda llevar al uso de la fuerza, como el análisis de inteligencia o la planificación operativa. Hay consecuencias de vida o muerte para esas decisiones.»
Aún así, Steckler afirma que el incidente debería servir como un llamado para agregar más salvaguardas a la IA, no como una razón para evitarla. «Estas herramientas pueden ser útiles en los contextos adecuados y con las salvaguardas correctas en su lugar», dijo. «Pero priorizar la velocidad de adopción sobre todo lo demás probablemente llevará a incidentes que solo harán que los miembros del servicio pierdan confianza en estos sistemas, lo que en última instancia solo ralentizará la adopción.»
Fuente: https://techcrunch.com/2026/09/18/ai-hallucination-nearly-triggers-us-military-operation/