Hace apenas dos días, una noticia sacudió los círculos de seguridad y tecnología: Estados Unidos «casi empezó una guerra» luego de que un sistema de inteligencia artificial arrojara un dato falso que fue tomado como una amenaza real. Afortunadamente, la intervención humana a tiempo evitó una escalada de consecuencias potencialmente catastróficas. Pero el hecho de que hayamos estado a un paso de ese escenario debería obligarnos a todos —abogados, reguladores, desarrolladores y tomadores de decisiones— a detenernos y reflexionar seriamente.
Según los antecedentes difundidos, información errónea generada o amplificada por IA habría contribuido a elevar la percepción de una amenaza, al punto de acercar una situación a una escalada militar. Más allá de los detalles específicos del caso —que deben ser analizados con rigor, prudencia y acceso a fuentes verificadas—, el episodio ilustra una realidad ineludible: en materias de seguridad y defensa, un error no siempre se traduce en una mala recomendación. Puede traducirse en decisiones irreversibles.
La situación no es nueva y debemos recordar la reflexión que hicimos tras un error en un sistema avanzado de ataque resultó en la muerte de niños en una escuela iraní. Estos hechos vuelven a poner sobre la mesa una pregunta que ya no pertenece a la ciencia ficción: ¿qué ocurre cuando sistemas de inteligencia artificial participan, directa o indirectamente, en decisiones vinculadas a la defensa nacional?
Como abogado especializado en regulación de nuevas tecnologías, este tipo de episodios no me sorprende del todo, pero sí me obliga a encender todas las alarmas. Llevamos años advirtiendo que la velocidad de adopción de la IA en sectores críticos —como Defensa, salud o infraestructura— avanza mucho más rápido que los marcos normativos y los protocolos de verificación humana que deberían acompañarla. No estamos hablando de un error menor de software; estamos hablando de sistemas cuyas «alucinaciones» o fallos de precisión pueden traducirse en decisiones con consecuencias geopolíticas irreversibles.
El problema no es la tecnología, es cómo la usamos
En el ámbito militar, estamos hablando de «sistemas de alto riesgo» en su máxima expresión. Delegar decisiones tácticas o estratégicas a redes neuronales que sufren de «alucinaciones» (generación de información falsa presentada como un hecho comprobado) sin un mecanismo de human-in-the-loop (humanos en el ciclo de decisión) es una negligencia inaceptable desde la perspectiva del Derecho Internacional y la gobernanza algorítmica. ¿De quién es la responsabilidad legal frente a un ataque injustificado basado en un error de código? ¿Del desarrollador, del comandante o del Estado? La falta de certeza jurídica en estas áreas es, en sí misma, una amenaza a la seguridad global.
El problema no es únicamente la posibilidad de que una IA “alucine”, es decir, presente como verdadero un hecho inexistente o no verificado. El problema jurídico e institucional aparece cuando esa salida es tratada como evidencia, cuando no existen mecanismos robustos de contraste, cuando la urgencia desplaza al debido análisis o cuando la arquitectura de decisión diluye la responsabilidad entre operadores, proveedores tecnológicos y autoridades públicas.
Es tentador, ante noticias como esta, caer en el discurso alarmista de «la IA nos va a destruir». Pero esa narrativa, aunque llamativa, es imprecisa y hasta peligrosa porque desvía la responsabilidad de donde realmente corresponde. La inteligencia artificial es una herramienta. Extraordinariamente poderosa, sí, pero una herramienta al servicio de decisiones humanas.
La IA no va a destruir a las personas. Serán las personas —y las instituciones— las que podrían causar daño si utilizan la IA de manera irresponsable, opaca o desprovista de controles.
El verdadero riesgo no es que un algoritmo «decida» iniciar un conflicto armado por voluntad propia. El riesgo real está en:
- La falta de supervisión humana significativa en sistemas de alto impacto.
- La automatización excesiva de procesos que requieren juicio contextual y ético.
- La ausencia de auditorías rigurosas sobre la fiabilidad de los datos que alimentan estos sistemas.
- La presión política o militar por adoptar IA como ventaja estratégica, sin los controles adecuados.
En otras palabras: no es la IA la que casi empieza una guerra. Fue el diseño institucional que permitió que un dato no verificado llegara a instancias de decisión sin los filtros de contraste necesarios. Ese es un problema humano, organizacional y —en última instancia— regulatorio.
La regulación no es un freno, es un salvavidas
Desde mi perspectiva, considero que la regulación de la IA no debe entenderse como un obstáculo a la innovación, sino como la infraestructura de confianza que permite que esa innovación se despliegue de forma segura. Debe existir sí correctos marcos de acción.
En contextos de Defensa, esto se vuelve aún más crítico: hablamos de sistemas que pueden influir en decisiones sobre vida y muerte, y donde el margen de error debe tender a cero.
Necesitamos marcos que exijan:
- Trazabilidad y explicabilidad de los sistemas de IA usados en contextos sensibles.
- Human-in-the-loop obligatorio para decisiones de alto riesgo.
- Estándares de validación de datos y auditorías independientes.
- Responsabilidad clara y atribuible cuando algo falla.
En defensa, la regla debe ser especialmente clara: la IA puede asistir, pero no sustituir el juicio humano responsable.
No todos los riesgos son equivalentes. Mientras mayor sea el impacto potencial sobre derechos fundamentales, seguridad internacional o vida humana, mayor debe ser el estándar de supervisión, explicabilidad, control humano y rendición de cuentas.
¿Y Chile en todo esto?
En Chile, esta discusión no puede ser ajena. Nuestro país ha avanzado en una estrategia nacional de inteligencia artificial y mantiene un debate legislativo relevante en torno a la regulación de sistemas de IA. Sin embargo, los usos vinculados a defensa, seguridad, infraestructura crítica y ciberseguridad requieren una aproximación particularmente rigurosa, que combine innovación, soberanía tecnológica, resguardo de derechos y supervisión institucional efectiva.
Es por eso que en diciembre del año pasado, siendo parte del ministerio de Defensa (fui jefe de división de Desarrollo Tecnológico e Industria en la Subsecretaría de Defensa), organizamos junto a la Universidad Finis Terrae el workshop «SinergIA», un encuentro que dio inicio a la elaboración de un documento clave para definir los lineamientos de una futura política de Estado sobre el uso de la Inteligencia Artificial en Defensa. (video resumen acá)
Curiosamente, en dicha instancia participó como invitado en representación de ANEPE, el actual subsecretario de Defensa Rodrigo Álvarez, lo que muestra que este tema es y debe ser visto como una política pública continua y con una mirada que vaya más allá del gobierno de turno.
Tal como expresé en ese momento, la Inteligencia Artificial se implementará con tecnologías duales, es decir, tecnologías civiles y militares, y obviamente la defensa es un desafío país. Por eso, establecer políticas públicas no es solo un proceso intelectual, sino que es un trabajo práctico, colaborativo, donde la academia, el mundo militar y la ciudadanía se integran para dar lineamientos estratégicos en un contexto actual muy cambiante.
Si bien no somos una potencia militar que esté desarrollando armas autónomas letales a la escala de las grandes potencias, el debate sobre los sistemas de alto riesgo nos impacta directamente en áreas como la seguridad pública, la administración de justicia y la infraestructura crítica. Nuestro país tiene la oportunidad de aprender de estos episodios antes de enfrentarlos. Incorporar IA en ámbitos estratégicos puede fortalecer capacidades públicas, pero solo si se hace con reglas claras: decisiones humanas verificables, datos confiables, controles técnicos permanentes y responsabilidades jurídicas definidas.
En defensa, como en toda política pública de alto impacto, la pregunta no es solo qué puede hacer la inteligencia artificial, sino qué estamos dispuestos a permitir que haga y quién responderá cuando se equivoque.
La pregunta final para todos es : ¿Debe Chile establecer estándares obligatorios de supervisión humana en sistemas de IA de alto riesgo?
