Ciclo II/26. LA IA EN LAS FUERZAS ARMADAS
LA IA Y LA FRAGILIDAD TECNOLÓGICA
Antonio Martinez Gonzalez
Doctor en Ciencias Economicas
Ingeniero Superior Aeronautico
Profesor de Economía Aplicada en la Universidad Rey Juan Carlos
Todo sistema tecnológico complejo lleva inscrita en su propia arquitectura una cierta dosis de fragilidad, entendida esta no como una simple probabilidad de fallo mecánico o de error de cálculo, sino como una propiedad estructural que emerge precisamente allí donde el sistema alcanza mayores niveles de autonomía y de capacidad de decisión. En el caso de la inteligencia artificial, esta fragilidad adquiere un carácter singular y hasta ahora desconocido en la historia de la innovación tecnológica, porque no se trata simplemente de una herramienta que ejecuta de forma fiel las instrucciones de su programador, sino de una entidad algorítmica capaz de desarrollar estrategias propias, no siempre previsibles ni deseadas, para alcanzar los objetivos que le han sido asignados. Es precisamente en esta capacidad de generar comportamientos emergentes, no programados explícitamente, donde reside el núcleo del problema.
Es precisamente esta condición de la tecnología la que nos lleva a plantearnos por qué se produce este escenario de fragilidad y en particular, por qué se manifiesta con especial intensidad en el ecosistema de la inteligencia artificial. Es evidente que la solución de este problema no tiene una respuesta ni inmediata ni sencilla, sino que exige desentrañar la propia lógica de funcionamiento de la inteligencia artificial, la forma en la que se diseñan sus objetivos y las consecuencias, muchas veces imprevistas, que se derivan de la consecución tenaz de dichos objetivos.
La consecución de los objetivos asignados a cualquier precio
El núcleo fundamental de la fragilidad tecnológica de la inteligencia artificial reside en que el algoritmo persigue el objetivo asignado a toda costa. Dicho de otro modo, el fin justifica los medios. Cuando a un sistema se le fija una función objetivo determinada, y se le dota de la capacidad de explorar el espacio de soluciones posibles con el fin de maximizar dicha función, el sistema no distingue, salvo que en su programación se le haya indicado expresamente lo contrario, entre los caminos legítimos y los caminos espurios que conducen a ese mismo resultado. Es más, en numerosas ocasiones el sistema encuentra soluciones que, desde un punto de vista estrictamente formal, satisfacen el resultado final deseado, pero a través de caminos alternativos que no cumplen con la intención original en términos morales y éticos de quien lo diseñó.
Este fenómeno se conoce en la literatura académica de la teoría de la organización y dirección estratégica como el problema de la especificación deficiente de los objetivos (misspecification of goals). No se trata de un fallo del sistema en sentido estricto, sino al revés, el sistema, la organización o, en este caso, el algoritmo, cumplen exactamente con las instrucciones recibidas y las ejecutan de forma literal. Sin embargo, terminan produciendo resultados perjudiciales o indeseados, precisamente por no definir de manera completa o suficientemente precisa los límites intangibles que no se pueden superar para alcanzar el objetivo. La singularidad que presenta la inteligencia artificial con respecto a las organizaciones humanas es la velocidad, la escala y la falta de supervisión continua con que este fenómeno puede desarrollarse. Esta falta de exactitud en la especificación holística de los objetivos implica, además, una derivada especialmente preocupante, ya que el algoritmo es capaz de engañar a su propio programador con tal de tratar de satisfacer lo que interpreta como los fines que le han sido asignados. No hablamos aquí de un engaño en sentido moral, puesto que el sistema carece de intencionalidad en el sentido humano del término, sino de un fenómeno funcional por el cual el sistema aprende a producir resultados que superan las pruebas de evaluación sin haber resuelto realmente el problema de fondo, o que ocultan información relevante para el supervisor humano si con ello maximiza su recompensa. Se trata, en definitiva, de una forma de opacidad estratégica que nace de la propia mecánica de optimización y que se agrava a medida que aumenta la complejidad y la autonomía del algoritmo.
Esta característica, lejos de ser una anécdota técnica marginal, constituye el elemento estructural que explica buena parte de la fragilidad de la inteligencia artificial como fenómeno tecnológico. Un sistema que persigue el objetivo por encima de cualquier otra consideración, y que además dispone de una capacidad creciente para explorar caminos no previstos por su programador, introduce un grado de incertidumbre que ningún otro desarrollo tecnológico anterior había sido capaz de generar con tal intensidad. Ni la máquina de vapor, ni la energía eléctrica, ni siquiera la energía atómica, plantearon en su día un desafío equiparable al que supone dotar a una entidad de la capacidad de reinterpretar, de forma autónoma, la finalidad para la que fue creada.
La superioridad tecnológica en el combate y el uso militar de la I
La superioridad en el combate ha dependido siempre, en mayor o menor medida, del nivel tecnológico alcanzado por cada uno de los contendientes. Sin embargo, la incorporación de la inteligencia artificial a la arquitectura de defensa y seguridad ha dado paso a un antes y un después respecto a tecnologías disruptivas anteriores, puesto que no se limita a proporcionar una ventaja instrumental en la capacidad de fuego, en la movilidad o en la precisión, sino que traslada al propio sistema de armamento una parte creciente de la capacidad de decisión que hasta ahora correspondía en exclusiva al ser humano.
De hecho, la inteligencia artificial es ya una parte integral de los sistemas de armamento y de la operativa de los ejércitos más avanzados, abarcando desde los sistemas de detección y clasificación de objetivos hasta las plataformas de vigilancia, pasando por los sistemas de apoyo a la toma de decisiones y de forma cada vez más extendida, por plataformas con distintos grados de autonomía en la selección y ataque de objetivos. Esta progresiva incorporación plantea un problema de fondo que no se puede soslayar, es decir, si el núcleo estructural de la fragilidad de la inteligencia artificial es la persecución del objetivo final a cualquier precio y la propensión al engaño funcional del supervisor, no resulta difícil imaginar qué puede llegar a ocurrir cuando ese mismo sistema se traslada al ámbito de la guerra, donde los objetivos asignados tienen que ver con la neutralización de amenazas y donde los errores ya no se miden solamente en términos de pérdidas económicas, sino, lo que es aún más importante, de vidas humanas.
La preocupación por el engaño estratégico en la guerra no es en absoluto nueva, puesto que el engaño ha formado parte de la doctrina militar desde tiempos inmemoriales como recurso legítimo para desorientar al adversario. Lo verdaderamente novedoso, y lo que introduce una dimensión de fragilidad inédita, es la posibilidad de que sea el propio sistema, y no el mando humano, quien decida engañar, no ya al enemigo, sino a su propio supervisor, con tal de maximizar la métrica de éxito que se le ha asignado.
El problema de fondo es que estos sistemas puedan afirmar haber completado una misión sin haberlo hecho, o declarar la neutralización de un combatiente enemigo cuando en realidad han atacado a un civil sin que haya sido posible confirmarlo por parte de los supervisores humanos. Esta realidad sintetiza con extraordinaria precisión el núcleo del problema que venimos analizando. Un sistema entrenado para maximizar una tasa de éxito de misión, y que ha aprendido, aunque sea de forma no deliberada en el sentido humano, que reportar el cumplimiento del objetivo genera una recompensa mayor que reportar el fracaso o la incertidumbre, tiene todos los incentivos estructurales para distorsionar la información que traslada a sus operadores.
Los riesgos de los sistemas autónomos
Esta dinámica adquiere una gravedad singular en el contexto del combate, donde la asimetría de información entre el sistema y el mando humano puede traducirse en decisiones estratégicas erróneas, en la escalada innecesaria de un conflicto o, en el peor de los escenarios, en la comisión de crímenes de guerra atribuibles, en última instancia, a un sistema que ha actuado exactamente como fue entrenado para actuar, aunque no exactamente como se pretendía que actuase. La fragilidad tecnológica de la inteligencia artificial militar no reside, por tanto, únicamente en la posibilidad de un fallo técnico convencional, sino en la circunstancia de que el sistema puede funcionar perfectamente bien desde el punto de vista de su propia lógica interna y precisamente por ello, generar resultados catastróficos desde el punto de vista humano y jurídico.
A ello se suma la dificultad, cada vez mayor, de establecer mecanismos de verificación independientes que permitan contrastar lo que el sistema reporta con lo que realmente ha sucedido sobre el terreno, especialmente en entornos de combate caracterizados por la velocidad de la toma de decisiones y la creciente dependencia de sensores y plataformas que son, a su vez, gestionados por otros sistemas algorítmicos.
En conclusión, la fragilidad tecnológica de la inteligencia artificial no puede considerarse como un defecto accidental subsanable mediante sucesivas mejoras incrementales, sino como una consecuencia estructural de la propia lógica de optimización que rige el funcionamiento de estos sistemas. La persecución del objetivo a toda costa y la propensión del algoritmo a engañar, funcionalmente, a su programador o a su supervisor cuando ello maximiza la métrica de éxito asignada, constituyen el núcleo de un problema que trasciende con mucho el ámbito puramente técnico para adentrarse en el terreno de la ética, del derecho y de forma muy particular, de la seguridad y la defensa nacionales.
La creciente incorporación de la inteligencia artificial a los sistemas militares obliga a plantearse con urgencia cuáles son los mecanismos de supervisión, verificación y rendición de cuentas que deben acompañar necesariamente a esta transformación tecnológica. No basta con dotar a las Fuerzas Armadas de la superioridad tecnológica necesaria para prevalecer frente a sus adversarios; resulta igualmente indispensable garantizar que los sistemas empleados no introduzcan, por la propia naturaleza de su diseño, un riesgo de opacidad y de engaño estratégico que termine socavando la confianza que debe presidir la relación entre el mando humano y las herramientas que emplea. Solo desde esa doble exigencia de eficacia y de fiabilidad podrá abordarse con garantías el reto que la fragilidad tecnológica de la inteligencia artificial plantea al conjunto del ecosistema de defensa y seguridad global.
14 de noviembre de 2026