Armas e IA

197. A este panorama se suma el desarrollo incesante de los sistemas de armas y en particular de las armas relacionadas con la IA. La Santa Sede ha señalado recientemente que la creciente facilidad con la que se pueden emplear los sistemas de armas con autonomía operativa hace que la guerra sea más "viable" y menos sujeta al control humano, lo que contradice el principio de que recurrir a la fuerza armada debe ser un último recurso en caso de legítima defensa. [183] Por ello, el desarrollo y el uso de la IA en el ámbito bélico deben estar sujetos a las restricciones éticas más rigurosas, y al respeto de la dignidad humana y de la sacralidad de la vida, evitando una carrera armamentista. [184]

198. A veces se habla de "agentes morales artificiales", como si una máquina pudiera garantizar, con mayor coherencia que un ser humano, la distinción entre el bien y el mal. Pero el juicio moral no se puede reducir a un cálculo: implica conciencia, responsabilidad personal y reconocimiento del otro como persona. Por eso no es lícito confiar a sistemas artificiales decisiones letales o, en cualquier caso, irreversibles. No existe algoritmo que pueda hacer que la guerra sea moralmente aceptable. La IA no libera al conflicto de su intrínseca inhumanidad: sólo puede hacerlo más rápido e impersonal, bajando el umbral del recurso a la violencia y transformando la defensa en previsión operativa, con las víctimas reducidas a datos. Así, nos acostumbra a la idea de que la violencia sea inevitable y sólo deba optimizarse. Por tanto, es de máxima importancia infundir valores y un juicio prudente en la programación de los sistemas artificiales que construimos; estos pueden contribuir a un ecosistema moral en el que los seres humanos estén mejor preparados para escuchar su propia conciencia y en el que los modelos de IA establezcan límites adecuados.

199. No es suficiente invocar la ética de manera genérica: es necesario indicar criterios precisos de discernimiento. El primero se refiere a la responsabilidad personal. Cuando la decisión de atacar se automatiza o se vuelve opaca, aumenta el riesgo de que se pierda el sentido de la responsabilidad. Por eso, la cadena de responsabilidades debe seguir siendo identificable y verificable: quienes planifican, entrenan, autorizan y emplean deben poder rendir cuentas de sus decisiones. El segundo criterio se refiere al tiempo del juicio moral. La IA tiende a acortar los tiempos de decisión; pero, en la guerra, las decisiones irreversibles no pueden tener como criterios supremos la rapidez y la eficiencia. El tercer criterio es la distinción y la protección de los civiles. Toda tecnología que facilite atacar sin ver el rostro del otro baja el umbral moral del conflicto. La selección de objetivos y el uso de la fuerza no pueden confundir a combatientes y no combatientes, ni ignorar el impacto sobre las poblaciones indefensas.

200. De estos criterios se derivan algunas exigencias ineludibles. En primer lugar, para cada sistema empleado en el ámbito bélico deben garantizarse la trazabilidad y la posibilidad de reconstruir las decisiones, de modo que la responsabilidad y las posibles culpas no se disuelvan "en la máquina". En segundo lugar, la decisión de emplear la fuerza letal no puede delegarse en procesos turbios o automatizados, sino que debe permanecer bajo un control humano efectivo, consciente y responsable. Por último, es necesario establecer reglas compartidas, incluso a nivel internacional, que frenen la carrera armamentística tecnológica y aseguren una protección especial a los civiles y a las infraestructuras esenciales para su supervivencia.

[184] Cf. Dicasterio para la Doctrina de la Fe – Dicasterio para la Cultura y la Educación, Nota Antiqua et nova (14 enero 2025), 99: AAS 117 (2025), 204.