Responsabilidad, transparencia y gobernanza de la IA
102. El uso de la IA nunca es un hecho puramente técnico: cuando entra en procesos que inciden en la vida de las personas, afecta a sus derechos, oportunidades, reputación y libertad. Las decisiones delicadas que repercuten en el trabajo, el acceso a créditos y a otros servicios, y la reputación de las personas, corren el riesgo de ser confiadas completamente a sistemas automatizados que no conocen «la compasión, la misericordia, el perdón y, sobre todo, la apertura a la esperanza de cambio en el individuo», [125] pudiendo así producir nuevas formas de descarte. Puede haber usos evidentemente antihumanos, como la manipulación de la información o la violación de la privacidad, pero puede haber también un engaño menos evidente, cuando los sistemas de IA, presentándose como neutrales y objetivos, reflejan y refuerzan estereotipos o posiciones ideológicas de quienes los han diseñado y programado.
103. Confiar, en la práctica, a un algoritmo el poder de seleccionar quién es digno y quién no, sin que nadie asuma el peso de la decisión, significa encomendarle la tarea de redefinir los límites de las posibilidades humanas. Lo que disminuye, en este proceso, no es sólo la empatía hacia el excluido, que puede ser imitada artificialmente, sino la responsabilidad política, porque el descarte de los débiles queda revestido de una neutralidad y una objetividad ante las cuales es imposible protestar. Y, de ese modo, la injusticia se realiza silenciosamente y la compasión, la misericordia y el perdón, no como simple apariencia, sino como gestos políticos, desaparecen del horizonte.
104. De esto se deriva una consecuencia sencilla pero apremiante: no podemos considerar a la IA como moralmente neutra. En realidad, todo artefacto técnico lleva consigo decisiones y prioridades: lo que mide, lo que ignora, lo que optimiza y el modo en que clasifica personas y situaciones. Si un sistema se concibe o emplea tratando algunas vidas como menos dignas, o las excluye sin posibilidad de apelación, no es un simple instrumento que "hay que usar correctamente"; introduce ya un criterio que contradice la dignidad inalienable de la persona. Por eso, el discernimiento ético no se puede limitar a preguntarse si usamos un determinado sistema para un fin bueno o malo, sino que debe interrogarse también sobre el modo en el que está diseñado y qué idea de persona y de sociedad queda inscrita en los datos y en los modelos que lo guían. [126]
105. Para que la IA respete la dignidad humana y sirva realmente al bien común, es esencial que las responsabilidades estén claras en todas las etapas: desde quienes diseñan y programan los sistemas hasta quienes los utilizan y quienes resuelven confiarles las decisiones concretas. En muchos casos, sin embargo, los procesos internos que conducen a un resultado pueden ser poco transparentes, y eso hace más difícil atribuir responsabilidades y corregir los errores. Es aquí donde se vuelve decisivo lo que llamamos "responsabilidad"( accountability): la posibilidad de identificar quién debe "rendir cuentas" de las decisiones, motivarlas, controlarlas y, cuando es necesario, cuestionarlas y remediar los daños que derivan de ellas. [127]
106. Pedir prudencia, controles rigurosos y, en ocasiones, también una ralentización en la adopción de la IA no significa estar en contra del progreso, sino ejercitar un cuidado responsable hacia la familia humana. Esta exigencia es aún más urgente porque existe a menudo un desequilibrio entre la velocidad del desarrollo tecnológico y el ritmo al que maduran la conciencia, las normas, los controles y las instituciones capaces de gobernar sus efectos. No basta invocar genéricamente la ética; se necesitan marcos jurídicos adecuados, vigilancia independiente, educación de los usuarios, una política que no renuncie a su tarea. De otro modo, el cambio será gobernado sólo por lógicas tecnocráticas y presentado como necesario e imprescindible, terminando por imponer reglas dictadas por quienes poseen datos, infraestructuras y capacidad de cálculo.
107. No podemos limitarnos a invocar la moralización de la máquina, la denominada "alineación" de la IA con los valores humanos, sin tener la valentía de poner una condición ulterior: la posibilidad de discutir el código ético que debe ser usado, sometiéndolo a criterios de justicia social compartida. De lo contrario, quien controla la IA impondrá su propia visión moral, que se convertirá en la infraestructura invisible de los sistemas. No serviría de nada una IA más moral, si esta moral es decidida por unos pocos. Se necesita una política más presente, capaz de ralentizar donde todo acelera y de proteger los espacios en los que las comunidades pueden seguir participando e interrogándose.
108. En efecto, como ocurre con todo gran avance tecnológico, la IA tiende a aumentar sobre todo el poder de quien ya dispone de recursos económicos, competencias y acceso a los datos. A la luz del bien común y del destino universal de los bienes, este fenómeno suscita seria preocupación: pequeños grupos muy influyentes pueden orientar informaciones y consumos, condicionar procesos democráticos e incidir en las dinámicas económicas en beneficio propio, contradiciendo la justicia social y la solidaridad entre los pueblos. Por eso es indispensable que el uso de la IA —sobre todo cuando involucra bienes públicos y derechos fundamentales— esté acompañado de criterios claros y controles efectivos, inspirados en la participación y la subsidiariedad; las comunidades y los cuerpos intermedios no pueden ser reducidos a destinatarios de decisiones tomadas en otros lugares, sino que deben poder contribuir al discernimiento y a la vigilancia. Además, la propiedad de los datos no puede confiarse sólo al sector privado, sino que debe reglamentarse. Estos son fruto del aporte de muchos y no pueden ser vendidos o confiados a unos pocos. Hace falta una creatividad capaz de gestionarlos como uno de los bienes comunes o colectivos, en la lógica del compartir, como ya sugería san Juan Pablo II a propósito de los bienes colectivos. [128]
109. Los principios de la Doctrina social nos ayudan a leer esta nueva realidad. En un mundo donde pocos sujetos concentran datos, capital informático y capacidad normativa, hablar de bien común significa desenmascarar esta nueva asimetría epistémica, económica y política, nombrando los nuevos monopolios de la IA. Hablar de destino universal de los bienes significa encontrar modos de asegurar el acceso universal a las tecnologías y a la formación. Hablar de subsidiariedad exige proteger la capacidad de las comunidades de decidir y corregir, sin relegar su intervención a una vigilancia posterior, una vez que los estándares hayan sido establecidos en otro sitio. Hablar de solidaridad obliga a reconocer el trabajo invisible, a menudo explotado, que alimenta los modelos algorítmicos. Hablar de justicia pide cuestionar las geografías del poder que definen quién puede programar los modelos y quién es sólo objeto de esa programación, y reconocer que la justicia social no es sólo un objetivo que hay que tutelar después de la adopción de las tecnologías, sino una condición que se debe poner en práctica desde su diseño.
110. Quisiera, por último, usar una palabra muy importante para mí: "desarmar". Desarmar la IA significa sustraerla a la lógica de la competencia armamentística, que hoy ya no es sólo militar sino económica y cognitiva. Es la carrera por el algoritmo más eficaz y por el banco de datos más amplio, para consolidar una ventaja geopolítica o comercial sobre todos los demás. Desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar. Desarmar no significa renunciar a la tecnología, sino impedirle el dominio sobre lo humano. Significa sustraerla a los monopolios, hacerla discutible, refutable, y por tanto habitable, restableciendo en ella la pluralidad de las culturas humanas y de las formas de vida. La tarea, hoy, no es sólo ética o técnica; es ecológica en el sentido más radical, porque interpela una nueva dimensión de nuestra Casa común. La IA es ya un ambiente en el que estamos inmersos y un poder que debemos afrontar. Por eso, no basta regularla; es necesario desarmarla y hacerla acogedora.
111. Hago un vehemente llamamiento a quienes desarrollan sistemas de IA. La innovación tecnológica puede ser, en cierto modo, una forma humana de participación en el acto divino de la creación. Los desarrolladores llevan, por tanto, un importante peso ético y espiritual, ya que cada elección de proyecto expresa una visión de la humanidad. Así como el autor de una obra artística o literaria está obligado a considerar los valores que manifiesta, así también ellos están llamados a tratar con la debida seriedad los valores que infunden en sus proyectos: con transparencia, con responsabilidad hacia las comunidades involucradas y con atención a verificar que lo que se cultiva sea realmente un bien.
[125] Francisco, Discurso en los "Minerva Dialogues" organizados por el Dicasterio para la Cultura y la Educación (27 marzo 2023): AAS 115 (2023), 465.
[126] Cf. Dicasterio para la Doctrina de la Fe – Dicasterio para la Cultura y la Educación, Nota Antiqua et nova (14 enero 2025), 41: AAS 117 (2025), 178.
[127] Cf. ibíd., 44-45: AAS 117 (2025), 179-180.
[128] Cf. S. Juan Pablo II, Carta enc. Centesimus annus (1 mayo 1991), 40: AAS 83 (1991), 843.