Ir al contenido principal

La complejidad de los algoritmos pone en entredicho la legitimidad democrática de las decisiones

Informe España 2025 (V) - Cátedra José María Martín Patino de la Cultura del Encuentro - Universidad Pontificia Comillas - Fundación Ramóm Areces


Gracias a la Fundación Ramón Areces, la Cátedra José María Martín Patino de la Cultura del Encuentro elabora este informe. En él ofrecemos una interpretación global y comprensiva de la realidad social española, de las tendencias y procesos más relevantes y significativos del cambio.

El informe quiere contribuir a la formación de la autoconciencia colectiva, ser un punto de referencia para el debate público que ayude a compartir los principios básicos de los intereses generales.

Parte primera: Consideraciones generales frente a la erosión democrática: más ciencia, mejor política (Joan Subirats, Universitat Autònoma de Barcelona).


5.- Inteligencia artificial y democracia.

La rapidez con que se ha incorporado la inteligencia artificial (IA) en la esfera pública -sobre todo desde la incorporación de la IA generativa (para un análisis del surgimiento, desarrollo, impactos y desafíos de la inteligencia artificial puede verse Lumbreras y Rayón, 2023)- está implicando grandes desafíos tanto desde el punto de vista instrumental como desde el punto de vista político y regulatorio. Resulta necesario que analicemos no sólo las oportunidades que para las decisiones políticas a tomar representa la mejora de los sistemas de información y conocimiento, sino también los desafíos que la IA plantea para la calidad de la democracia. En poco tiempo hemos ido constatando que el impacto de la IA en la acción de gobierno y las políticas públicas es y puede ser muy significativo.

El debate suscitado por la IA conecta directamente con el que ya se planteó hace tiempo con relación a los impactos de Internet y la digitalización en el proceso de elaboración de las políticas públicas y en la actuación de las administraciones públicas. Mark Poster, en una inspirada aportación (2007), afirmaba que Internet no era simplemente un "martillo" nuevo que servía para clavar más deprisa o con mayor comodidad los "clavos" de siempre, sino que el cambio digital modificaba la forma de relacionarnos e interactuar, alterando profundamente los procesos y posiciones de relación e intermediación. Los que hace tiempo hablaban de "e-democracia" o "e-gobierno" defendían de alguna manera la neutralidad política y social de la transformación digital, y por tanto que de lo que se trataba era simplemente de mejorar la eficacia y la eficiencia del funcionamiento de los poderes públicos. La verdad es que los cambios han sido mucho más intensos de lo entonces imaginable, dando lugar a fenómenos tanto de concentración de poder en grandes compañías tecnológicas (GAFAM) como a alteraciones significativas en la esfera pública y los procesos de generación y contraste de noticias y evidencias, tan importantes en democracia cuando se trata de debatir sobre problemas y alternativas de solución.

La IA y los sistemas automatizados de decisión pueden llegar a condicionar aspectos tan relevantes en la configuración de las políticas públicas como la determinación de quién debe ser beneficiario de las ayudas públicas, la identificación de riesgos en la concesión de créditos, el control del rendimiento en el trabajo, la planificación de la movilidad o la prevención del crimen. En todos estos ámbitos, la IA promete generar decisiones basadas en las evidencias de forma rápida y eficiente. Pero cada una de esas decisiones, fundamentadas en algoritmos y en los datos con los que se ha entrenado el modelo, acaban beneficiando y perjudicando a distintos individuos y grupos sociales. No son, por lo tanto, decisiones estrictamente técnicas las que se generan, sino decisiones que implican valores que terminan produciendo costes y beneficios, y que tienen por tanto un contenido político. Debería preocuparnos, en definitiva, quién decide los parámetros de la decisión, desde qué legitimidad, con qué criterios y con qué consecuencias.

Lo significativo, desde un punto de vista político, es entender que lo que acaba determinando en buena medida el resultado final que nos proporciona la IA parte de una labor humana que selecciona datos y establece criterios, parámetros, etiquetas, algoritmos con los que el sistema va a operar. Esa labor no está exenta tampoco de sesgos, conscientes o inconscientes, de prejuicios que forman parte del recorrido cultural y social de las personas implicadas, de subjetividades a la hora de dar distintos pesos a distintas variables, o a la hora de establecer la selección de grupos. Este tipo de cuestiones y de cautelas no son ninguna novedad en la evolución de los estudios de ciencia y tecnología, ni en la propia evolución de la IA. Lo que estamos diciendo es que, así como la intervención humana es necesaria, al mismo tiempo, exige incorporar un principio de precaución sobre los posibles efectos negativos no siempre predecibles en el momento en el que se utilizan.

Para gobiernos y administraciones públicas la IA promete mejorar los servicios públicos, desarrollar servicios personalizados a las características de cada beneficiario, nutrir de conocimiento los procesos de decisión, ganar eficiencia operativa a través de la automatización de procesos e, incluso, facilitar la participación ciudadana y la rendición de cuentas. Lo que aparentemente está en juego es la mucha mayor fiabilidad de la capacidad de cálculo sobre alternativas y sobre tendencias de futuro que proporciona el manejo de algoritmos, si lo comparamos con las técnicas de análisis que se acostumbraban a manejar en muchos casos. Las ventajas que se esgrimen tienen que ver con la precisión, confiabilidad y neutralidad, en contraste con los "defectos" o sesgos que se atribuyen a los humanos en su capacidad analítica y decisoria: sesgos culturales, limitaciones cognitivas, el peso de las emociones o la no consideración de criterios éticos.

Los problemas aparecen cuando la complejidad de los algoritmos pone en entredicho la legitimidad democrática de las decisiones. Las aplicaciones públicas de IA deberían preservar los valores de transparencia, rendición de cuentas e imparcialidad. Sin embargo, las herramientas de IA son complejas, poco intuitivas e incluso inescrutables (por ejemplo, es complicado establecer cómo los algoritmos de 'deep learning' han producido un resultado concreto). Por ello, es difícil asignar responsabilidades, cuando son los algoritmos los que toman las decisiones y no un responsable político o un funcionario público; y son conocidos los sesgos en los algoritmos y los datos que los alimentan, que resultan en la discriminación de determinados individuos o grupos sociales. Aunque, ciertamente, el sesgo no es exclusivo de la toma de decisiones basada en la IA y, de hecho, si se formaliza en código o fuentes de datos, se hace más explícito y observable, lo que también supone una oportunidad para superar la discriminación, la desigualdad y la injusticia.

La desconfianza de los ciudadanos en la "gobernanza algorítmica" puede tener otras razones políticas para producirse. Por ejemplo, los ciudadanos pueden percibir que el desarrollo de la IA concentra mucho poder en manos de unas pocas corporaciones privadas y que sus aplicaciones pueden ser manipuladas al servicio de aquellos con más recursos y conocimientos, al tiempo que restan poder a quienes ya tenían menos. También que la inteligencia artificial facilita una vigilancia gubernamental excesiva mediante tecnologías intrusivas y omnipresentes que amenazan la privacidad y la libertad de expresión y reunión; o que la introducción de comportamientos "socialmente deseables" a través de la IA es en realidad una forma de manipulación sutil del comportamiento de los ciudadanos. Finalmente, un riesgo de despolitización (o, mejor dicho, de politización encubierta) de cuestiones socialmente controvertidas al delegarlas a soluciones tecnológicas poco transparentes, pero con una aureola de objetividad.

Estos retos e interrogantes hacen evidente que el desarrollo, penetración e impacto de la IA en diversas esferas de la vida económica y social están trasladando los retos de gobernanza de la IA desde una arena estrictamente técnica a otra política. El desarrollo responsable de la IA, que explote las oportunidades y mitigue los riesgos, no podrá depender únicamente de soluciones técnicas para la consecución de una IA más robusta y fiable, segura, trasparente, interpretable y libre de sesgos, sino, también, del avance de un marco de gobernanza democrático.

Se impone, pues, la necesidad de una regulación democrática del desarrollo de esta tecnología, una regulación que permita establecer los límites en su aplicación sin que ello signifique frenar su avance en direcciones que humanamente consideremos deseables. Ese ha sido el propósito, por ejemplo, de una regulación pionera como la Ley de Inteligencia Artificial de la Unión Europea, una ley centrada en la identificación y categorización de los riesgos de la IA que prohíbe las aplicaciones que planteen "riesgos inaceptables", establece criterios y obligaciones para los proveedores e implementadores de aplicaciones consideradas de "alto riesgo", fija obligaciones de transparencia para aquellas que se consideran de "riesgo limitado" y posibilita el uso gratuito de las aplicaciones de "riesgo mínimo o nulo".

La regulación no agota las posibilidades de una gobernanza democrática de la IA: la relevancia de lo que hay en juego en el desarrollo de la IA y las incertidumbres propias de una transición socio-técnica, acompañadas por la ausencia de objetivos e instrumentos bien establecidos (puesto que se trata de una tecnología en constante evolución sin límites, aplicaciones ni riesgos aún claros), constituyen también una oportundiad para el uso de instrumentos de deliberación y participación democrática.

Podemos, pues, tratar de identificar una serie de desafíos fundamentales derivados de la aplicación de la IA en los procesos democráticos de toma de decisiones y de puesta en marcha de la acción de gobierno. Queremos resaltar cuatro temas clave, ineludibles, desde nuestro punto de vista:

Uno.- El primero hace referencia al papel del conocimiento en la hechura de las políticas públicas y, concretamente, al riesgo del renacimiento de una visión tecnocrática de este proceso. Como ya hemos puesto de manifiesto, el desafío de las políticas públicas no es meramente técnico, sino que es, también, o fundamentalmente, un desafío político: qué tipo de valores e intereses se promueven en las decisiones públicas, quién gana y quién pierde con ellas. No es lo mismo incorporar conocimiento a partir del uso de los recursos de Internet y de la IA (que puede tender a la autorreferencialidad) que un conocimiento surgido de la socialización y el debate público.

Dos.- El segundo aspecto que consideramos necesario abordar se refiere a los equilibrios entre valores públicos y privados, y concretamente al riesgo de profundización de las dinámicas de privatización de las políticas públicas. Lo hemos señalado anteriormente: el desarrollo de la IA, liderado por grandes corporaciones privadas que concentran cantidades ingentes de datos digitalizados y los dispositivos tecnológicos que los explotan, otorga a estas corporaciones un poder desproporcionado de influencia en los procesos políticos. El riesgo de "captura de agencia" de las políticas públicas es evidente, lo que conlleva un desafío de fortalecimiento de las capacidades tecnológicias de las administraciones públicas, desde donde establecer una relación más equilibrada con respecto a los actores privados.

Tres.- La tercera cuestión se relaciona con los riesgos de profundización de las desigualdades de acceso a bienes y servicios públicos a través de los sesgos que genera el etiquetado de datos, que los algoritmos reproducen y acentúan. Como decía la antigua responsable del departamento de ética de la IA de Google: "las personas a las que más perjudica la IA no deciden sobre su regulación". Se trata, por el contrario, de un desarrollo tecnológico sociodemográficamente muy sesgado, protagonizado por hombres (muy) jóvenes, blancos y asiáticos, con una formación exclusivamente tecnológica y no humanista, que muestran a menudo escasa sensibilidad por las implicaciones sociales de los avances tecnológicos.

Cuatro.- Por último, queremos resaltar la cuestión crítica de la transparencia y de la rendición de cuentas. Los algoritmos se convierten a menudo en cajas negras, basadas en datos masivos de procedencia difusa, cuyos "ranozamientos" son frecuentemente incomprensibles por parte de sus propios diseñadores, porque trabajan con una elevada autonomía. Sus propios diseñadores advierten de la posibilidad de que produzcan alucinaciones y accidentes, con grandes riesgos cuando se aplican en campos muy sensibles para la vida de las personas. ¿Cómo o por qué las máquinas deciden sobre nuestra privación de libertad o sobre si cumplimos los criterios para el acceso a una vivienda pública, por ejemplo? Si la eclosión de Internet supuso importantes avances (aunque con límites y riesgos evidentes), en el campo de la transparencia administrativa, la IA, con el uso de algoritmos complejos diseñados por parte de corporaciones privadas, puede hacer de los procesos de toma de decisiones algo mucho más opaco e ininteligible para la mayoría de la población. La exigencia de transparencia y de rendición de cuentas sobre el funcionamiento de los procesos de elaboración de decisiones es ineludible.

Otro campo en el que la IA presenta potencialidades es el de la reducción del entramado burocrático que rodea y condiciona la acción de los poderes públicos. La revolución weberiana, que fundamentó la forma de actuar de las administraciones públicas más allá de la discrecionalidad del monarca, buscaba en las burocracias administrativas una forma maquinal de dictar y hacer cumplir la ley, sin espacios para la posibilidad de interpretación o arreglo por parte del funcionario en la aplicación de la norma. En ese sentido, el uso de la IA en el funcionamiento de las administraciones públicas podría ahorrar mucho tiempo, mucho trajín de documentación o de comprobación de datos, a la hora de valorar si un ciudadano tiene derecho a una prestación, si el expediente presentado para su aprobación está completo y reúne todos los requisitos legalmente previstos, o si es necesario multar a alguna empresa por incumplir la normativa ambiental.

La mecánica de la tramitación puede mejorar notablemente. Pero conviene recordar que el funcionario no sólo debe asegurarse de que todo lo que hay que tener en cuenta figura en la documentación pertinente, sino que además ha de poder explicar los motivos de la decisión, asegurando la confidencialidad de todo el proceso y asumiendo la responsabilidad que implica el decidir en uno o en otro sentido, aunque después pueda esa misma decisión ser objeto de recurso y revisión. En democracia, las decisiones administrativas han de poder ser explicadas.

En este sentido, el uso generalizado de la IA puede exacerbar las desigualdades y aumentar la desconfianza en las decisiones políticas. La falta de transparencia en los algoritmos y la posibilidad de sesgos en la toma de decisiones automatizadas son desafíos importantes para la democracia.

(Coordinación y edición: Agustín Blanco, Sebastián Mora y José Antonio López-Ruiz)

Entradas populares de este blog

El contraste entre lo que promete la democracia y lo que acontece realmente crece de forma exponencial

Informe España 2025 (I) - Cátedra José María Martín Patino de la Cultura del Encuentro - Universidad Pontificia Comillas - Fundación Ramóm Areces Gracias a la Fundación Ramón Areces, la Cátedra José María Martín Patino de la Cultura del Encuentro elabora este informe. En él ofrecemos una interpretación global y comprensiva de la realidad social española, de las tendencias y procesos más relevantes y significativos del cambio. El informe quiere contribuir a la formación de la autoconciencia colectiva, ser un punto de referencia para el debate público que ayude a compartir los principios básicos de los intereses generales. Parte primera: Consideraciones generales frente a la erosión democrática: más ciencia, mejor política (Joan Subirats, Universitat Autònoma de Barcelona). 1.- La fragilidad democrática en el cambio de época. Atravesamos un cambio de época y percibimos con claridad que lo que está en juego son los propios fundamentos democráticos de nuestro sistema de gobierno y de convi...

China: la expansión geopolítica silenciosa y el dominio de las tierras raras

China no conquista con misiles, sino con minerales, patentes y puertos marítimos distribuidos en distintos puntos del planeta. Controla el 90% del refinado mundial de tierras raras, teje cables bajo el mar y construye infraestructuras clave en los cinco continentes. El gigante asiático redibuja el poder global con herramientas decisivas Por su alto coste y contaminación, casi todo el refinado se hace en China, que concentra más del 90% del total mundial Muchos países africanos se endeudan con China a través de créditos blandos y, cuando no pueden pagar, conceden el control sobre infraestructuras clave Desde 2020, China es el mayor socio comercial de Europa China ha logrado ser la fábrica, el laboratorio, el banco y la carretera del mundo al mismo tiempo China vende sistemas de gobernanza digital, usados para censura, control de redes sociales y ciberseguridad de Estado Ya no hace falta enviar tropas para ganar una guerra. Hoy, el poder se construye con contratos, satélites, minerales y...

Iván Krástev: "Ahora Venezuela es más importante para Trump que Ucrania"

Director del Centro de Estrategias Liberales en Sofia Politólogo búlgaro, es autor de 'La luz que se apaga' Sostiene que la mayoría de los temas que realmente preocupan al presidente, por ejemplo, la inmigración, los narcóticos, tienen que ver con América Latina "Durante la Guerra Fría, Europa era el centro de la imaginación política estadounidense. Ahora no lo es" "Trump piensa que un conflicto importante no puede ser resuelto por personas que saben demasiado sobre él, sino que tienen que ser 'outsiders'" "Trump siempre ha creído que podía separar a Rusia de China, lo que es totalmente ilusorio. No se puede jugar a ser Kissinger" "Una de las principales razones de la guerra de Rusia en Ucrania fue la ansiedad demográfica: Putin está muy preocupado por la despoblación de su país" "Lo que no me gusta de la postura occidental es que alabamos a los ucranianos pero no les ayudamos de una forma eficaz" "Después de 2014, ...