La Inteligencia Artificial y la Administración Pública: Los (límites legales) de la gobernanza algorítmica
Introducción
La inteligencia artificial (IA) está transformando de manera silenciosa pero profunda el funcionamiento del sector público. Desde sistemas de clasificación de beneficiarios de ayudas sociales, hasta algoritmos que gestionan procedimientos administrativos, cada vez más decisiones públicas dependen de procesos automatizados.
Esta transición, lejos de ser meramente técnica, plantea cuestiones jurídicas, éticas y democráticas de gran calado: ¿puede un algoritmo ejercer funciones públicas? ¿Quién es responsable cuando una decisión automatizada es injusta o errónea? ¿Cómo se garantiza el control ciudadano en una gobernanza cada vez más delegada a sistemas opacos?
Estas preguntas son el núcleo del informe AI and Public Administration: The (legal) limits of algorithmic governance, publicado por el European Liberal Forum. El documento constituye una guía crítica sobre cómo los Estados están integrando tecnologías inteligentes en la gestión pública, analizando los desafíos que esto supone para el Estado de Derecho, la transparencia, la legalidad y los derechos fundamentales.
Este artículo presenta un recorrido por los puntos más relevantes del informe, con el propósito de comprender qué tipo de gobernanza se está construyendo con IA, qué riesgos emergen y qué condiciones legales son indispensables para evitar que la eficiencia se imponga sobre la justicia.
🌍 Revolucia: La Mayor Conferencia Virtual en Español Sobre el Impacto de la IA en las Empresas
⏰ ¡Quedan SOLO 5 DÍAS!
La mayor conferencia virtual en español sobre la implementación de la Inteligencia Artificial en los negocios arranca este 3 de junio. Tendrás la oportunidad única de aprender de más de 100 líderes y referentes de la industria. Charlas 100% prácticas y gratuitas. No llegues tarde ¡Inscríbete ahora!
🎙️ Organiza: Revolucia
📅 Fecha: Junio 2025
📌 Regístrate aquí: revolucia.netEspacio patrocinado
El auge de la gobernanza algorítmica
El concepto de “gobernanza algorítmica” se refiere al uso de sistemas automatizados, basados en inteligencia artificial, para apoyar o sustituir decisiones públicas tradicionalmente ejercidas por humanos. En el ámbito administrativo, esto puede incluir desde procesos como la asignación de recursos hasta decisiones con efectos jurídicos directos sobre los ciudadanos.
Este modelo ofrece ventajas evidentes: eficiencia operativa, reducción de costos, aumento de velocidad y, potencialmente, menor margen de error humano. Sin embargo, como destaca el informe, también plantea graves dilemas:
Falta de transparencia: Muchos algoritmos utilizados en el sector público operan como “cajas negras”, sin explicar cómo llegan a una conclusión.
Riesgo de sesgos y discriminación: Si los datos de entrenamiento contienen desigualdades estructurales, los resultados algorítmicos pueden reproducirlas o incluso amplificarlas.
Ausencia de rendición de cuentas: ¿A quién se responsabiliza si un algoritmo toma una decisión errónea que vulnera derechos?
El informe subraya que estos problemas no son secundarios, sino estructurales. Si no se abordan con urgencia, pueden socavar principios básicos de la democracia liberal.
¿Puede un algoritmo ser legal?
Uno de los temas centrales del documento es la tensión entre automatización y legalidad. En sistemas jurídicos como el europeo, las decisiones administrativas deben ser motivadas, previsibles y revisables. ¿Cómo se compatibiliza esto con decisiones generadas por IA?
El informe destaca tres principios jurídicos clave:
Principio de legalidad: Toda acción de la administración debe tener una base legal. La implementación de IA no puede actuar al margen del marco normativo.
Derecho a una explicación: Las personas afectadas por decisiones automatizadas deben poder entender por qué se tomó dicha decisión, algo que choca con los modelos de IA no explicables.
Control judicial efectivo: Debe existir la posibilidad de impugnar decisiones algorítmicas ante un juez, lo que requiere conocer el funcionamiento del sistema automatizado.
Se concluye que el uso de IA en la administración no es en sí mismo ilegal, pero sí exige condiciones estrictas para no vulnerar derechos fundamentales. El uso irresponsable puede generar una administración pública opaca, arbitraria e incontrolable.
El riesgo de la automatización acrítica
Uno de los grandes peligros que alerta el informe es el “automatismo burocrático”: cuando el uso de sistemas algorítmicos se adopta sin una evaluación crítica, con la ilusión de neutralidad tecnológica.
Este fenómeno se manifiesta en tres niveles:
Automatización sin debate político: La introducción de IA suele responder a decisiones técnicas o presupuestarias, sin deliberación democrática sobre sus implicaciones éticas.
Desplazamiento del juicio humano: Se reemplazan funciones discrecionales del funcionario por parámetros rígidos codificados en el sistema.
Fetichismo de la eficiencia: Se prioriza la optimización de procesos, incluso a costa de la equidad o el debido proceso.
El informe propone superar este enfoque tecnocrático, promoviendo una cultura de “tecnología con propósito”, donde cada decisión sobre IA sea evaluada según su impacto en derechos y principios democráticos.
IA y desigualdad social: el caso de los sistemas de puntuación
Una de las aplicaciones más polémicas de IA en la administración pública es el uso de sistemas de puntuación ciudadana (scoring systems) para determinar elegibilidad a servicios sociales, becas o subsidios.
El documento presenta varios ejemplos de cómo estos sistemas pueden:
Penalizar a ciertos grupos por correlaciones estadísticas sin fundamento legal.
Excluir beneficiarios legítimos por errores de predicción.
Estandarizar decisiones sin tener en cuenta contextos humanos.
A través del análisis de casos reales en Países Bajos, Austria y Francia, el informe revela cómo el uso acrítico de estos modelos ha generado protestas, fallos judiciales y reformas legales.
La conclusión es clara: la IA no puede sustituir el juicio ético ni las garantías individuales que protegen a los ciudadanos ante el poder del Estado.
Transparencia y explicabilidad: pilares del control democrático
Un principio transversal a todo el informe es el de transparencia algorítmica. Para que el uso de IA sea legítimo en el sector público, debe ser comprensible, accesible y auditado.
Esto implica varios desafíos:
Explicabilidad técnica: No basta con mostrar el código fuente; se necesita traducir el razonamiento del algoritmo a un lenguaje accesible para usuarios y jueces.
Documentación y trazabilidad: Las decisiones automatizadas deben dejar rastro, para poder ser revisadas.
Supervisión humana: La IA debe estar siempre subordinada a una instancia humana capaz de detener, revisar o anular sus decisiones.
El informe propone la creación de “registros de algoritmos públicos”, como ya se ha implementado en algunos países, donde se detalle qué algoritmos utiliza cada entidad estatal, con qué objetivos, bajo qué base legal y con qué salvaguardas.
Derechos fundamentales en juego
El uso de IA en lo público no es neutro: puede afectar profundamente derechos humanos básicos. El informe subraya cuatro especialmente vulnerables:
Derecho a la no discriminación: Los sesgos algorítmicos pueden reforzar desigualdades raciales, de género o socioeconómicas.
Derecho al debido proceso: Si una persona no puede entender ni cuestionar una decisión automatizada, se vulnera el acceso a la justicia.
Derecho a la privacidad: La IA necesita grandes volúmenes de datos, lo que plantea riesgos de vigilancia y uso indebido de información.
Derecho a la autonomía: Cuando el Estado actúa en base a predicciones automatizadas, puede limitar las oportunidades de las personas en base a su “perfil”.
El informe insiste en que la protección de estos derechos debe ser un requisito, no una consecuencia secundaria, del uso de IA.
Hacia una IA pública responsable: recomendaciones del informe
El documento finaliza con una serie de recomendaciones prácticas para gobiernos, legisladores y funcionarios:
Establecer marcos legales claros que regulen el uso de IA en el sector público.
Incorporar comités éticos y equipos multidisciplinarios en el diseño e implementación de algoritmos.
Asegurar la participación ciudadana en la evaluación de herramientas automatizadas.
Invertir en formación digital de los funcionarios, para que comprendan las capacidades y límites de la IA.
Promover la interoperabilidad, seguridad y auditoría externa de los sistemas públicos.
El objetivo no es frenar la innovación, sino integrarla con garantías. La administración pública no puede ser un laboratorio sin reglas: debe ser el bastión de los valores democráticos.
Conclusión
La inteligencia artificial promete transformar la gestión pública, pero también puede transformarla en algo irreconocible si se ignoran sus implicaciones legales y éticas. El informe AI and Public Administration deja una advertencia clara: la eficiencia no puede justificar la opacidad, ni el progreso técnico puede desplazar el control democrático.
En un momento donde la tecnología avanza más rápido que las leyes, el mayor desafío no es construir algoritmos más poderosos, sino construir instituciones más conscientes. La pregunta no es si la IA puede gobernar, sino si puede hacerlo sin romper el contrato social.
El futuro de la administración pública no depende solo de la tecnología que adopte, sino de los valores que decida preservar. Gobernar con algoritmos no es inevitable. Hacerlo con justicia, sí debería serlo.
📑 PAPER: AI and Public Administration: The (legal) limits of algorithmic governance
Cantero Gamito, M., Pawlowski, L., Kessels, E., Kolinas, S., Buser, T., Schulz, W., & Risak, M. (2023). AI and Public Administration: The (legal) limits of algorithmic governance. European Liberal Forum.
📑 👍 Nos agradaría contar con tu opinión
🧐🔎¿Conoces estas IA que ahorran horas de trabajo en investigación?
La investigación puede ser tediosa por el tiempo requerido, pero la IA ha desarrollado herramientas que agilizan el proceso, ahorrando tiempo y optimizando recursos.
Connected Papers: Permite visualizar relaciones entre artículos científicos, ayudando a explorar y comprender el contexto de una investigación.
Consensus: Motor de búsqueda de IA que extrae respuestas basadas en investigaciones científicas revisadas por pares.
Storm (Stanford): Plataforma de IA desarrollada por Stanford para acelerar la búsqueda y síntesis de información científica.
AnswerThis: Herramienta que usa IA para responder preguntas a partir de fuentes verificadas, ideal para periodistas e investigadores.
Rayyan: Aplicación de IA para realizar revisiones sistemáticas y meta-análisis con colaboración en equipo y automatización de la selección de estudios.
😉✔️¡Suscríbete ahora y forma parte de esta gran comunidad!
+45.000 miembros, +300.000 visitas mensuales, +1.8 millones de visitas, 1.1 millones de usuarios únicos, 2.95 millones de interacciones en el último año. Nos leen en 66 países y 28 estados de EE.UU.
Share this post