EscucharA principios de este mes, los Emiratos Árabes Unidos anunciaron un plan para que la mitad de sus servicios gubernamentales funcionen con inteligencia artificial “agente” dentro de los próximos dos años. Bajo este esquema, se espera que la IA actúe como un “socio ejecutivo” que “analice, decida, ejecute y mejore en tiempo real”, sin intervención humana. Tras haber pasado nuestras carreras en la intersección entre el emprendimiento, la investigación y la política digital, podemos afirmar categóricamente que este plan es imprudente. Y, dado que los Emiratos se presentan como modelo digital global, otros gobiernos sentirán presión para imitarlos.
Ese es un peligro que no debemos ignorar. Ya sabemos lo que ocurre cuando los gobiernos delegan la toma de decisiones en algoritmos. En 2021, un sistema de aprendizaje automático en los Países Bajos acusó injustamente a aproximadamente 35.000 familias de fraude en el subsidio de cuidado infantil. Los padres recibieron órdenes de devolver decenas de miles de euros que nunca adeudaron; hubo pérdida de viviendas; y más de 2000 niños fueron puestos bajo custodia estatal.
Este resultado ya estaba incorporado en el diseño del sistema. La doble nacionalidad y los nombres de sonido extranjero se marcaban como factores de riesgo, incorporando directamente una discriminación ilegal en el modelo. El resultado fue un escándalo nacional que derivó, en última instancia, en la renuncia del entonces primer ministro Mark Rutte y su gobierno.
Una dinámica similar se reprodujo en Australia. Entre 2015 y 2019, el programa Robodebt persiguió a 433.000 personas con beneficios sociales por 1.700 millones de dólares australianos (1.200 millones de dólares) en supuestas deudas ilegales. El daño fue profundo: madres testificaron que sus hijos se suicidaron tras recibir notificaciones de deudas que no podían impugnar. Una Comisión Real concluyó que el programa “ni era justo ni legal”.
En Estados Unidos, por su parte, Arkansas e Idaho sustituyeron a enfermeras por algoritmos para evaluar la elegibilidad y el nivel de atención domiciliaria. Personas con parálisis cerebral, cuadriplejia y esclerosis múltiple vieron recortado su cuidado en un 20–50% de golpe. Los tribunales finalmente ordenaron suspender el uso de estos sistemas, pero no antes de que el daño ya estuviera hecho. Algunos pacientes quedaron sin apoyo adecuado, lo que provocó complicaciones médicas evitables.
Cada uno de estos casos implicó un único sistema dentro de una sola agencia. Ahora imagínese esos sistemas encargándose de la mitad de todos los servicios gubernamentales, tal como propone el plan de los Emiratos.
Considérese, por ejemplo, una madre soltera cuyos subsidios de cuidado infantil se congelan cuando un agente de IA detecta actividad bancaria sospechosa, dejándola atrapada en un proceso de apelación que la manda de un sistema automatizado a otro, sin ningún punto de contacto humano, justo cuando se vence el pago de la renta. ¿Qué pasa con un trabajador migrante cuya renovación de residencia se niega porque el sistema no puede interpretar los documentos de su empleador, dejándolo efectivamente sin documentos? ¿Y con una viuda anciana cuya pensión se suspende porque dos bases de datos entran en conflicto y ella no entiende la interfaz?
Estas no son hipótesis. Son patrones documentados que la IA agente intensifica de formas que ningún programa de capacitación puede remediar dentro del plazo de dos años anunciado por los Emiratos.
Tres riesgos clave destacan. El primero es la escala: cuando un trabajador social comete un error, una sola persona sufre; cuando un agente de IA lo hace, pueden verse afectadas miles de personas antes de que alguien siquiera se dé cuenta.
Luego está la opacidad de la toma de decisiones por IA. Dado que los sistemas agentes toman decisiones en secuencia, con cada paso construyéndose sobre el anterior, la cadena de causas se vuelve efectivamente irreconocible cuando el daño se hace visible. El sistema algorítmico de beneficios sanitarios en Arkansas ofrece un ejemplo claro. Nadie —ni siquiera sus creadores— podía explicar plenamente cómo funcionaba, lo que llevó a una corte federal a describirlo como “salvajemente irracional”. Además, la falta de transparencia puede estar incorporada mediante secretos comerciales o marcos propietarios que sostienen los algoritmos.
Por último, los sistemas de IA invierten la carga de la prueba, obligando a los ciudadanos a demostrar su inocencia, en lugar de obligar al Estado a justificar sus acciones. Tal como mostró el escándalo del subsidio de cuidado infantil en los Países Bajos y el programa Robodebt en Australia, quienes más sufren son precisamente las personas con menos tiempo, dinero, dominio del idioma y acceso a apoyo legal.
Los Emiratos afirman que el principio orientador de su programa de IA es que “las personas van primero”. Pero el diseño sugiere lo contrario. Un gobierno que evalúa a sus ministerios por la “velocidad de adopción” y la “maestría en IA” no está midiendo lo que realmente importa, sino replicando la misma lógica de eficiencia que ya ha causado un daño significativo en todo el mundo.
La velocidad de adopción es un indicador de vendedores. La responsabilidad fundamental de un gobierno es una obligación de cuidado basada en el juicio humano.
Esta responsabilidad concuerda con las expectativas ciudadanas de que el gobierno sea responsable y transparente, y de que explique las decisiones que afectan sus derechos y libertades. Cuando los gobiernos abrazan con entusiasmo la toma de decisiones autónomos en nombre de la eficiencia, en realidad están renunciando a esa responsabilidad.
Cada escándalo relacionado con algoritmos de los últimos años plantea la misma pregunta fundamental: ¿Quién está a cargo, y quién tomó la decisión? En un gobierno regido por una IA agente, esas preguntas ya no tienen respuestas claras. El sistema decide, se actualiza solo y sigue adelante, dejando a los ciudadanos sin recursos cuando algo sale mal.
Con la llegada de la IA, la rendición de cuentas democrática se erosiona no mediante un intento de poder abierto, sino a través de una serie de decisiones de compras que desplazan silenciosamente la supervisión humana. Al socavar la confianza en las instituciones en un momento en que ya es peligrosamente baja, estos sistemas sirven, en última instancia, a los intereses de los grandes gigantes tecnológicos que están impulsando la revolución de la IA.
Pero no tiene por qué ser así. Los Emiratos cuentan con los recursos, el talento y la estabilidad política necesarios para construir un gobierno digital verdaderamente centrado en la persona, que pueda establecer el estándar global al amplificar, y no reemplazar, la toma de decisiones humanas.
El costo de equivocarse en este punto no se limitará a los Emiratos. Lo pagarán, por ejemplo, una madre soltera en otro país cuyo subsidio se recorta por un algoritmo que jamás conoció, y un sinnúmero de personas como ella en todo el mundo.
---
Gabriela Ramos, copresidenta del Grupo de Trabajo sobre Desigualdades y Divulgaciones Financieras Relacionadas con lo Social, es exsubdirectora general de ciencias sociales y humanas en la UNESCO, donde supervisó el desarrollo de la Recomendación sobre la Ética de la IA, y ex jefa de gabinete de la OCDE y sherpa para el G20, el G7 y el APEC. Emilija Stojmenova Duh, profesora asociada de Ingeniería Eléctrica en la Universidad de Liubliana, es miembro del Consejo de Fundación de Globethics y exministra de Transformación Digital de Eslovenia.
