Los Emiratos Árabes Unidos anunciaron un plan para que agentes de inteligencia artificial funcionen como "socios ejecutivos" en la mitad de sus servicios de gobierno dentro de dos años. Estos sistemas tomarían decisiones, las ejecutarían e introducirían mejoras sin intervención humana. Para expertos en política digital y gobernanza, el proyecto representa un peligro documentado que ya ha causado daños graves en otras naciones.
El historial de automatización gubernamental revela patrones preocupantes. En 2021, un sistema de aprendizaje automático en los Países Bajos acusó a 35 mil familias de fraude en ayudas para cuidado infantil. Las acusaciones eran falsas. El sistema había incorporado discriminación en su diseño: señalaba como factores de riesgo la doble nacionalidad y nombres de apariencia extranjera. Las familias fueron obligadas a devolver decenas de miles de euros que no debían; se perdieron hogares y más de dos mil niños quedaron bajo tutela estatal. El escándalo nacional terminó con la renuncia del primer ministro Mark Rutte.
Australia experimentó algo similar con el "esquema Robodebt". Entre 2015 y 2019, un método ilegal de cálculo de deudas acusó a 433 mil beneficiarios de prestaciones sociales de deber 1.700 millones de dólares australianos. Una Comisión Real concluyó que el programa no era "ni justo ni legal". Madres testificaron que sus hijos se suicidaron tras recibir notificaciones de deuda sin forma de impugnarlas.
En Estados Unidos, Arkansas e Idaho delegaron a algoritmos la evaluación del derecho a asistencia domiciliaria. Personas con parálisis cerebral, cuadriplejia y esclerosis múltiple vieron recortes de entre 20 y 50 por ciento. Los tribunales ordenaron la descontinuación de los sistemas, pero el daño ya estaba hecho: algunos pacientes sufrieron complicaciones médicas evitables.
Los expertos identifican tres riesgos críticos en la expansión que proponen los EAU. La escala es el primero: un error humano afecta a una persona; un error de IA puede dañar a miles antes de detectarse. Segundo, la opacidad de las decisiones. Los sistemas de agentes toman decisiones en secuencias donde cada paso se basa en el anterior, tornando imposible recuperar la cadena causal cuando el daño es visible. Un sistema de prestaciones en Arkansas fue declarado "totalmente irracional" por un tribunal federal porque ni sus creadores podían explicar su funcionamiento. A esto se suma la falta de transparencia de secretos industriales subyacentes.
Tercero: estos sistemas invierten la carga de la prueba, obligando a ciudadanos a demostrar inocencia en lugar de exigir al Estado justificación. Esto afecta desproporcionadamente a personas vulnerables con recursos limitados para apelaciones.
Los EAU afirman que el principio rector es "poner a las personas primero", pero el plan sugiere lo opuesto. El gobierno mide el éxito por "velocidad de adopción" y "dominio de la IA", métricas que benefician a proveedores tecnológicos, no a ciudadanía. La responsabilidad central de los gobiernos radica en un deber de protección basado en juicio humano, transparencia y rendición de cuentas.
Con la llegada de sistemas de IA autónoma, desaparece la respuesta a preguntas fundamentales: ¿quién está al mando? ¿quién tomó la decisión? El sistema se actualiza solo y avanza, dejando a la ciudadanía sin a quién apelar cuando fallan. La rendición de cuentas democrática se erosiona no mediante usurpación directa, sino a través de decisiones de compra pública que desplazan supervisión humana sin visibilidad.
