Social Protection in the Digital Age pone de relieve los riesgos que el uso incontrolado de las tecnologías digitales representa para los derechos humanos

“Las tecnologías digitales —incluidas la inteligencia artificial, la automatización y la toma de decisiones basada en algoritmos— están exacerbando las desigualdades en los sistemas de protección social de todo el mundo”, afirma Amnistía Internacional en un nuevo informe publicado hoy.

“Desde Serbia hasta India, pasando por Países Bajos, estas tecnologías son aclamadas por los gobiernos como soluciones de vanguardia para lograr una mejor distribución de los recursos, mejorar los sistemas administrativos, detectar el fraude y mejorar la seguridad. Sin embargo, la investigación de Amnistía Internacional ha demostrado que la digitalización incontrolada de sistemas de protección social plantea muchos riesgos para los derechos humanos y exacerba las desigualdades”, ha declarado Imogen Richmond-Bishop, investigadora de Tecnología y Derechos Económicos, Sociales y Culturales de Amnesty Tech.

“Ante las múltiples crisis globales causadas por los conflictos, la emergencia climática y la pandemia de COVID-19, entre otros factores, es más fundamental que nunca que haya unos sistemas de protección social sólidos para proteger a las personas y las comunidades frente a la inseguridad de los ingresos”.

Social Protection in the Digital Age pone de relieve los riesgos que el uso incontrolado de las tecnologías digitales representa para los derechos humanos.

Debe consultarse a las comunidades que se verán afectadas por un sistema y cualquier cambio a estos sistemas vitales de apoyo debe comunicarse de una forma clara y accesible. Es crucial que, si se concluye que un sistema tiene el potencial de causar daños a los derechos humanos y que esos daños no se pueden prevenir de forma efectiva, no se use nunca.

Imogen Richmond-Bishop, investigadora de Tecnología y Derechos Económicos, Sociales y Culturales de Amnesty Tech

El registro de la tarjeta social de Serbia es un buen ejemplo de sistema de toma de decisiones semiautomatizado que se usa en un panorama ya defectuoso de la social seguridad y afecta directamente a comunidades ya marginadas, como se expone en un informe de Amnistía Internacional de 2023. La tecnología, que se implementó sin salvaguardias ni protecciones adecuadas para los derechos humanos, tuvo consecuencias concretas para las comunidades romaníes y las personas con discapacidad.

El sistema amplió la discriminación que ya existía y creó obstáculos adicionales para el acceso al derecho a la seguridad social. Muchas de las personas a las que entrevistó Amnistía Internacional fueron despojadas de su exigua ayuda en efectivo, lo que hizo que su acceso a bienes y servicios esenciales, como alimentos y medicinas, quedara suspendido debido a defectos del registro de la tarjeta social.

En India, el sistema de identificación biométrica Aadhaar —que proporciona un número de identificación único a cada persona, sea nacional o residente, incluso si es menor de edad— se usa como forma de verificar y autentificar la información sobre la identidad en muchos servicios públicos, como las prestaciones de la seguridad social y las raciones alimentarias, entre otros. Esto se hace usando métodos totalmente digitalizados. Periodistas y profesionales de la investigación de la sociedad civil, entre otras personas y entidades, han documentado cómo esto ha desembocado en la exclusión de muchas personas de una protección social vital.

“Es esencial que antes de introducir tecnología en los sistemas de protección social, los Estados estudien y sopesen cuidadosamente su uso frente a posibles riesgos para los derechos humanos. La introducción de cualquier tecnología ha de ir acompañada de evaluaciones independiente y sólidas de su impacto en los derechos humanos en todo el ciclo de vida del sistema, desde el diseño hasta el despliegue, y deben existir medidas de mitigación efectivas”, dijo Imogen Richmond-Bishop.

“Debe consultarse a las comunidades que se verán afectadas por un sistema y cualquier cambio a estos sistemas vitales de apoyo debe comunicarse de una forma clara y accesible. Es crucial que, si se concluye que un sistema tiene el potencial de causar daños a los derechos humanos y que esos daños no se pueden prevenir de forma efectiva, no se use nunca”.

Información complementaria

En 2023, la investigación de Amnistía Internacional expuesta en el informe titulado Trapped by Automation: Poverty and Discrimination in Serbia’s Welfare State documentó que numerosas personas, en particular romaníes y personas con discapacidad, no podían pagar sus facturas ni llevar comida a casa, y tenían dificultades para llegar a fin de mes tras haber sido eliminadas de la ayuda de la asistencia social con la introducción del registro de la tarjeta social.

En 2021, Amnistía Internacional documentó cómo un sistema algorítmico empleado por las autoridades fiscales neerlandesas había elaborado perfiles raciales de las personas que recibían subsidios para el cuidado infantil. La herramienta estaba pensada para verificar si las solicitudes de subsidios eran auténticas o fraudulentas, pero el sistema penalizó erróneamente a miles de progenitores de ingresos bajos y de origen inmigrante, sumiéndolos en deudas exorbitantes y en la pobreza.