Amnistía Internacional, como parte de una coalición de organizaciones de la sociedad civil encabezada por la Red Europea de Derechos Digitales (EDRi), viene pidiendo una regulación de la UE sobre la inteligencia artificial que proteja y promueva los derechos humanos, incluidos los derechos de las personas en movimiento

“La Unión Europea (UE) debe prohibir las tecnologías peligrosas basadas en la inteligencia artificial en la Ley de Inteligencia Artificial”, ha declarado hoy Amnistía Internacional. La Unión tiene el objetivo de finalizar el primer reglamento integral sobre inteligencia artificial este otoño.

Numerosos Estados de todo el mundo han utilizado sistemas no regulados de inteligencia artificial para evaluar solicitudes de prestaciones sociales, vigilar espacios públicos o determinar las probabilidades de que alguien cometa un delito. Estas tecnologías suelen etiquetarse de “soluciones técnicas” para problemas estructurales como la pobreza, el sexismo y la discriminación. Usan cantidades de datos sensibles y a menudo de forma escalonada que se introducen en sistemas automatizados para decidir si una persona debería recibir o no vivienda, prestaciones sociales, atención sanitaria y educación… o incluso ser acusada de un delito.

Estos sistemas no se usan para mejorar el acceso de las personas a las prestaciones sociales: se usan para recortar gastos. Y cuando ya existen el racismo y la discriminación sistémicos, estas tecnologías amplifican los daños a las comunidades marginadas en una escala y a una velocidad mucho mayores.

Mher Hakobyan, asesor de Amnistía Internacional para el trabajo de incidencia sobre la regulación de la inteligencia artificial

Pero en lugar de solucionar problemas sociales, los sistemas de inteligencia artificial han amplificado de forma flagrante el racismo y las desigualdades, y han perpetuado daños a los derechos humanos y la discriminación.

“Estos sistemas no se usan para mejorar el acceso de las personas a las prestaciones sociales: se usan para recortar gastos. Y cuando ya existen el racismo y la discriminación sistémicos, estas tecnologías amplifican los daños a las comunidades marginadas en una escala y a una velocidad mucho mayores”, dijo Mher Hakobyan, asesor de Amnistía Internacional para el trabajo de incidencia sobre la regulación de la inteligencia artificial.

“En lugar de centrarse desproporcionadamente en las “amenazas existenciales” que representa la inteligencia artificial, los órganos legislativos de la UE deberían formular leyes que aborden los problemas existentes, como el hecho de que estas tecnologías se usan para tomar decisiones manifiestamente discriminatorias que menoscaban el acceso a derechos humanos fundamentales.”

Privación cruel de subsidios para el cuidado infantil

En 2021, Amnistía Internacional documentó cómo un sistema de inteligencia artificial empleado por las autoridades fiscales neerlandesas había elaborado perfiles raciales de las personas que recibían subsidios para el cuidado infantil. La herramienta estaba pensada para verificar si las solicitudes de subsidios eran auténticas o fraudulentas, pero el sistema penalizó erróneamente a miles de progenitores de ingresos bajos y de origen inmigrante, sumiéndolos en deudas exorbitantes y en la pobreza.

Fue tan raro. Recibí una carta que decía que me habían dado por error subsidios para el cuidado infantil. Y pensé ‘¿cómo puede ser?’ Tenía veintipocos años. No sabía demasiado sobre las autoridades fiscales. Me encontré en este mundo de papeleo. Vi cómo se me escapaba todo. Desde que se nos ha reconocido como víctimas de lo que yo llamo ‘crimen de los subsidios’, incluso cuatro años después, siguen tratándonos como un número
Batya Brown 

Batya Brown, a quien el sistema neerlandés de atención a la infancia acusó falsamente de fraude en las prestaciones sociales, dijo que las autoridades fiscales le reclamaron la devolución de cientos de miles de euros, lo que la atrapó en una red de burocracia y ansiedad económica. Años después, la justicia sigue sin dejarse ver.

“Fue tan raro. Recibí una carta que decía que me habían dado por error subsidios para el cuidado infantil. Y pensé ‘¿cómo puede ser?’ Tenía veintipocos años. No sabía demasiado sobre las autoridades fiscales. Me encontré en este mundo de papeleo. Vi cómo se me escapaba todo. Desde que se nos ha reconocido como víctimas de lo que yo llamo ‘crimen de los subsidios’, incluso cuatro años después, siguen tratándonos como un número”, dijo Batya Brown. “El escándalo de los subsidios neerlandeses para el cuidado infantil debe servir de aviso a los órganos legislativos de la UE. Usar sistemas de inteligencia artificial para vigilar la provisión de subsidios esenciales puede tener consecuencias devastadoras para las comunidades marginadas. La Ley de Inteligencia Artificial debe prohibir los sistemas de puntuación social, perfilación y evaluación de riesgos, sea usada para vigilar a las personas beneficiarias de prestaciones sociales, para ‘predecir’ la probabilidad de que se cometa un delito o para decidir sobre peticiones de asilo”, añadió Mher Hakobyan.

Prohibición del uso y la exportación de sistemas de vigilancia invasiva

So pretexto de la “seguridad nacional”, los sistemas de reconocimiento facial se están convirtiendo en la herramienta de referencia para los gobiernos que se proponen vigilar en exceso a las personas en la sociedad. Las agencias encargadas de la aplicación de la ley usan estos sistemas en espacios públicos para identificar a personas que podrían haber cometido un delito a pesar del riesgo de practicar detenciones injustas.

Amnistía, que forma parte de una coalición de más de 155 organizaciones, ha pedido que se garantice la prohibición total de uso del reconocimiento facial retrospectivo y en tiempo real en lugares accesibles públicamente, incluidas las zonas fronterizas y alrededor de centros de detención, por todos los actores, sin excepciones, en la UE.

En lugares como Nueva York, Hyderabad y los Territorios Palestinos Ocupados (TPO), Amnistía Internacional ha documentado y denunciado que los sistemas de reconocimiento facial aceleran los sistemas existentes de control y discriminación.

En los TPO, las autoridades israelíes usan el reconocimiento facial para vigilar y controlar a la población palestina, limitando su libertad de circulación y su capacidad para acceder a derechos fundamentales.

La investigación de Amnistía Internacional ha revelado también que se están usando cámaras fabricadas por la empresa neerlandesa TKH Security como parte del sistema de vigilancia desplegado en la Jerusalén Oriental ocupada.

“Además de garantizar la prohibición total del reconocimiento facial dentro de la UE, los órganos legislativos deben garantizar que esta tecnología y otras tecnologías sumamente problemáticas prohibidas dentro de la Unión no se fabrican en ésta para ser exportadas a países donde se usan para cometer violaciones graves de derechos humanos. La UE y sus Estados miembros tienen la obligación, en virtud del derecho internacional, de garantizar que las empresas que están dentro de su jurisdicción no se lucran de abusos contra los derechos humanos con la exportación de tecnologías usadas para la vigilancia masiva y la actuación policial racista”, añadió Mher Hakobyan.

La tecnología de inteligencia artificial facilita los abusos contra la población migrante

Los Estados miembros de la UE han ido recurriendo cada vez más al uso de tecnologías opacas y hostiles para facilitar los abusos contra personas migrantes, refugiadas y solicitantes de asilo en sus fronteras.

Los órganos legislativos deben prohibir la elaboración de perfiles racistas y los sistemas de evaluación de riesgos que etiquetan como “amenazas” a las personas migrantes y solicitantes de asilo, así como las tecnologías que predicen movimientos fronterizos y niegan a las personas el derecho de asilo.

“Cada vez que una persona pasa por un aeropuerto, cruza una frontera, solicita un empleo, es sometida a las decisiones de estos modelos. No tenemos que llegar al punto de Terminator o de Matrix para que estas amenazas sean existenciales. Para la gente, es existencial si le arrebata sus oportunidades vitales y sus medios de subsistencia”, dijo Alex Hanna, director de Investigación del Distributed AI Research Institute (DAIR).

La Ley de Inteligencia Artificial no debe dar a las grandes empresas tecnológicas el poder de autorregularse

Las grandes empresas tecnológicas también han presionado para introducir vacíos legales en el proceso de clasificación del riesgo de la Ley de Inteligencia Artificial, lo que permitiría a las propias empresas tecnológicas determinar si sus tecnologías deberían clasificarse de “alto riesgo”.

“Es crucial que la UE adopte una legislación sobre inteligencia artificial que proteja y promueva los derechos humanos. Conceder a las grandes empresas tecnológicas el poder de autorregularse menoscaba gravemente los objetivos principales de esta ley, incluido el de proteger a la ciudadanía de los abusos contra los derechos humanos. La solución es muy simple: volver a la propuesta original de la Comisión Europea, que proporciona una lista clara de situaciones en las que el uso de una herramienta de inteligencia artificial se consideraría de alto riesgo”, concluyó Mher Hakobyan.

Información complementaria

Amnistía Internacional, como parte de una coalición de organizaciones de la sociedad civil encabezada por la Red Europea de Derechos Digitales (EDRi), viene pidiendo una regulación de la UE sobre la inteligencia artificial que proteja y promueva los derechos humanos, incluidos los derechos de las personas en movimiento.

Está prevista la celebración de negociaciones trilaterales de alto nivel —conocidas como “diálogos a tres bandas”— entre el Parlamento Europeo, el Consejo de la UE (que representa a los 27 Estados miembros de la Unión) y la Comisión Europea en octubre, con el fin de adoptar la Ley de Inteligencia Artificial antes de que finalice el actual mandato de la UE en 2024.