Durante años, los gobiernos y el público en general han exigido a empresas como Facebook, Google y Twitter combatir la apología del odio, la incitación y las actividades de reclutamiento por parte de grupos extremistas. Para ello, dichas plataformas utilizan una combinación de algoritmos y juicios humanos para señalar y eliminar contenido, con una tendencia hacia “falsos negativos” o “falsos positivos”, es decir, a señalar muy poco o demasiado contenido según una serie de criterios basados en valores.

Por Scott Edwards

Entre el medio millón de horas de vídeo subidas a YouTube el 20 de marzo de 2017, había un perturbador vídeo de 18 segundos en que aparecía un hombre armado que ejecutaba a tres personas —atadas y de cara a la pared— en una calle polvorienta, presuntamente en Bengasi, Libia.

Aunque la escena era realmente impactante, el breve vídeo se parecía a muchos otros publicados desde zonas en conflicto en todo el mundo.

Pero el 9 de junio se publicó otro vídeo del mismo hombre armado que, aparentemente, estaba supervisando la ejecución de cuatro prisioneros que estaban de rodillas. Aproximadamente un mes más tarde, apareció un nuevo vídeo que mostraba la ejecución de 20 personas y en el que se podía ver otra vez al hombre armado (presuntamente Mahmoud al Werfelli), una figura literalmente autoritaria.

La orden de detención que dictó en agosto la Corte Penal Internacional contra Mahmoud al Werfelli, por asesinato como crimen de guerra en Libia, marcó un punto de inflexión para las investigaciones que utilizan fuentes de acceso público. Para quienes creemos en el potencial de las herramientas digitales para contribuir a la justicia y a la rendición de cuentas, el hecho de que muchas de las pruebas que se presentan ante la Corte Penal Intencional se basen en contenido difundido en Facebook y en YouTube ha sido una fuente de satisfacción.

Pero esta vía relativamente nueva de acceso a la justicia corre el peligro de convertirse en un callejón sin salida.

La explosión de contenido que se ha compartido en diferentes plataformas digitales en los últimos años ha ofrecido a los investigadores de derechos humanos una capacidad sin precedentes para investigar abusos graves, como los probables crímenes de guerra que se documentan en estos vídeos. Pero utilizar este material en las investigaciones conlleva importantes desafíos. Las imágenes a menudo se atribuyen a las personas, el lugar o el momento equivocados y, al intentar trazar la cadena de custodia del contenido, a menudo es imposible llegar más allá de la plataforma en la que se publicó. Además, dichas plataformas no sólo sirven como repositorios de material, sino también como medios para desarrollar narrativas, en ocasiones con la intención de divulgar información errónea, incitar al odio o movilizar apoyos en favor de la violencia.

Durante años, los gobiernos y el público en general han exigido a empresas como Facebook, Google y Twitter combatir la apología del odio, la incitación y las actividades de reclutamiento por parte de grupos extremistas. Para ello, dichas plataformas utilizan una combinación de algoritmos y juicios humanos para señalar y eliminar contenido, con una tendencia hacia “falsos negativos” o “falsos positivos”, es decir, a señalar muy poco o demasiado contenido según una serie de criterios basados en valores.

En junio, Google anunció cuatro pasos para luchar contra el terrorismo en Internet, entre ellos una detección más rigurosa y un proceso más rápido para retirar contenido relacionado con el extremismo violento y el terrorismo. Parece que la rápida denuncia y eliminación de contenido funciona. Lamentablemente, lo sabemos por los devastadores efectos de algunos “falsos positivos”, a saber, por la eliminación de contenido que utilizan o publican periodistas, investigadores y organizaciones dedicadas a recopilar material de zonas de conflicto y crisis de derechos humanos con el fin de informar o de utilizarlo en posibles procedimientos judiciales futuros o como registro histórico.

Del mismo modo que se puede silenciar a las víctimas o a los testigos, la información fundamental para llevar a cabo investigaciones efectivas puede desaparecer de las plataformas antes de que una autoridad competente tenga la oportunidad de preservarla. Los investigadores saben que este riesgo existe. El vídeo en que Al Werfelli presuntamente mata a los cuatro prisioneros arrodillados se eliminó rápidamente de YouTube, al igual que ha ocurrido con miles de vídeos que documentan el conflicto en Siria desde que YouTube renovó su sistema para denunciar contenido. Los esfuerzos de personas dedicadas a la selección y difusión de contenido por cuestionar la eliminación de ciertos canales y vídeos ante YouTube han conseguido que se recuperen algunos de estos materiales.

Sin embargo, es imposible saber cuánto material publicado por activistas de derechos humanos u otras personas que intentan compartir testimonios se ha perdido o se perderá en el futuro, y esto incluye piezas de material que podrían constituir pruebas clave para que los fiscales construyan sus casos. Aunque YouTube guarde en sus servidores el material que elimina, la empresa no puede saber el valor probatorio o de interés público del contenido, que se queda en un purgatorio digital sin que puedan encontrarlo los investigadores, que son quienes pueden hacer estas valoraciones. Dado que las únicas personas que pueden cuestionar dichas eliminaciones son las propietarias originales del contenido o quienes se dedican a su selección y difusión, algunas se ven en una situación de profunda desventaja e incluso de gran riesgo personal si tratan de proteger el acceso a su contenido denunciado aportando más información o exponiéndose a una mayor presencia en las redes. Las personas que publican el contenido más valioso para la justicia y la rendición de cuentas —civiles en zonas asediadas y periodistas ciudadanos que sufren amenazas de muerte— a menudo son las que tienen menos posibilidades para refutar su eliminación.

El negocio de las plataformas de contenido no es garantizar la conservación de pruebas para investigaciones de crímenes de guerra. De hecho, tampoco lo es luchar contra el terrorismo y la apología del odio. Sin embargo, estas son algunas de las obligaciones que tienen tales empresas para contribuir al bien de la sociedad en general.

Aunque los sistemas de eliminación de contenidos de YouTube han sido noticia hace poco por eliminar erróneamente contenido de interés público, otras plataformas se enfrentan a la misma presión para acallar el eco de ciertos tipos de contenidos degradantes o extremistas.

A medida que se negocia el bien común en el espacio digital y se ajustan los sistemas para protegerlo mejor, será fundamental minimizar los riesgos que el reconocido fracaso de YouTube ha dejado al descubierto. A pesar de responder a una necesidad, el nuevo sistema de denuncia se ha implementado sin la debida consulta con la sociedad civil, que depende de plataformas como YouTube para acceder a información y compartirla, en algunos casos con grandes riesgos personales. Por su parte, la empresa ha dicho que trabajará con las ONG para distinguir entre propaganda violenta y material de interés periodístico. De tales consultas podrían surgir pautas para las personas que revisan contenidos sobre el uso legítimo de materiales con valor público, a pesar de que, a primera vista, parezcan ensalzar la violencia o el odio.

La tensión entre el deseo de libertad de información y la necesidad de prevenir que grupos extremistas o de odio abusen de estos canales no es fácil de resolver con una consulta, pero un mejor trabajo con investigadores de derechos humanos puede reducir al mínimo los daños y las posibles pérdidas de testimonios. A medida que otras plataformas se enfrenten a tales retos, una pequeña consulta puede ayudar a garantizar que el entorno digital del futuro —aunque no resulte agradable de ver— contribuye a la búsqueda de la justicia y la rendición de cuentas.

Scott Edwards (@sxedwards) es asesor general del equipo de Respuesta a las Crisis de Amnistía Internacional y profesor de la Escuela Elliot de la Universidad de Washington.

Foto: Shutterstock.com