Un informe por grupo de campaña. Avaaz Examinar cómo se está utilizando la plataforma de Facebook para difundir el discurso de odio en la región de Assam en el noreste de India sugiere que la compañía una vez más no puede evitar que su plataforma se convierta en un arma para alimentar la violencia étnica.
Assam tiene una población minoritaria musulmana de larga data, pero las minorías étnicas en el estado parecen cada vez más vulnerables después de que el gobierno nacionalista hindú de la India impulsó un Registro Nacional de Ciudadanos (NRC), lo que ha resultado en la exclusión de esa lista de casi 1.9 millones de personas. en su mayoría musulmanes, lo que los pone en riesgo de apatridia.
En julio Las Naciones Unidas expresaron su profunda preocupación por el proceso de la NRC, diciendo que existe el riesgo de expulsión y detención arbitrarias, y que los excluidos serán remitidos a los Tribunales de Extranjeros donde tienen que demostrar que no son "irregulares".
Al mismo tiempo, la ONU advirtió sobre el aumento del discurso de odio en Assam que se propaga a través de las redes sociales, diciendo que esto está contribuyendo a aumentar la inestabilidad y la incertidumbre para millones de personas en la región. "Este proceso puede exacerbar el clima xenófobo al tiempo que alimenta la intolerancia religiosa y la discriminación en el país", escribió.
Hay una horrible sensación de deja-vu sobre estas advertencias. En Marzo 2018 La ONU criticó a Facebook por no evitar que su plataforma se utilizara para alimentar la violencia étnica contra el pueblo rohingya en el vecino país de Myanmar, diciendo que el servicio había desempeñado un "papel determinante" en esa crisis.
Facebook La respuesta a las devastadoras críticas de las Naciones Unidas parece una crisis de relaciones públicas muy delgada como para ocultar las grietas éticas en su negocio publicitario, dado el mismo tipo de alarmas sonando nuevamente, poco más de un año después. (Si medimos a la compañía por los altos objetivos que le asignó a un director de trabajo de política de derechos humanos el año pasado – cuando Facebook escribió que las responsabilidades incluían "prevención de conflictos" y "construcción de la paz", seguramente ha sido un fracaso absoluto).
El informe de Avaaz sobre el discurso de odio en Assam apunta directamente a la plataforma de Facebook, diciendo que se está utilizando como un conducto para avivar el odio contra los musulmanes.
En el informe, titulado Megáfono para el odio: desinformación y discurso de odio en Facebook durante el conteo de ciudadanía de Assam, el grupo dice que analizó 800 publicaciones y comentarios de Facebook relacionados con Assam y la NRC, usando palabras clave del discurso de inmigración en Assamese, evaluándolos contra los tres niveles de discurso de odio prohibido establecidos en los Estándares de la Comunidad de Facebook.
Avaaz descubrió que al menos el 26.5% de las publicaciones y comentarios constituían discursos de odio. Según su análisis, estas publicaciones se han compartido en Facebook más de 99,650 veces, sumando al menos 5.4 millones de visitas por discurso de odio violento dirigido a minorías religiosas y étnicas.
Los musulmanes bengalíes son un objetivo particular en Facebook en Assam, según el informe, que encontró comentarios que se refieren a ellos como "delincuentes", "violadores", "terroristas", "cerdos" y "perros", entre otros términos deshumanizantes.
En otros comentarios inquietantes hubo llamados para que las personas "envenenen" a sus hijas y legalicen el feticidio femenino, así como varias publicaciones que exhortaron a las mujeres "indias" a protegerse de los "extranjeros obsesionados con la violación".
Avaaz sugiere que sus hallazgos son solo una gota en el océano del discurso de odio que, según dice, está ahogando a Assam a través de Facebook y otras redes sociales. Pero acusa directamente a Facebook de no proporcionar recursos humanos adecuados para que la policía discuta el discurso de odio en su plataforma dominante.
Comentando en un comunicado, Alaphia Zoyab, activista principal, dijo: “Facebook se está utilizando como un megáfono para el odio, apuntando directam ente a las minorías vulnerables en Assam, muchas de las cuales podrían quedar apátridas en unos meses. A pesar del peligro claro y presente que enfrentan estas personas, Facebook se niega a dedicar los recursos necesarios para mantenerlos a salvo. A través de su inacción, Facebook es cómplice de la persecución de algunas de las personas más vulnerables del mundo ".
Su queja clave es que Facebook continúa confiando en la inteligencia artificial para detectar el discurso de odio que los usuarios humanos no le han informado, utilizando su grupo limitado de personal moderador de contenido (humano) para revisar el contenido marcado previamente, en lugar de detectarlo de manera proactiva.
Fundador de Facebook Mark Zuckerberg Anteriormente dijo que la IA tiene un largo camino por recorrer para detectar de manera confiable el discurso de odio. De hecho, ha sugerido que tal vez nunca pueda hacerlo.
En Abril 2018 Le dijo a los legisladores estadounidenses que podría llevar entre cinco y diez años desarrollar "herramientas de inteligencia artificial que puedan introducirse en algunos de los matices lingüísticos de diferentes tipos de contenido para ser más precisos, para señalar cosas a nuestros sistemas", al tiempo que admitió: "Hoy en día simplemente no estás ahí en eso ".
Esto se suma a una admisión de que en regiones como Assam, donde las tensiones interétnicas se están agitando en una atmósfera políticamente cargada que también fomenta la violencia, Facebook está esencialmente dormido en el trabajo. El trabajo de hacer cumplir sus propios "Estándares de la Comunidad" y evitar que su plataforma sea armada para amplificar el odio y hostigar a los vulnerables, para ser claros.
Avaaz lo dice marcó 213 de "los ejemplos más claros" de discurso de odio que encontró directamente en Facebook, incluidas las publicaciones de un funcionario electo y las páginas de un miembro de un grupo rebelde asamés prohibido por el gobierno indio. La compañía eliminó 96 de estas publicaciones luego de su informe.
Argumenta que hay similitudes en el tipo de discurso de odio dirigido a las minorías étnicas en Assam a través de Facebook y el que se dirigió a las personas rohingya en Myanmar, también en Facebook, aunque señala que el contexto es diferente. Pero también encontró contenido odioso en Facebook dirigido a personas rohingya en la India.
Hace un llamado a Facebook para que haga más para proteger a las minorías vulnerables en Assam, argumentando que no debería depender únicamente de herramientas automatizadas para detectar el discurso de odio, sino que debería aplicar una "política de" tolerancia cero "dirigida por los humanos contra el discurso de odio, comenzando por reforzando la experiencia de los moderadores en los idiomas locales.
También recomienda que Facebook lance un sistema de alerta temprana dentro de su equipo de Respuesta Estratégica, nuevamente basado en la moderación de contenido humano, y que lo haga para todas las regiones donde la ONU advirtió sobre el aumento del discurso de odio en las redes sociales.
"Este sistema debería actuar preventivamente para evitar crisis de derechos humanos, no solo de manera reactiva para responder al daño fuera de línea que ya ha ocurrido", escribe.
Otras recomendaciones incluyen que Facebook debe corregir el registro de noticias falsas y desinformación notificando y proporcionando correcciones de los verificadores de hechos a todos y cada uno de los usuarios que han visto contenido considerado falso o deliberadamente engañoso, incluso si la desinformación proviene de un político; que debe ser transparente con respecto a todas las eliminaciones de páginas y publicaciones mediante la publicación de su informe racional en la Sala de prensa de Facebook, de modo que el tema del discurso de odio tenga una importancia y publicidad proporcionales al tamaño del problema en Facebook; y debería aceptar una auditoría independiente del discurso de odio y los derechos humanos en su plataforma en India.
"Facebook se ha registrado para cumplir con los Principios Rectores de la ONU sobre Empresas y Derechos Humanos", señala Avaaz. "Lo que requiere que lleve a cabo la debida diligencia de los derechos humanos, como identificar su impacto en grupos vulnerables como mujeres, niños, minorías lingüísticas, étnicas y religiosas y otros, particularmente al implementar herramientas de IA para identificar el discurso de odio, y tomar medidas para evitar o mitigar posteriormente tal daño ".
Nos comunicamos con Facebook con una serie de preguntas sobre el informe de Avaaz y también sobre cómo ha progresado su enfoque para vigilar el discurso de odio interétnico desde la crisis de Myanmar, incluida la solicitud de detalles sobre la cantidad de personas que emplea para monitorear el contenido en la región .
Facebook no proporcionó respuestas a nuestras preguntas específicas. Simplemente dice que tiene revisores de contenido que son asamés y que revisan el contenido en el idioma, así como revisores que tienen conocimiento de la mayoría de los idiomas oficiales en la India, incluidos assamese, hindi, tamil, telugu, kannada, punjabi, urdu, Bengalí y marathi.
En 2017 India superó a Estados Unidos como el país con la mayor "audiencia potencial" para los anuncios de Facebook, con 241 millones de usuarios activos, según las cifras que informan los anunciantes.
Facebook también nos envió esta declaración, atribuida a un portavoz:
Queremos que Facebook sea un lugar seguro para que todas las personas se conecten y se expresen, y buscamos proteger los derechos de las minorías y las comunidades marginadas de todo el mundo, incluida la India. Tenemos reglas claras contra el discurso de odio, que definimos como ataques contra las personas sobre la base de cosas como la casta, la nacionalidad, el origen étnico y la religión, y que reflejan los comentarios que recibimos de los expertos en la India. Nos tomamos esto muy en serio y eliminamos el contenido que viola estas políticas tan pronto como nos damos cuenta. Para hacer esto, hemos invertido en revisores de contenido dedicados, que tienen experiencia en el idioma local y una comprensión de las tensiones históricas y sociales de larga data de la India. También hemos logrado un progreso significativo en la detección proactiva del discurso de odio en nuestros servicios, lo que nos ayuda a llegar a contenido potencialmente dañino más rápido.
Pero estas herramientas aún no son perfectas, y los informes de nuestra comunidad siguen siendo extremadamente importantes. Por eso estamos tan agradecidos con Avaaz por compartir sus hallazgos con nosotros. Hemos revisado cuidadosamente el contenido que han marcado y eliminado todo lo que viola nuestras políticas. Continuaremos trabajando para evitar la difusión del discurso de odio en nuestros servicios, tanto en India como en todo el mundo.
Facebook no nos dijo exactamente cuántas personas emplea para controlar el contenido de un estado indio con una población de más de 30 millones de personas.
A nivel mundial, la compañía sostiene que tiene alrededor de 35,000 personas trabajando en confianza y seguridad, de las cuales menos de la mitad (~ 15,000) son revisores de contenido dedicados. Pero con una fuerza laboral tan pequeña de revisores de contenido para una plataforma global con más de 2.2 billones de usuarios que publican día y noche en todo el mundo, no hay forma plausible de mantenerse al tanto de su problema de discurso de odio.
Ciertamente, no en todos los mercados en los que opera. Es por eso que Facebook se apoya tanto en la inteligencia artificial, reduciendo el costo para su negocio pero acumulando riesgos relacionados con el contenido en todos los demás.
Facebook afirma que sus herramientas automatizadas para detectar el discurso de odio han mejorado, diciendo que en el primer trimestre de este año aumentó la tasa de detección proactiva para el discurso de odio al 65.4%, un aumento desde 58.8% en el cuarto trimestre de 2017 y 38% en el segundo trimestre de 2017.
Sin embargo, también dice que solo eliminó 4 millones de piezas de discurso de odio a nivel mundial en el primer trimestre. Lo que suena increíblemente pequeño en comparación con el tamaño de la plataforma de Facebook y el volumen de contenido que generarán diariamente millones y millones de usuarios activos.
Wsin herramientas para que los investigadores independientes consulten la sustancia y la difusión del contenido en la plataforma de Facebook iSimplemente no es posible saber cuántos discursos de odio no se detectan. Pero, para ser claros, esta empresa no regulada todavía puede marcar su propia tarea.
En solo un ejemplo de cómo Facebook puede reducir la percepción del volumen de contenido problemático que está cercando, de las 213 piezas de contenido relacionadas con Assam y el NCR que Avaaz consideró como discurso de odio e informó a Facebook que eliminó menos de la mitad ( 96).
Sin embargo, Facebook también nos dijo que elimina todo el contenido que viola los estándares de su comunidad, sugiriendo que está aplicando una definición mucho más diluida de discurso de odio que Avaaz. No es sorprendente para una empresa estadounidense cuyo incipiente crisis de relaciones públicas junta de revisiónEl estatuto incluye la frase "la libre expresión es primordial". Pero para una compañía que también dice querer evitar conflictos y construir la paz, es, por decir lo menos, conflictiva.
Tal como están las cosas, Facebook se autoinforma las métricas de rendimiento del discurso de odio no tienen sentido. Es imposible para cualquier persona ajena a la empresa cuantificar o comparar los datos de la plataforma. Porque nadie, excepto Facebook, tiene la imagen completa, y no está abriendo su plataforma para la auditoría étnica. A pesar de que los impactos de las cosas dañinas y odiosas que se propagan en Facebook continúan desangrándose y dañando vidas en todo el mundo.