La IA y los mensajes de odio

 Joaquín Mª Aguirre (UCM)

Si ya es complicado definir el "odio" a otra persona, lo es más explicárselo a una máquina. Todavía más si esta máquina tiene que decidir sobre si debe censurar, eliminar, etc. mensajes. Mi experiencia de hace unos días, compartida con otros compañeros y lectores que dicen haber pasado por lo mismo, en F B (lo escribo de esta manera para evitar posibles malas interpretaciones), donde no solo censuró textos sino enlaces de forma absurda. Si la censura era absurda, la máquina (siguiendo a los humanos que la programaron) daba explicaciones —casi condenas judiciales— atribuyendo intenciones más absurdas todavía. Es decir, lo que se ha creado no es una máquina inteligente, sino un programa lleno de prejuicios que, como todos sabemos, es la ausencia de inteligencia.

RTVE.es nos trae un interesante reportaje titulado "Día Mundial del Refugiado: una inteligencia artificial para detectar el discurso de odio en redes", firmado por Blanca Bayo, Paula Peña y la sección VerificaRTVE, en el que se analizan precisamente los pros y contras de este uso de la IA para tratar de controlar una realidad, el crecimiento de los discursos de odio en todo el mundo en un espacio ya planetario, con una política comunicativa sin fronteras.

En el inicio del texto se nos explica el origen y la intención:

El Alto Comisionado de Naciones Unidas para los Refugiados (ACNUR) ha desarrollado la plataforma HateFree, una aplicación basada en el uso de una inteligencia artificial para detectar el discurso de odio en redes sociales contra las personas refugiadas. El programa rastrea, clasifica y cataloga mensajes de redes sociales en 50 idiomas diferentes y cuando observa que hay una actividad de discurso de odio inusual genera una alerta a los voluntarios de la agencia de Naciones Unidas. La herramienta estará disponible en los próximos meses en España, donde ya ha analizado 3.500 mensajes publicados en X en el marco del entrenamiento de su inteligencia artificial.

HateFree, la herramienta de ACNUR para detectar el discurso de odio en línea 

ACNUR comienza a desarrollar en el año 2016 HateFree, una herramienta interna digital que surge ante la necesidad de "enfoques más eficientes y automatizados" para detectar el discurso de odio en redes sociales, según explican a VerificaRTVE Patricia Fabi, del equipo de la aplicación en la oficina de ACNUR en Nueva York (EE.UU.) y Gisella Lomax, asesora en Integridad de la Información de esta agencia de la ONU. Estas dos especialistas señalan que las plataformas digitales "han aumentado la escala y la rapidez con la que estas narrativas dañinas pueden propagarse", por lo que la "vigilancia manual" empleada hasta entonces en ACNUR para localizar los mensajes de odio era "insuficiente debido al número de conversaciones en línea que mencionan a los refugiados".

Fabi y Lomax explican que la herramienta "utiliza varios modelos de procesamiento del lenguaje natural que permiten diferenciar el discurso de odio del discurso normal, determinar el sentimiento en un texto y deducir los temas presentes en las conversaciones". Estos modelos de procesamiento de lenguaje natural utilizan "grandes modelos lingüísticos de código abierto, en concreto Llama3 (el modelo de lenguaje por inteligencia artificial de Meta, la matriz de Facebook, Instagram o WhatsApp)". Según nos cuentan las dos especialistas, ACNUR también utiliza "un enfoque humano para garantizar que el modelo no proporciona clasificaciones erróneas", ya que "la IA puede cometer errores". De ahí la importancia del trabajo de voluntarios como la investigadora y profesora de Periodismo en la UC3M Teresa Gil, quien destaca que "en cualquier idioma hay idiosincrasias del discurso que tienen que ser detectadas solamente en ese idioma y que no son traducibles, son muy diferentes de país a país, de región a región". *

Hacen bien en no abandonar la acción humana y no dejarlo solo a la "máquina" por la experiencia que tenemos de Meta o X, a la que nos hemos referido anteriormente. No sé si será simple sugestión, pero sentí que era la máquina la que "me odiaba" a mí. Cómo la máquina había llegado a creer que unos discursos "contra el odio" eran discursos de odio y por eso los censuraba eliminándolos es motivo de reflexión y, desde luego, de percepción de que queda mucho por mejorar en esto de la IA. No dudo que sea un gran avance, pero tampoco de que va a ser fuente muchos problemas, que los "haters" aprenderán rápidamente cómo evitar ser detectados mientras que los discursos sin odio alguno pueden ser interpretados mal y censurados. Por eso es esencial ese cuerpo de voluntarios que puedan verificar se trata de "odio" de la hipersensibilidad de la máquina, por decirlo así.

La cuestión no es sencilla por muchos motivos. Es indudable que el aumento de los mensajes se debe a dos factores, el crecimiento de las redes —lo que aumenta la cantidad de los mensajes— y la intensificación del odio. Los dos hechos interactúan creando un nuevo modelo político en el que la expansión del "populismo" es efecto y causa de estas nuevas posibilidades que ofrece el espacio comunicativo. La política en los sistemas democráticos se basa en la comunicación, algo que nos afecta / influye personal y socialmente en nuestro comportamiento, define nuestras posiciones y nos agrupa o separa en función de nuestras respuestas.

El "odio" se está revelando como un poderoso agrupador. Ya no se trata solo de ofrecernos elementos positivos de acción, sino que es más fácil, en una sociedad en crisis, encontrar "responsables" a los que acusar. Se trata de "odio", que sería la parte activa de las fobias sociales y personales. Podemos diferir en cómo actuar, pero podemos estar agrupados por la creencia en la responsabilidad de nuestras situaciones, es decir en quiénes son los "culpables". En sociedades que no logran la satisfacción porque aumentan las desigualdades, las crisis son más profundas, etc. es mucho más fácil señalar culpables a los que responsabilizar y dirigir el malestar convirtiéndolo en "odio" (acción) y el "mensajes de odio" (incitación a la acción).

El reportaje nos habla de máquinas entrenadas para un tipo especial del odio, el dirigido contra los refugiados: 

El trabajo de los voluntarios del proyecto en español empieza por "identificar el grupo del que hablan los mensajes de redes según las siguientes categorías: racial, étnico, religioso, si se refiere a un individuo por su identidad de género, orientación sexual, diversidad funcional o edad", señala esta investigadora y docente. En segundo lugar, los voluntarios han tenido que codificar "el sentimiento del mensaje, si era negativo, positivo o tenía un tono neutro". Gil indica que esta fase también se codificaba "si se le faltaba el respeto a los individuos sobre los que se hablaba, si había signos de humillación, deshumanización, atribuciones de violencia o referencias a genocidio". El objetivo final es determinar si estos mensajes encajaban dentro de la definición de discurso de odio de la ONU. Sobre este término, las especialistas de ACNUR Patricia Fabi y Gisella Lomax subrayan que el concepto engloba "cualquier tipo de comunicación oral, escrita o de comportamiento que ataque o utilice un lenguaje peyorativo o discriminatorio con referencia a los desplazados forzosos y apátridas". Gracias a la herramienta, en ACNUR se reciben "alertas" cuando los "modelos de IA detectan una actividad de odio inusual o superior a lo normal".* 

Podemos hablar de "especialización del odio", algo que tiene ventajas e inconveniente. Puede que a los partidarios de la inteligencia artificial (incluidos los intereses comerciales) les resulte sencillo parcelar el problema, como hemos visto, pero lo cierto es que este sistema de detección no va a su centro productor, a sus fuentes, por lo que no hará sino crecer y modificar sus estrategias. Si solo se usa la censura y no se va al origen, tendremos solo un parche.

Las estrategias del discurso de odio forman parte central de las estrategias políticas y será como tratar de ponerle puertas al campo. ¿Tiene, además, la agencia de la ONU la capacidad legal de quitar mensajes de las redes sociales? Las redes pueden desarrollar políticas censoras, ¿pero evitará esto que surjan otras redes que busquen más liberalidad? ¿No creó Donald Trump su propia red social cuando fue censurado por sus discursos de odio y falsedades? ¿Qué es lo que se define como "normal" o "actividad inusual" o "superior" en los discursos de odio, tal como se señala en el artículo?

En 20minutos se nos ofrecía ayer un ejemplo ocurrido en el ámbito de la Eurocopa de fútbol que se está celebrando. Su titular era "Serbia amenaza con abandonar la Eurocopa: pide sanciones para Albania y Croacia por los cánticos de "matad al serbio"":

Jovan Surbatovic, secretario general de la Asociación Serbia de Fútbol, amenazó este jueves con la retirada de su selección de la Eurocopa por los cánticos que se escucharon desde un sector de los aficionados del duelo que enfrentó a Croacia y a Albania y en los que coreaban "matar al serbio".

En declaraciones a la RTS, la emisora estatal serbia, Surbatovic pidió a la UEFA que se adopte una sanción "severa" contra las federaciones de las selecciones croata y albanesa o, en caso contrario, Serbia procederá a tomar medidas.

"Lo ocurrido es escandaloso y pediremos sanciones a la UEFA, aunque eso signifique no continuar en la competición. Exigiremos a la UEFA que sancione a las federaciones de ambas selecciones. Si la UEFA no las castiga, pensaremos cómo procederemos", dijo Surbatovic.**

Claramente son "discursos de odio". Igualmente los tenemos en los campos con los cantos de tipo racista con los que los jugadores son insultados cada fin de semana al saltar al campo de juego de diversos deportes. La ACNUR dirá quizá que no es cosa suya pues no son "refugiados" sino profesionales bien pagados o que son los que pagan las relaciones conflictivas entre países.

Quiero decir con esto que podemos establecer reglas parciales, que estas se pueden mejorar, pero que el problema no es solo un "·mensaje de odio" sino una actitud de odio cada vez más generalizada que se multiplica en casos de todo tipo: género, étnicas, sociales (palizas a mendigos, por ejemplo) o mezcladas. El caso de la niña violada por sus compañeros en Francia por ser judía, que hemos tratado aquí hace un par de días, es otro caso de "odio" que todo lo "justifica" (género, religión).

El problema es tanto el aumento como la receptividad del odio, su conversión en habitual, en la forma de dar salida a las frustraciones sociales y a su manipulación política. Cualquier solución que ignore esto y se limite, con IA o sin IA, a censurar está condenada a ser burlada, a ser poco eficaz. La misma IA mandando millones de mensajes de odio compite con otra IA que los detecta.

Lo que hacen falta son voces de denuncia, que se explique el mal que esto acarrea; hay que afearle a los políticos que usen el motor del odio en sus discursos, como vemos cada día en la política nacional y ahora en la internacional. Hay que iniciar una didáctica del respeto, del diálogo, de la dignidad de todo ser humano y seguir llamando a las mentiras por su nombre, desmintiendo datos y frenando insinuaciones. En resumen, evidenciar el odio y sus discursos como lo que son, formas de atracción al servicio de muchas causas.

En el artículo se señala:

La voluntaria del proyecto HateFree en España Teresa Gil sostiene que "uno de los principales patrones" que ha detectado es el uso "de informaciones falsas o al menos sacadas de contexto". La investigadora destaca algunos ejemplos de las narrativas desinformativas que han encontrado en la red social X: "Era una constante la atribución de violencia" a los refugiados o las publicaciones que afirmaban que los "españoles carecen de ciertas prestaciones sociales que sí se les proporcionan" a las personas refugiadas. Gil recuerda que le llamó la atención una publicación falsa en la que hacían "un paralelismo entre los recién llegados a las Islas Canarias", de los que se decía "que tenían acceso a hoteles de cuatro o cinco estrellas, mientras que, por ejemplo, los damnificados por el volcán de La Palma no tenían acceso todavía a viviendas". Otra tendencia detectada por la voluntaria son los "mensajes que a menudo conllevan ataques políticos" en los que, según relata, "culpaban a las autoridades o a la política española de acomodar a los refugiados que venían solamente a violar a mujeres" y se les acusaba de "no buscar trabajo y de aumentar los índices de criminalización". Desde ACNUR, Patricia Fabi y Gisella Lomax relacionan esta narrativa con la multitud de procesos electorales que se están desarrollando en 2024 en varios países de acogida de refugiados. "Los refugiados son objeto de campañas de desinformación en todo el mundo, incluso como tema polarizador en las campañas electorales", aseguran. Esta publicación de 2023 de la ONG Amnistía Internacional pone de manifiesto algunas de las "frases racistas que indican odio" y que "perpetúan estereotipos dañinos y fomentan la división entre las personas".*

Ante esto, solo cabe esa pedagogía de la que hablaba. La denuncia, el apoyo a las instituciones —sociales, mediáticas, educativas...— comprometidas con los valores de la dignidad humana y de la verdad. Hay que cercar a la desinformación, a sabiendas que esto se puede hacer automáticamente, con las mismas máquinas.

La manipulación informativa tiene, entre otras funciones, la de generar odio hacia personas, instituciones, grupos, países. Es complicado en un escenario tan amplio y abierto, tan al alcance de la mano de gobiernos, de grupos de personas, evitar que se produzca o silenciarlo. Hay que actuar con mensajes positivos, rehumanizadores y dignos: hay que actuar críticamente sobre el odio.

Si el odio es malo, el odio contra los refugiados es repugnante por lo que implica cebarse en personas que han tenido que huir de sus país inmersos en procesos de violencia, destrucción y odio. Que se les utilice como justificación para agrupar con el odio es una situación que repugna. Más allá de la IA, de sus problemas conceptuales o técnicos, está la realidad del dolor, para la que no hay distinciones ni fronteras.

Ingenuamente, algunos titulan que la IA "acabaría los discursos de odio". No, no es eso. El discurso no es más que la visualización de algo más profundo, el odio mismo. No confundamos y actuemos.

* Blanca Bayo / Paula Peña / VerificaRTVE  "Día Mundial del Refugiado: una inteligencia artificial para detectar el discurso de odio en redes" RTVE.es /VerificaRTVE 20/06/2024 https://www.rtve.es/noticias/20240620/dia-mundial-refugiado-ia-para-detectar-discurso-odio-redes/16154319.shtml

** "Serbia amenaza con abandonar la Eurocopa: pide sanciones para Albania y Croacia por los cánticos de "matad al serbio"" 20minutos 20/06/2024 https://www.20minutos.es/deportes/noticia/5522953/0/serbia-amenaza-con-abandonar-pide-sanciones-para-albania-croacia-por-los-canticos-matad-serbio/

Casa Árabe