Amazon, el aprendizaje y la máquina prejuiciosa

Joaquín Mª Aguirre (UCM)

Muchas veces usamos los términos "aprendizaje" o "educación" como unas panaceas. Son las palabras mágicas que permiten resolver problemas sociales, que son planteados como carencias que serán compensadas con la educación. Esto es a todas luces incorrecto ya que se trata de transferencias de información en una dirección determinada. La educación o el aprendizaje no son buenos por sí mismo ya que dependen del objetivo que se pretenda transformas y, especialmente, de la naturaleza del cambio.

Esto se vio —y se sigue viendo— en los orígenes de la pedagogía moderna en donde no solo se debatía cómo enseñar, sino una cuestión política: qué aprender. La educación, por sí misma, no es una panacea. Depende absolutamente de aquello que se enseña, ya que se forma, en un sentido u otro, a las personas que reciben esa educación. Por eso es una inmensa responsabilidad que implica una serie de decisiones.

Esta cuestión se hace evidente cuando la educación está en manos de dogmáticos, en manos de aquellos que usan la tecnología educativa para fines de adoctrinamiento en un determinado sentido. Esto se planteaba con toda claridad en los escritos, por ejemplo, de Bertrand Russell sobre la educación en donde se habla de que el sentido de la educación es dar autonomía a las personas y no hacerlas dependientes.

¿Podemos librarnos de nuestros sesgos, de los conscientes y de los que no lo son, en nuestro aprendizaje o en nuestras tomas de decisiones? La pregunta es pertinente en muchos planos y desde hace décadas se empezó a tomar en consideración la posibilidad de que las máquinas fueran más "justas", "ecuánimes" o "precisas" en la toma de decisiones. En su obra "Deshaciendo errores", Michael Lewis nos da cuenta del proceso de descubrimiento de los errores humanos, de las contradicciones constantes entre expertos, cuando tenían que ofrecer diagnósticos o tomar decisiones. En una entrevista realizada por Daniel Mediavilla al autor, este se refería a conmoción causada por la pérdida de credibilidad de los expertos en muchos campos, de la economía a la medicina:  «El inicio de ese movimiento encuentra parte de sus motivaciones en las explicaciones de [Daniel] Kahneman y [Amos] Tversky sobre por qué los expertos se equivocan habitualmente y por qué cometen errores sistemáticos. Su mayor influencia fue poner en duda el juicio de los expertos.»* Pero un movimiento en un sentido produce uno en sentido contrario: pasemos las decisiones a las máquinas.

Las máquinas, combinadas con la Inteligencia Artificial y el aprendizaje profundo, parecía ser la solución a las tomas de decisión más eficaces. Los avances en la IA y, sobre todo, el hecho de que las máquinas pudieran aprender de sus propias interacciones evaluando los resultados, parece ser muy prometedora para poder evitar el problema de los expertos, en los que se ha reducido la confianza. En muchos campos, la subjetividad del experto se camufla tras los lenguajes crípticos o la astucia argumentativa para encubrir un núcleo vacío o una intuición sin justificación. Lo que Lewis llama "movimiento" de recelo hacia los expertos, necesariamente iba en otra dirección, las máquinas.

Pero esto plantea sus propios problemas en los que tiene que ver el aprendizaje. El diario El Mundo titula "Amazon construyó una inteligencia artificial para contratar empleados que discriminaba a las mujeres"** Lo primero que hay que resaltar es lo inductor al error del propio titular, que entra en clara contradicción con lo que sigue a continuación. Amazon no construyó la máquina "para" discriminar a las mujeres, sino justo para lo contrario. El titular de Reuters de donde se ha tomado la noticia es más cuidadoso: "Amazon scraps secret AI recruiting tool that showed bias against women" (10/10/2018).

En el primer párrafo se explica claramente:

En 2014 Amazon decidió poner gran parte del peso en sus procesos de contratación de personal y recursos humanos en manos de inteligencias artificiales desarrolladas en el seno de la compañía para optimizar los esfuerzos en materia de captación de talento y encontrar el candidato ideal para cada puesto. La filosofía tras este proyecto era sencilla: emplear los mismos procesos de automatización que habían llevado a la compañía hasta la cima del ecommerce mundial para seleccionar a sus empleados. Sin embargo, descubrieron que esta inteligencia artificial discriminaba sistemáticamente a las mujeres.**

Habría que crear también una máquina para poder titular los artículos al margen de los prejuicios o el sensacionalismo de los expertos en titulación. Como mucha gente  no pasa del titular, habrá unos cuantos cientos de miles de lectores que ya dan por hecho el "machismo" discriminador de la compañía, y unos cuantos miles de bienintencionados retuitadores harán el resto. La tormenta informativa perfecta: un mal titular y unos cuantos activistas justicieros que no pasan de ahí porque con el titular tiene bastante para confirmar sus propias verdades.

Se explica que la conclusión de Michael Lewis sea que no hay que fiarse de las "historias" que nos cuentan, sino someterlas a revisión constante para evitar ser inducidos a error. Justo lo que ocurre con la noticia del diario El Mundo, nos lleva al error de forma directa y nosotros lo blindamos con nuestras expectativas. Escribe Lewis:

Yo cuento historias. El efecto de su trabajo [de Daniel Kahneman y Amos Tversky] en mí ha sido hacerme más escéptico de lo que soy sobre las historias. Eso no significa que las historias siempre sean falsas. Significa que tienes que estar siempre alerta sobre las formas en que pueden ser falsas y cómo tu mente te está empujando a hilar una serie de datos para convertirlos en una narrativa coherente, posiblemente a costa de la verdad. Todavía puede haber historias verdaderas, pero tienes que ser consciente de cuántas historias falsas pueden sonar bien. Hay que estar alerta ante las historias simples y fáciles, por ejemplo en política, porque con frecuencia son falsas.*

Como podemos ver, los hechos dan la razón a Lewis y a los que consideran que navegamos continuamente en océanos de confusión, de malos entendidos y prejuicios, de medias verdades y falsedades completas, en los que debemos buscar las luces de los faros lejanos que nos puedan orientar un poco. La otra opción, la mayoritaria, es darse un rebozado diario en aquello que nos gusta escuchar, es decir, limitar nuestra exposición a los medios a aquellos que nos dicen lo que queremos escuchar. Los políticos y vendedores de cualquier cosa han tomado buena nota.

Pero volvamos a las máquinas de Amazon y la fuente de su error, que es lo que nos lleva al principio del texto, al aprendizaje y a los prejuicios. También las máquinas necesitan aprender... y lo hacen de nosotros:

Imitando el sistema de valoración de productos en su web, la inteligencia artificial de Amazon valoraba a los candidatos con una puntuación entre una y cinco estrellas. "Era como el Santo Grial, todo el mundo lo quería", admite uno de los empleados a Amazon en declaraciones a Reuters. "Querían que fuera un sistema en el que introducías 100 currículums para que seleccionase los cinco mejores, que serían los que acabarían contratados", asegura.

Sin embargo, un año después de poner en marcha el proyecto, sus desarrolladores descubrieron que el programa discriminaba sistemáticamente a las mujeres y prefería contratar a los hombres, especialmente en trabajos con un perfil técnico o para el desarrollo de software.

La razón tras esta discriminación parecía ser que la inteligencia artificial estaba entrenada con los perfiles de antiguos candidatos que habían intentado trabajar en la empresa durante los últimos 10 años, que mostraban un dominio masculino dentro del sector. La inteligencia artificial de Amazon aprendió así que los hombres eran mejores candidatos que las mujeres y penalizaba los currículums que contenían palabras como "mujeres" o "capitán del club de mujeres". Asimismo, penalizaba a las candidatas que habían estudiado en facultades exclusivamente femeninas.**

Lo que la máquina aprendía era a ejecutar de forma precisa los prejuicios anteriores, ya que eso era lo que reflejaban las selecciones previas. Al igual que puede ocurrir (y ocurre) la máquina de aprender usaba como modelo lo que se quería evitar, pero ¿había otro? Puede que haya quienes puedan diseñar otro sistema, pero ¿significa esto que está exento de problemas de este tipo? Evidentemente no. Si suministramos a las máquinas nuestra historia, reproducirán nuestros errores. Si somos capaces de crear un sistema justo que enseñar a las máquinas ya no las necesitaríamos.

La historia es real, pero tiene mucho de fábula moral moderna. Nos explica que no podemos dejar de ser nosotros mismos y que si queremos que el sistema mejore, debemos tratar de mejorar nosotros mismo, algo que no siempre estamos dispuestos a hacer. También enseña que si usamos máquinas, estas habrán aprendido de nosotros. Eso tiene consecuencias importantes.

Se cierra la noticia con lo siguiente:

Cuando los ingenieros se dieron cuenta de esta tendencia, volvieron a configurar la lógica de la inteligencia artificial para que no tuviese en cuenta esos términos. Sin embargo, no existía ningún tipo de garantía de que el algoritmo no fuese a encontrar otras formas de discriminar a los candidatos por razones de género.

Finalmente, el equipo a cargo de este proyecto fue desmantelado. Sin embargo, los encargados de la selección de personal continuaron empleando la herramienta, aunque solo como un apoyo y teniendo en cuenta otras consideraciones más allá de la clasificación empleada en la inteligencia artificial.**

¿Un fracaso? Sí y no. Nunca es un fracaso cuando aprendemos que nos equivocamos y que el error se puede reproducir de múltiples formas, incluido a través de las máquinas. Lo que nos enseña realmente es que la responsabilidad de ser mejores, más justos, etc. implica corregirnos. Hay errores que viene de fuera, pero hay errores que se consideraban "aciertos" no hace mucho tiempo o que tampoco hay unanimidad social. Los "errores" de la máquina de Amazon antes se presentaban como "aciertos", pues eran valoraciones de una sociedad machista. Darse cuenta de ello es tener ya una parte de la mente fuera, consciente de lo negativo de esos criterios y valores.

El lenguaje mismo, que siempre es valorativo, de los curriculos analizados por las máquinas era ya en sí cercano a valores masculinos, lo que favorecía a los candidatos frente a las candidatas. Y no podía ser de otra forma ya que era una sociedad machista quien los había producido. Se aprende de lo que hay y lo que hay era machismo.

La corrección, nos dicen, no asegura que los nuevos criterios no lo sean de nuevo. Esto nos enseña también algo importante: no hay nada definitivo y los seres humanos debemos acostumbrarnos a dejar de pensar en términos absolutos y eternos (esencialistas) para asumir humildemente que cambiamos en el tiempo, aunque siempre nos parezca que estamos en posesión de la verdad como un dogma. Debemos aprende a vivir humildemente con nuestras limitaciones epistémicas, en un esfuerzo constante de autocrítica para evitar que los errores se conviertan en "verdades" que nos encierren. Hay que avanzar deshaciéndonos de peso inútil, pero para eso hay que tener la voluntad de hacerlo.

Como "moraleja" final de la fábula de la máquina de seleccionar personal está la idea de que tras cualquier máquina, escondidos como el Mago de Oz, estamos nosotros. Que podemos fingir que no somos nosotros, pero al final siempre esta el espejo que nos devuelve nuestro rostro. Nosotros somos el principio y el final; nosotros somos el límite. Nuestra es la voz que las montañas nos devuelven como eco.

Por esto, los aprendizajes —incluidos los de las máquinas— deben ser procesos críticos y que enseñen a serlo. Es decir, a distanciarnos de nosotros mismos para poder alejarnos de nuestros errores más claros y no convertirlos en norma.

* Entrevista Michael Lewis "“Los expertos se equivocan sistemáticamente” El País 29/04/2017 https://elpais.com/elpais/2017/04/26/ciencia/1493223398_048373.html

** "Amazon construyó una inteligencia artificial para contratar empleados que discriminaba a las mujeres" El Mundo 11/10/2018 http://www.elmundo.es/tecnologia/2018/10/11/5bbe3a12e5fdea0f578b467e.html