El algoritmo despedidor o detrás de la cortina

Joaquín Mª Aguirre (UCM)

La entrevista con la doctora en Matemáticas por la Universidad de Harvard y autora del libro "Armas de destrucción matemática", Cathy O'Neil, pone en evidencia varios aspectos, entre ellos que los informadores todavía tienen que distinguir entre el dedo y la luna. La eficacia de los mensajes queda atenuada si no se determinan con claridad por parte de los mediadores cuál es su sentido. Entre el absurdo “Las matemáticas agravan muchos de los problemas del mundo” que se luce en la página principal del diario digital y el que nos encontramos en el interior, “Los privilegiados son analizados por personas; las masas, por máquinas” es enorme, pues el primero ha salido de la chistera mágica de la incomprensión, mientras que el segundo directamente de las palabras de la entrevistada, que sabe de lo que habla. Pese a ello, a las palabras de O'Neil se les crea un contexto interpretativo al ir seguida de un segundo intento de responsabilizar a los procesos y no a las personas: "La doctora en Matemáticas por la Universidad de Harvard lucha para concienciar sobre cómo el 'big data' "aumenta" la desigualdad". En realidad, lo que hace O'Neil es responsabilizar a aquellos que crean unas condiciones selectivas en un sentido u otro. Por usar un símil, sería como encerrar en las cárceles a las pistolas y no a quienes las disparan.

El problema se repite cuando se trata de procesos nuevos o al menos "nuevos" para quien tiene que contarlos a los demás. Es ese conocimiento el que permite dirigir las preguntas adecuadas a las personas que pueden responderlas y de seguir el hilo de la argumentación que lleve a otras nuevas; es el que permite aclarar a los lectores, haciendo que queden bien informados, los aspectos más complejos de lo desarrollado.

No son en sí las matemáticas las responsables, como señala O'Neil, sino los "algoritmos", pero entendidos como una concreción que refleja un punto de vista humano, un interés, que es el cuestionable y el que busca ampararse en el disfraz de la precisión matemática. La Matemática se convierte así en un "ficción" que aparenta ser una "verdad indiscutible", algo incuestionable, cuando resulta ser "humana, demasiado humana". Hemos pasado de convertir los discursos dogmáticos en "verdades" que mandan a la gente a la hoguera o al paredón a usar los discursos matemáticos como formas de mandar al paro. Si los primeros se amparaban en la autoridad divina o imperial, los actuales tratan de fundamentarse en la "autoridad" de las Matemáticas, pero siempre está el ser humano escondido detrás de la cortina, como el Mago de Oz. Por eso Cathy O'Neil distingue entre las Matemáticas y los algoritmos, que son los "usos" para determinados "fines" de la matemáticas.

A lo largo de la entrevista se resalta, sobre todo, el uso de los algoritmos como excusa para tapar lo que son decisiones humanas ya sean consciente o el reflejo de prejuicios inconscientes que se acaban trasladando a los procedimientos que los algoritmos realizan. Un algoritmo es una secuencia ordenada de decisiones que se van tomando conforme a unas entradas determinadas de datos. Qué se tome en cuenta lo decide alguien. Si decido que se tenga en cuenta el color de la piel, será "racista". La cuestión es que el "color de la piel", a su vez se puede reflejar a través de muchos datos que indirectamente nos lleven al mismo resultado selectivo, por lo que el algoritmo parecerá "objetivo". Hemos hablado de estas cuestiones cuando comentamos el caso del algoritmo de selección de personal desarrollado para Amazon, que resultó "sexista" porque los datos de los que había "aprendido" partían ya de una realidad sexista que era lo que se trataba de evitar. Amazon dio de baja su algoritmo. Pensaban que automatizando el proceso de selección de personal este quedaría libre de prejuicios y lo ocurrido fue precisamente lo contrario, lo reflejaba.

Es de lo que se queja Cathy O'Neil, no de las matemáticas. Hay un momento en el que la mesurada O'Neil pierde algo de su paciencia ante una pregunta:

P. ¿Cree que falta más formación en matemáticas para ser conscientes de esa manipulación?

R. Eso es ridículo. La gente tiene que entender que es un problema de control político. Hay que ignorar la parte matemática y exigir derechos. No necesitas formación matemática para comprender qué es injusto. Un algoritmo es el resultado de un proceso de toma de decisiones. Si te despiden porque así lo ha determinado un algoritmo, tienes que exigir una explicación. Eso es lo que tiene que cambiar.*

No puede estar más claro. Pero parece que no es fácil que la gente entienda que las matemáticas son un lenguaje, una herramienta y que la culpa no es de la gramática cuando alguien te insulta, por ejemplo. Es precisamente la creencia en que son las Matemáticas las que deciden, lo que sirve como ocultación. No se trata del algoritmo —que haya que entender de matemáticas— sino de lo que se busca con ellos, de la injusticia que se esconde detrás. Y eso, como señala, lo entiende todo el mundo. Si te despiden injustamente, da igual que lo haga un empleado o una máquina.

Cuando cuestionas muchas decisiones que consideras equivocadas, la contestación que recibes es que es "el protocolo". Este, como el algoritmo, crea una barrera defensiva a la crítica y esconde que tanto uno como otro son el resultado de decisiones humanas y que, por lo tanto, no son inmunes al error o a la injusticia. 

"Algoritmo", "protocolo" son formas de eludir responsabilidades y justificar la aplicación y los resultados. No hace falta saber Matemáticas para entender, por su resultado, que es injusto. Y si lo es, alguien debe dar explicaciones no matemáticas sino del orden que sea, éticas, legales, etc. El algoritmo de Amazon antes citado funcionaba perfectamente desde las Matemáticas, pero era profundamente injusto en sus resultados.

La crítica de Cathy O'Neil es perfectamente razonable y anima a no dejarse amilanar ante la palabra "algoritmo", "matemáticas", "eficiencia" o demás términos que sirven para camuflar las decisiones automatizadas diluyendo la responsabilidad en la abstracción o en el tecnicismo accesible solo al experto.

Cathy O'Neil pone el acento en un punto importante, la incapacidad del algoritmo que juzga de incluir todos los aspectos, limitándose a lo que puede ser "procesado". Nos lleva de nuevo al problema de la "datificación", es decir, de aquello que puede ser convertido en "dato" y tratado por el algoritmo. Esto divide el mundo en dos grandes apartados, la "tratable" y el resto, que al no poderse convertir en dato es ignorada. Los autores tratan de encontrar los datos suficientes como para poder obtener los resultados que esperan, lo que no significa que la decisión sea la más justa, sino que es aquella que se puede obtener por el procedimiento diseñado.

En una de las preguntas se deja clara esta situación:

P. El uso de algoritmos para la contratación se está extendiendo. ¿Cuáles son los perjuicios?

R. La automatización de los procesos de selección está creciendo entre el 10% y el 15% al año. En Estados Unidos, ya se utilizan con el 60% de los trabajadores potenciales. El 72% de los currículums no son analizados por personas. Los algoritmos suelen castigar a los pobres, mientras los ricos reciben un trato más personal. Por ejemplo, un bufete de abogados de renombre o un exclusivo instituto privado se basarán más en recomendaciones y entrevistas personales durante los procesos de selección que una cadena de comida rápida. Los privilegiados son analizados por personas, mientras que las masas, por máquinas.

Si quieres trabajar en un call center o de cajero, tienes que pasar un test de personalidad. Para un puesto en Goldman Sachs tienes una entrevista. Tu humanidad se tiene en cuenta para un buen trabajo. Para un empleo de sueldo bajo, eres simplemente analizado y categorizado. Una máquina te pone etiquetas.*

Y en esas "etiquetas" es donde se concentran los prejuicios que se pueden acabar recreando en la selección.

Esta limitación de la decisión humana en favor de las decisiones automatizadas, las plasmadas en los algoritmos para su aplicación, invaden cada vez más aspectos de la vida pues tiene dos aspectos relevantes: son "baratas" y parecen "objetivas". Esta combinación es irresistible en un mundo con personas cada vez menos responsables. Esto tiene como efecto la sobrevaloración de la decisión y como consecuencia la ampliación de la brecha salarial, ya que la decisión arriesgada se deja en muy pocas manos. Las decisiones automatizadas, en cambio, son baratas ya que los datos lo son cada vez más.

La reciente sentencia de un juzgado español ante una demanda contra una universidad porque un profesor había sido evaluado mediante los "datos" de las publicaciones y no mediante la lectura de las obras que había producido es un caso similar. Por un lado, se realiza una evaluación de su producción sin tener que leerla, basándose en "indicadores" indirectos. Los tribunales dijeron que si se evalúa el trabajo de una persona no valen estos indicadores que evitan tener que tomar la decisión sobre lo que es más difícil de argumentar, la mayor o menor calidad de su trabajo. Se evalúan en su lugar los indicadores medibles, pero no la calidad, que es sustituida por ello. Esto que es ya frecuente en las universidades está deformando la propia constitución del profesorado en la medida en que es ya el resultado de los procesos de selección, mientras que se eliminan a aquellos que no aparecen en esos indicadores. Como los que están dentro del sistema son el resultado del proceso de selección del propio sistema, el problema se agudiza pues el procedimiento se vuelve incuestionable, ya que es el que ha llevado a la cima a aquellos que lo manejan, que pasan a ser los primeros interesados en que se mantengan.

O'Neil cuenta el siguiente caso:

P. En su libro menciona un caso de una profesora en Estados Unidos a la que echaron por decisión de un algoritmo. ¿Cree que se puede medir la calidad humana con un sistema informático?

R. El distrito escolar de Washington empezó a usar el sistema de puntuación Mathematica para identificar a los profesores menos productivos. Se despidió a 205 docentes después de que ese modelo les considerara malos profesores. Ahora mismo no podemos saber si un trabajador es eficiente con datos. El dilema si es o no un buen profesor no se puede resolver con tecnología, es un problema humano. Muchos de esos profesores no pudieron reclamar porque el secretismo sobre cómo funciona el algoritmo les quita ese derecho.  Al esconder los detalles del funcionamiento, resulta más difícil cuestionar la puntuación o protestar.*

Esto es una realidad ya que las únicas reclamaciones que se pueden aceptar son las de los errores de puntuación, es decir, los producidos al elaborar los datos, pero no se cuestiona el sistema mismo, el algoritmo que funciona. De hecho, la creación de sistemas de "acreditación" aseguran que solo podrán acceder a las plazas aquellos que han cumplido y, por tanto, aceptado el sistema. La única salida es quedarse fuera o que te echen, como les pasó a esos 205 profesores que no sabemos si eran "malos" o simplemente seguían otros criterios —puede que hasta mejores— para realizar su trabajo. Sencillamente no hay dónde poner lo que ella hace, que es el primer factor de discriminación o reducción de un algoritmo, que siempre es por definición, finito y concreto, a diferencia de la decisión humana, que puede estar abierta a lo nuevo o lo diferente y valorarlo. La máquina no sabe qué hacer con lo "nuevo", que para ella es inexistente pues no está definido en su proceso; no existe para ella.

El problema se agrava cuando estos procesos se van extendiendo a muchos campos de la vida y el trabajo. Nos cercan con este tipo de limitaciones oscuras que, como señala O'Neil, se convierten en incuestionables porque no las entienden ni los mismos que las manejan, por lo que se tiende a sacralizar sus procesos considerándolos inevitables o infalibles. Nada más lejos de la realidad.

El poseer más datos sobre el comportamiento general está modificando, además, las propias condiciones del trabajo, haciendo retroceder los derechos de las personas. Un derecho solo vale en la medida en que es reconocido por los demás. Si pierdes derechos tu vida cambia y se transforma por los nuevos límites o posibilidades. Esto es esencialmente cierto en una sociedades que llevamos casi tres siglos haciendo girar sobre la producción y el trabajo.

La entrevista se cierra con esta cuestión laboral:

P. ¿En qué otros aspectos están perjudicando los algoritmos los derechos laborales?

R. Hay un fenómeno que se conoce como clopenning (en español, cerrar y abrir al mismo tiempo). Son horarios irregulares que, cada vez, afectan a más empleados con salarios bajos. Esos calendarios son el resultado de la economía de los datos, son algoritmos diseñados para generar eficiencia, que tratan a los trabajadores como meros engranajes. Según datos del Gobierno de Estados Unidos, a dos tercios de los trabajadores del sector servicios y a más del 50% de los dependientes se les informa de su horario laboral con una semana o menos de antelación.

Esta es una de las situaciones extremas que provoca el uso de algoritmos en el ámbito laboral. Hay una ley que estipula que si trabajas al menos 35 horas a la semana, se te deben dar beneficios. Pues hay un algoritmo que se asegura de que ningún empleado haga más de 34 horas. Como no hay ninguna ley que determine que debes trabajar el mismo horario todos los días, el algoritmo no se preocupa de tu vida, y te asigna las horas de trabajo en función de las necesidades de la empresa. Si se prevé un día de lluvia, aumentan las ventas, y cambian los turnos. Hasta el último minuto no deciden. Esas personas no conocen su horario con antelación, no pueden organizar su tiempo libre, estudiar o cuidar de sus hijos. Su calidad de vida se deteriora, y los ordenadores son ciegos a eso. La regulación gubernamental es la única solución.

De nuevo, la culpa no es de las matemáticas o de los algoritmos. Hay que tener cuidado con las operaciones retóricas porque nos alejan del problema y del responsable último. Por eso, la solución no es matemática a este problema, sino la regulación gubernamental, es decir, el hacer explícito el derecho de las personas a tener una vida y no tener esta dependencia absoluta de quienes les emplean. Los ordenadores son ciegos a esto porque no son humanos, pero los humanos responsables se escudan tras los dictámenes del ordenador.

Los que no deben estar ciegos (esto es más un deseo) son los gobiernos, responsables de la vida y calidad de vida de sus ciudadanos. En este sentido, por ejemplo, se ha establecido  recientemente que el hecho de que tengas un teléfono móvil o un correo electrónico accesible desde tu casa no implica que trabajes los fines de semana o que tengas la obligación de estar "disponible" en cualquier momento. La culpa no es del teléfono o del correo electrónico sino de las normas de la propia empresa, que trata de rentabilizar al máximo el sueldo de las personas deshaciendo la idea de "jornada laboral" (que se prolonga) o del "lugar de trabajo" (que se deslocaliza).

Aquí, como bien se señala, entra la calidad del empleo. Solo las personas con empleos más precarios y peor remunerados las que se ven sometidas a peores condiciones de trabajo ante el miedo a perder el empleo. Alguien sacará los resultados de su falta de eficiencia laboral desde algún algoritmo y dirá que es prescindible, sustituyéndolo por alguien más disponible.

La crisis económica ha tenido muchos efectos. Como en toda situación de miedo, hace que se rebaje la defensa de los derechos. También los gobiernos quedan en manos de las empresas cuyas acciones son encaminadas a la reducción de costes y al aumento de la rentabilidad. Los cargos superiores se blindan en sus condiciones económicas y laborales mientras que se desmantelan los derechos laborales de los más débiles, que pasan a ser prescindibles en cualquier momento.

En esto no tienen nada que ver la Matemáticas, solo que han dotado de una herramienta poderosa para poder ejecutar estas y otras prácticas, que no dejan de ser antisociales o injustas. El problema radica en la intención al usar estos automatismos.  Y es ahí donde se producen los "desafíos" a la democracia, a nuestra propia calidad de vida, etc.

El uso que hacemos de las cosas define nuestra intención. Hoy por hoy, existe un poder tecnológico que puede ser usado para mejorar nuestras vidas o para devaluarlas. El problema, una vez más, es la tensión entre los intereses que reducen los derechos de la gente o su aspiración de vivir mejor. La tecnología de datos afecta directamente al control social, permite la ingeniería, el diseño de las reglas para dirigir en un sentido u otro. Todavía las administraciones no han tomado conciencia de lo que esto supone para la vida de las personas, para sus derechos y para el orden social, que pasa a ser conflictivo y tóxico. Si no se ponen límites, el retroceso social se seguirá produciendo. El problema es que esta mentalidad no es ya una cuestión de la empresas frente a los gobiernos, sino que los gobiernos y administraciones han hecho suya aceptando estos criterios surgidos de la datificación y del procesado de la información resultante para la toma de decisiones. Es una herramienta, sí, pero puede ser profundamente injusta y discriminadora, como se ha visto. Corremos el riesgo de un nuevo dogmatismo que nos ate y que justifique cualquier acción amparándose en los datos y en los algoritmos que los procesan.

Ya ocurre en muchos ámbitos y sigue aumentando. Antes tu jefe te despedía a gritos; después le enseñaron a hacerlo entre sonrisas y te decía que "no era personal". Ahora te muestra un informe lleno de números y te dicen, "lo siento, es el algoritmo. Dice que sobras". 

* Entrevista Cathy O'Neil “Los privilegiados son analizados por personas; las masas, por máquinas” El país 21/11/2018 https://elpais.com/elpais/2018/11/12/ciencia/1542018368_035000.html