Joaquín
Mª Aguirre (UCM)
La
entrevista con la doctora en Matemáticas por la Universidad de Harvard y autora
del libro "Armas de destrucción matemática", Cathy O'Neil, pone en
evidencia varios aspectos, entre ellos que los informadores todavía tienen que
distinguir entre el dedo y la luna. La eficacia de los mensajes queda atenuada
si no se determinan con claridad por parte de los mediadores cuál es su
sentido. Entre el absurdo “Las matemáticas agravan muchos de los problemas del
mundo” que se luce en la página principal del diario digital y el que nos
encontramos en el interior, “Los privilegiados son analizados por personas; las
masas, por máquinas” es enorme, pues el primero ha salido de la chistera mágica
de la incomprensión, mientras que el segundo directamente de las palabras de la
entrevistada, que sabe de lo que habla. Pese a ello, a las palabras de O'Neil se
les crea un contexto interpretativo al ir seguida de un segundo intento de
responsabilizar a los procesos y no a las personas: "La doctora en
Matemáticas por la Universidad de Harvard lucha para concienciar sobre cómo el
'big data' "aumenta" la desigualdad". En realidad, lo que hace
O'Neil es responsabilizar a aquellos que crean unas condiciones selectivas en
un sentido u otro. Por usar un símil, sería como encerrar en las cárceles a las
pistolas y no a quienes las disparan.
El
problema se repite cuando se trata de procesos nuevos o al menos
"nuevos" para quien tiene que contarlos a los demás. Es ese
conocimiento el que permite dirigir las preguntas adecuadas a las personas que
pueden responderlas y de seguir el hilo de la argumentación que lleve a otras
nuevas; es el que permite aclarar a los lectores, haciendo que queden bien
informados, los aspectos más complejos de lo desarrollado.
No son
en sí las matemáticas las responsables, como señala O'Neil, sino los
"algoritmos", pero entendidos como una concreción que refleja un
punto de vista humano, un interés, que es el cuestionable y el que busca
ampararse en el disfraz de la precisión matemática. La Matemática se convierte
así en un "ficción" que aparenta ser una "verdad
indiscutible", algo incuestionable, cuando resulta ser "humana,
demasiado humana". Hemos pasado de convertir los discursos dogmáticos en "verdades"
que mandan a la gente a la hoguera o al paredón a usar los discursos
matemáticos como formas de mandar al paro. Si los primeros se amparaban en la
autoridad divina o imperial, los actuales tratan de fundamentarse en la
"autoridad" de las Matemáticas, pero siempre está el ser humano escondido
detrás de la cortina, como el Mago de Oz. Por eso Cathy O'Neil distingue entre
las Matemáticas y los algoritmos, que son los "usos" para
determinados "fines" de la matemáticas.
A lo
largo de la entrevista se resalta, sobre todo, el uso de los algoritmos como
excusa para tapar lo que son decisiones humanas ya sean consciente o el reflejo
de prejuicios inconscientes que se acaban trasladando a los procedimientos que
los algoritmos realizan. Un algoritmo es una secuencia ordenada de decisiones
que se van tomando conforme a unas entradas determinadas de datos. Qué se tome
en cuenta lo decide alguien. Si decido que se tenga en cuenta el color de la
piel, será "racista". La cuestión es que el "color de la piel",
a su vez se puede reflejar a través de muchos datos que indirectamente nos
lleven al mismo resultado selectivo, por lo que el algoritmo parecerá
"objetivo". Hemos hablado de estas cuestiones cuando comentamos el
caso del algoritmo de selección de personal desarrollado para Amazon, que resultó
"sexista" porque los datos de los que había "aprendido"
partían ya de una realidad sexista que era lo que se trataba de evitar. Amazon
dio de baja su algoritmo. Pensaban que automatizando el proceso de selección de
personal este quedaría libre de prejuicios y lo ocurrido fue precisamente lo
contrario, lo reflejaba.
Es de
lo que se queja Cathy O'Neil, no de las matemáticas. Hay un momento en el que la
mesurada O'Neil pierde algo de su paciencia ante una pregunta:
P. ¿Cree que falta
más formación en matemáticas para ser conscientes de esa manipulación?
R. Eso es ridículo. La gente
tiene que entender que es un problema de control político. Hay que ignorar la
parte matemática y exigir derechos. No necesitas formación matemática para
comprender qué es injusto. Un algoritmo es el resultado de un proceso de toma
de decisiones. Si te despiden porque así lo ha determinado un algoritmo, tienes
que exigir una explicación. Eso es lo que tiene que cambiar.*
No
puede estar más claro. Pero parece que no es fácil que la gente entienda que
las matemáticas son un lenguaje, una herramienta y que la culpa no es de la
gramática cuando alguien te insulta, por ejemplo. Es precisamente la creencia
en que son las Matemáticas las que deciden, lo que sirve como ocultación. No se
trata del algoritmo —que haya que entender de matemáticas— sino de lo que se
busca con ellos, de la injusticia que se esconde detrás. Y eso, como señala, lo
entiende todo el mundo. Si te despiden injustamente, da igual que lo haga un
empleado o una máquina.
Cuando cuestionas muchas decisiones que consideras equivocadas, la
contestación que recibes es que es "el protocolo". Este, como el
algoritmo, crea una barrera defensiva a la crítica y esconde que tanto uno como otro son el resultado de decisiones humanas y que, por lo tanto, no son
inmunes al error o a la injusticia.
"Algoritmo",
"protocolo" son formas de eludir responsabilidades y justificar la
aplicación y los resultados. No hace falta saber Matemáticas para entender, por
su resultado, que es injusto. Y si lo es, alguien debe dar explicaciones no
matemáticas sino del orden que sea, éticas, legales, etc. El algoritmo de
Amazon antes citado funcionaba perfectamente desde las Matemáticas, pero era
profundamente injusto en sus resultados.
La
crítica de Cathy O'Neil es perfectamente razonable y anima a no dejarse
amilanar ante la palabra "algoritmo", "matemáticas",
"eficiencia" o demás términos que sirven para camuflar las decisiones
automatizadas diluyendo la responsabilidad en la abstracción o en el tecnicismo
accesible solo al experto.
Cathy
O'Neil pone el acento en un punto importante, la incapacidad del algoritmo que
juzga de incluir todos los aspectos, limitándose a lo que puede ser
"procesado". Nos lleva de nuevo al problema de la
"datificación", es decir, de aquello que puede ser convertido en
"dato" y tratado por el algoritmo. Esto divide el mundo en dos
grandes apartados, la "tratable" y el resto, que al no poderse
convertir en dato es ignorada. Los autores tratan de encontrar los datos
suficientes como para poder obtener los resultados que esperan, lo que no
significa que la decisión sea la más justa, sino que es aquella que se puede
obtener por el procedimiento diseñado.
En una
de las preguntas se deja clara esta situación:
P. El uso de algoritmos
para la contratación se está extendiendo. ¿Cuáles son los perjuicios?
R. La automatización de los
procesos de selección está creciendo entre el 10% y el 15% al año. En Estados
Unidos, ya se utilizan con el 60% de los trabajadores potenciales. El 72% de
los currículums no son analizados por personas. Los algoritmos suelen castigar
a los pobres, mientras los ricos reciben un trato más personal. Por ejemplo, un
bufete de abogados de renombre o un exclusivo instituto privado se basarán más
en recomendaciones y entrevistas personales durante los procesos de selección
que una cadena de comida rápida. Los privilegiados son analizados por personas,
mientras que las masas, por máquinas.
Si quieres trabajar en un call center o de cajero, tienes que
pasar un test de personalidad. Para un puesto en Goldman Sachs tienes una
entrevista. Tu humanidad se tiene en cuenta para un buen trabajo. Para un
empleo de sueldo bajo, eres simplemente analizado y categorizado. Una máquina
te pone etiquetas.*
Y en
esas "etiquetas" es donde se concentran los prejuicios que se pueden
acabar recreando en la selección.
Esta
limitación de la decisión humana en favor de las decisiones automatizadas, las
plasmadas en los algoritmos para su aplicación, invaden cada vez más aspectos
de la vida pues tiene dos aspectos relevantes: son "baratas" y
parecen "objetivas". Esta combinación es irresistible en un mundo con
personas cada vez menos responsables. Esto tiene como efecto la sobrevaloración
de la decisión y como consecuencia la ampliación de la brecha salarial, ya que
la decisión arriesgada se deja en muy pocas manos. Las decisiones automatizadas,
en cambio, son baratas ya que los datos lo son cada vez más.
La
reciente sentencia de un juzgado español ante una demanda contra una universidad
porque un profesor había sido evaluado mediante los "datos" de las
publicaciones y no mediante la lectura de las obras que había producido es un
caso similar. Por un lado, se realiza una evaluación de su producción sin tener
que leerla, basándose en "indicadores" indirectos. Los tribunales
dijeron que si se evalúa el trabajo de una persona no valen estos indicadores
que evitan tener que tomar la decisión sobre lo que es más difícil de
argumentar, la mayor o menor calidad de su trabajo. Se evalúan en su lugar los
indicadores medibles, pero no la calidad, que es sustituida por ello. Esto que
es ya frecuente en las universidades está deformando la propia constitución del
profesorado en la medida en que es ya el resultado de los procesos de
selección, mientras que se eliminan a aquellos que no aparecen en esos
indicadores. Como los que están dentro del sistema son el resultado del proceso
de selección del propio sistema, el problema se agudiza pues el procedimiento
se vuelve incuestionable, ya que es el que ha llevado a la cima a aquellos que
lo manejan, que pasan a ser los primeros interesados en que se mantengan.
O'Neil
cuenta el siguiente caso:
P. En su libro
menciona un caso de una profesora en Estados Unidos a la que echaron por
decisión de un algoritmo. ¿Cree que se puede medir la calidad humana con un
sistema informático?
R. El distrito escolar de
Washington empezó a usar el sistema de puntuación Mathematica para identificar a los profesores menos productivos. Se
despidió a 205 docentes después de que ese modelo les considerara malos
profesores. Ahora mismo no podemos saber si un trabajador es eficiente con
datos. El dilema si es o no un buen profesor no se puede resolver con
tecnología, es un problema humano. Muchos de esos profesores no pudieron
reclamar porque el secretismo sobre cómo funciona el algoritmo les quita ese
derecho. Al esconder los detalles del
funcionamiento, resulta más difícil cuestionar la puntuación o protestar.*
Esto es
una realidad ya que las únicas reclamaciones que se pueden aceptar son las de
los errores de puntuación, es decir, los producidos al elaborar los datos, pero
no se cuestiona el sistema mismo, el algoritmo que funciona. De hecho, la
creación de sistemas de "acreditación" aseguran que solo podrán
acceder a las plazas aquellos que han cumplido y, por tanto, aceptado el
sistema. La única salida es quedarse fuera o que te echen, como les pasó a esos
205 profesores que no sabemos si eran "malos" o simplemente seguían
otros criterios —puede que hasta mejores— para realizar su trabajo.
Sencillamente no hay dónde poner lo que ella hace, que es el primer factor de
discriminación o reducción de un algoritmo, que siempre es por definición,
finito y concreto, a diferencia de la decisión humana, que puede estar abierta
a lo nuevo o lo diferente y valorarlo. La máquina no sabe qué hacer con lo
"nuevo", que para ella es inexistente pues no está definido en su
proceso; no existe para ella.
El
problema se agrava cuando estos procesos se van extendiendo a muchos campos de
la vida y el trabajo. Nos cercan con este tipo de limitaciones oscuras que,
como señala O'Neil, se convierten en incuestionables porque no las entienden ni
los mismos que las manejan, por lo que se tiende a sacralizar sus procesos
considerándolos inevitables o infalibles. Nada más lejos de la
realidad.
El
poseer más datos sobre el comportamiento general está modificando, además, las
propias condiciones del trabajo, haciendo retroceder los derechos de las
personas. Un derecho solo vale en la medida en que es reconocido por los demás.
Si pierdes derechos tu vida cambia y se transforma por los nuevos límites o
posibilidades. Esto es esencialmente cierto en una sociedades que llevamos casi
tres siglos haciendo girar sobre la producción y el trabajo.
La
entrevista se cierra con esta cuestión laboral:
P. ¿En qué otros
aspectos están perjudicando los algoritmos los derechos laborales?
R. Hay un fenómeno que se conoce
como clopenning (en español, cerrar y
abrir al mismo tiempo). Son horarios irregulares que, cada vez, afectan a más empleados
con salarios bajos. Esos calendarios son el resultado de la economía de los
datos, son algoritmos diseñados para generar eficiencia, que tratan a los
trabajadores como meros engranajes. Según datos del Gobierno de Estados Unidos,
a dos tercios de los trabajadores del sector servicios y a más del 50% de los
dependientes se les informa de su horario laboral con una semana o menos de
antelación.
Esta es una de las situaciones extremas que
provoca el uso de algoritmos en el ámbito laboral. Hay una ley que estipula que
si trabajas al menos 35 horas a la semana, se te deben dar beneficios. Pues hay
un algoritmo que se asegura de que ningún empleado haga más de 34 horas. Como
no hay ninguna ley que determine que debes trabajar el mismo horario todos los días,
el algoritmo no se preocupa de tu vida, y te asigna las horas de trabajo en
función de las necesidades de la empresa. Si se prevé un día de lluvia,
aumentan las ventas, y cambian los turnos. Hasta el último minuto no deciden.
Esas personas no conocen su horario con antelación, no pueden organizar su
tiempo libre, estudiar o cuidar de sus hijos. Su calidad de vida se deteriora,
y los ordenadores son ciegos a eso. La regulación gubernamental es la única
solución.
De
nuevo, la culpa no es de las matemáticas o de los algoritmos. Hay que tener
cuidado con las operaciones retóricas porque nos alejan del problema y del
responsable último. Por eso, la solución no es matemática a este problema, sino
la regulación gubernamental, es decir, el hacer explícito el derecho de las
personas a tener una vida y no tener esta dependencia absoluta de quienes les
emplean. Los ordenadores son ciegos a esto porque no son humanos, pero los
humanos responsables se escudan tras los dictámenes del ordenador.
Los que
no deben estar ciegos (esto es más un deseo) son los gobiernos, responsables de
la vida y calidad de vida de sus ciudadanos. En este sentido, por ejemplo, se ha
establecido recientemente que el hecho
de que tengas un teléfono móvil o un correo electrónico accesible desde tu casa
no implica que trabajes los fines de semana o que tengas la obligación de estar
"disponible" en cualquier momento. La culpa no es del teléfono o del
correo electrónico sino de las normas de la propia empresa, que trata de
rentabilizar al máximo el sueldo de las personas deshaciendo la idea de
"jornada laboral" (que se prolonga) o del "lugar de
trabajo" (que se deslocaliza).
Aquí,
como bien se señala, entra la calidad del empleo. Solo las personas con empleos
más precarios y peor remunerados las que se ven sometidas a peores condiciones
de trabajo ante el miedo a perder el empleo. Alguien sacará los resultados de
su falta de eficiencia laboral desde
algún algoritmo y dirá que es prescindible, sustituyéndolo por alguien más
disponible.
La
crisis económica ha tenido muchos efectos. Como en toda situación de miedo,
hace que se rebaje la defensa de los derechos. También los gobiernos quedan en
manos de las empresas cuyas acciones son encaminadas a la reducción de costes y
al aumento de la rentabilidad. Los cargos superiores se blindan en sus
condiciones económicas y laborales mientras que se desmantelan los derechos
laborales de los más débiles, que pasan a ser prescindibles en cualquier
momento.
En esto
no tienen nada que ver la Matemáticas, solo que han dotado de una herramienta
poderosa para poder ejecutar estas y otras prácticas, que no dejan de ser
antisociales o injustas. El problema radica en la intención al usar estos
automatismos. Y es ahí donde se producen
los "desafíos" a la democracia, a nuestra propia calidad de vida, etc.
El uso
que hacemos de las cosas define nuestra intención. Hoy por hoy, existe un poder
tecnológico que puede ser usado para mejorar nuestras vidas o para devaluarlas.
El problema, una vez más, es la tensión entre los intereses que reducen los
derechos de la gente o su aspiración de vivir mejor. La tecnología de datos
afecta directamente al control social, permite la ingeniería, el diseño de las
reglas para dirigir en un sentido u otro. Todavía las administraciones no han
tomado conciencia de lo que esto supone para la vida de las personas, para sus
derechos y para el orden social, que pasa a ser conflictivo y tóxico. Si no se
ponen límites, el retroceso social se seguirá produciendo. El problema es que
esta mentalidad no es ya una cuestión de la empresas frente a los gobiernos,
sino que los gobiernos y administraciones han hecho suya aceptando estos
criterios surgidos de la datificación y del procesado de la información
resultante para la toma de decisiones. Es una herramienta, sí, pero puede ser
profundamente injusta y discriminadora, como se ha visto. Corremos el riesgo de
un nuevo dogmatismo que nos ate y que justifique cualquier acción amparándose en
los datos y en los algoritmos que los procesan.
Ya
ocurre en muchos ámbitos y sigue aumentando. Antes tu jefe te despedía a gritos; después le enseñaron a hacerlo entre sonrisas y te decía que "no era personal". Ahora te muestra un informe lleno de números y te dicen, "lo siento, es el algoritmo. Dice que sobras".
*
Entrevista Cathy O'Neil “Los privilegiados son analizados por personas; las
masas, por máquinas” El país 21/11/2018
https://elpais.com/elpais/2018/11/12/ciencia/1542018368_035000.html
