La decisión automática y la norma número 9

Joaquín Mª Aguirre (UCM)

Los seres humanos tenemos una carga que a veces nos resulta muy pesada: elegir, decidir, tomar decisiones. Referirnos a esta capacidad como una "carga" no implica una valoración negativa; sobre ella se basa nuestra libertad de elegir y nuestra responsabilidad por las decisiones que tomamos en el ejercicio de esa libertad. Cuando no tenemos la posibilidad de elegir, nuestra responsabilidad desaparece diluida en la fatalidad.

Nuevos problemas aparecen cuando transferimos nuestra responsabilidad de decidir a otros, que serán quienes tomen las decisiones. La implantación de mecanismos automatizados para la toma de decisiones transfiere la responsabilidad a las máquinas, que serán las que decidan por nosotros. Pero no excluye nuestra responsabilidad ya que las máquinas aprenden de nosotros lo que deben hacer.

Hace unos días hablábamos aquí del problema del algoritmo diseñado por la empresa Amazon para evitara favoritismos en la selección de personal. Al analizar los resultados, se dieron cuenta que lo que la máquina había aprendido realmente en su proceso de absorción de información eran los "prejuicios" sexistas y que sus elecciones eran "humanas" en el peor sentido de la palabra. El algoritmo fue jubilado porque solo era una automatización del prejuicio.

El diario El País nos trae otro caso —ya lleva tiempo dando que hablar— de lo que ocurre cuando hacemos que las máquinas aprendan de nosotros. Se trata esta vez de la toma de decisiones sobre "a quién atropellar" por parte de los previsiblemente masivos coches de conducción automática. Conducir no es solo ir de un punto a otro y elegir el camino más corto, sino que en el camino te puedes encontrar —como en la vida— imprevistos que debes resolver en fracciones de segundo.

En el experimento de la máquina moral, como la han llamado, han participado ya más de dos millones de personas de 233 países y territorios (aún se puede jugar). Con sus casi 40 millones de dilemas resueltos, se ha convertido en una especie de tratado sobre lo que los humanos creen que es más o menos correcto.

"Vimos que hay tres elementos que las personas tienden a aprobar más", dice el investigador del Media Lab del Instituto de Tecnología de Massachusetts (MIT) y principal autor del estudio, Edmond Awad. Primero, entre salvar a un humano o un animal, el coche siempre debería atropellar a la mascota. La norma, además, primaría salvar al mayor número de personas. Así que si el conductor va solo y va a atropellar a dos peatones, que se estampe contra el muro. La tercera decisión más universal es que la mayoría cree que si un vehículo autónomo tiene que decidir entre chocar contra un niño o contra un anciano, el viejo debe morir para que el joven tenga la oportunidad de envejecer.

Aparte de estas tres decisiones morales que son casi universales, la investigación, publicada en Nature, muestra una preferencia específica según el tipo de personaje: De los que cruzan el paso de cebra, los que merecen más la pena salvar son, por este orden, un bebé a bordo de un carrito, una niña, un niño y una mujer embarazada. En sentido contrario, y dejando a un lado las mascotas, los delincuentes, los ancianos y los sintecho son los humanos más sacrificables.*

Lo que el estudio detecta no es ni bueno ni malo, es lo que hay, el resultado de una consultas a unos cuantos millones de personas que han participado en ese videojuego y han tomado sus decisiones.

El problema se plantea cuando eso puede ser tomado como "programa" de una máquina y se traduce en unas instrucciones sobre cómo debe resolver las situaciones de atropello. La diversidad de las reacciones según los individuos no es la uniformidad de las máquinas. Es decir: lo que los investigadores han detectado son resultados diversos y han mostrado el reparto en la población. Por ejemplo, puede que un 25% de los encuestados considere que atropellar a los "sintecho", si se da el caso, es preferible a atropellar a una mujer embarazada. Eso permite que el "sintecho" pueda jugar con un 75% de posibilidades de no ser elegido para la colisión como forma preferente. Pero si transferimos a la máquina esa decisión para su evaluación estamos convirtiendo un 25/75 en un 100 absoluto. Además surgen preguntas combinadas: una embarazada sin techo es un "embarazada sin techo" o una "sintecho embarazada". La máquina no admite estas ambigüedades. 

¿Cómo detecta una máquina la categoría "sin techo", ha de evaluar ropas, higienes, olores...? Habría que introducir un "modelo" descriptivo de lo que es un "sintecho" que es más bien una evaluación estereotipada, que el jugador aplica desde sus preconcepciones o prejuicios morales (deben ser eliminados). ¿Ocurriría algo parecido a lo sucedido con los "perfiles" para detener inmigrantes en los Estados Unidos? ¿Ocurriría como con el adolescente muerto a tiros en Estados Unidos por ser negro y llevar capucha, que fue lo que le convirtió en víctima de un autoerigido en "vigilante" del barrio? Es el caso de Trayvon Martin, asesinado en Florida y que aquí recogimos, el caso que dio lugar al "movimiento de las capuchas", que fue un intento de luchar con estereotipos.

El peligro que se corre es el mismo de la inteligencia selectiva de personal de Amazon, que demos forma a nuestros estereotipos al convertirlos en "datos" para que la máquina decida a quién debe atropellar en caso de producirse un accidente. Esas decisiones se deben tomar mediante el análisis de los datos y los datos son evaluados conforme a los criterios que introducimos en las máquinas para que lo hagan.

Lo que los resultados del videojuego-encuesta han mostrado es que esas decisiones se toman desde prejuicios, es decir, desde ideas preconcebidas sobre los que significan las personas, su vestimenta, estado, edad, etc.

El estudio muestra algunas cuestiones muy interesantes en este sentido de las preconcepciones:

Gracias a la geolocalización, el estudio pudo determinar el origen de los participantes, detectando marcadas diferencias regionales. Así, aunque las ancianas son las menos salvadas de entre los humanos solo por detrás de los delincuentes, los asiáticos tienden a salvarlas más que los occidentales. En Europa y EE UU hay una predilección sutil pero significativa por las personas de complexión atlética sobre los obesos. En los países del sur, tienden a salvar más a las mujeres sobre los hombres. Y en las naciones más desiguales, un porcentaje mayor de los participantes prefirió salvar al peatón con aspecto de ejecutivo.*

¿Cómo transferir esto a la máquina? Si dejamos que "aprendan" ellas mismas de los resultados humanos, serán solo un compendio de nuestras evaluaciones, por prejuiciosas que estas sean. El valor que le concedemos a la imagen personal, cuerpo y vestimenta, por ejemplo, es revelador. Los occidentales valoramos mas la "juventud" y el buen estado físico, mientras que la tradición del respeto a los ancianos es mayor en Oriente. ¿Es caballerosidad salvar mujeres antes que a hombres? ¿Por qué se puede prescindir universalmente de las ancianas, porque ya no cumplen una función reproductiva o sexual y son desechables? El prejuicio se convierte en acción, el atropello. ¿Cómo se sabe que el que tenemos delante del coche es un "delincuente"? ¿Quién es un "delincuente" atropellable un violador, un estafador, un asesino, un defraudador, un usuario de tarjetas black, un plagiario de tesis? El "delincuente" del video juego lleva un antifaz y una bolsa con dinero en una mano. Es un delincuente de comic, un estereotipo que no vamos a encontrar en la vida cruzando un semáforo. Lo mismo ocurre con los "sintecho", con sus parches en el abrigo. La máquina refuerza nuestros estereotipos.

Los resultados de la geolocalización ¿significan que los coches deberían tener distintas reglas de decisión en cada parte del mundo en función de esos resultados? La finalidad de estos estudios no es la mera curiosidad. Los primeros interesados son las compañías de seguros que quieren asegurarse las espaladas tras las primeros atropellos o accidentes producidos por estos coches que son automáticos pero no son perfectos. Creemos que las máquinas son "perfectas", pero evidentemente no todo depende de ellas. Por muy inteligente que sea el coche no lo es el mundo que le rodea, lleno de imprevistos.

Pero el concepto de imprevisto no significa nada, no existe, para la inteligencia artificial del coche y para su toma de decisiones. Y por muchas vueltas que le demos, siempre se quedarán cosas que no podremos introducir en el sistema. El mundo es complejo e inagotable y los datos son muchos, sí, pero finitos. El mundo no es tampoco uniforme, es culturalmente distinto y no vemos las situaciones de la misma forma; es el resultado de esas cosmovisiones que definen las culturas o paradigmas. Es lo que Edgar Morin llamó el fondo supralógico sobre el que se construye la lógica de nuestras decisiones, que nos parece natural, pero no lo es tanto.

El diario señala:

El único país que ha propuesto ya una guía moral para los vehículos autónomos es Alemania. En el verano de 2017 y a instancias del Ministerio de Transportes, un grupo de ingenieros, profesores de filosofía, expertos en derecho, representantes de los fabricantes, los consumidores y hasta las iglesias elaboraron un código ético con 20 normas. La mayoría no chocan con los resultados de este estudio. Pero sí lo hace su ambición de ser universalmente válidas. Pero hay un choque frontal con la norma ética 9, que dice lo siguiente: "En el caso de situaciones donde el accidente sea inevitable, está estrictamente prohibida cualquier distinción basada en rasgos personales (edad, género, o constitución física o mental).

Uno de los autores de este código es el profesor de Filosofía de la Universidad Técnica de Múnich Christoph Lütge. Para él, la igualdad debería mantenerse. "Tanto por razones legales como éticas, la programación no puede tratar de forma diferente a las personas con rasgos personales distintos. Sé que hay quienes dicen que hay experimentos que muestran que instintivamente favoreceríamos al niño. Pero eso no se puede convertir en una norma para una máquina. La ética no siempre puede seguir los instintos".*

La idea del profesor Lütge sale del país de Emmanuel Kant. La "norma número 9" viene a decir que no se debe decidir el destino de las personas por su forma o apariencia. Eso es una norma ética racional. Sin embargo, todo lo que la máquina puede medir y todo lo que se le ofrece al jugador son "apariencias", es decir, aquello que puede ser evaluado desde la percepción, desde lo sensible. Lo que la máquina aprenderá será a establecer diferencias (sexo, edad, educación, empleo, situación social...) basadas en lo que se percibe. Los sensores de la máquina es lo único que pueden detectar. La norma ética número 9 dice que todos los seres humanos somos valiosos por ser humanos. Los experimentos nos dice, por el contrario, que unos son más importantes que otros, que unos son prescindibles (las ancianas, por ejemplo) que otros. Es una máquina prejuicios porque "prejuicio" es una forma de hablar del "algoritmo" que tomará decisiones. La máquina no juzgará; solo establecerá el cumplimiento de requisitos en función de los datos disponibles y actuará.

La norma número 9 es racional. Lo que hace la máquina es la evaluación de nuestros prejuicios y establece una racionalidad instrumental, la ajusta a unos fines y actúa en función de ellos.

Creamos máquinas y procesos tras los que escondernos. Antes las máquinas nos ayudaban a completar nuestra trabajo y a reducir nuestros esfuerzos. Pero cuando lo que se pretende es sustituir nuestra imperfecta toma de decisiones, los problemas se multiplican, ya que nos damos cuenta de que son "nuestras" decisiones, que de ahí surge nuestra condición humana al aunarse nuestra libertad y responsabilidad. A la vez, comprendemos que esta no es solo personal, sino que se encuentra inmersa en un contexto comunitario, cultural. Somos responsables ante nuestra conciencia, pero también ante los otros que nos juzgan. A veces nos enfrentamos a los otros en nombre de nuestra conciencia, críticamente. Pero aquí de lo que se trata es de sustituirla mediante mecanismos automáticos. Y ni la vida ni la libertad ni la responsabilidad son automatismos, sino procesos profundos que no son fácilmente transferidos sin consecuencias. El filósofo Günther Anders ya trabajó sobre estas cuestiones de nuestras relaciones con las máquinas, sobre la libertad y los subterfugios que buscamos para escondernos tras ellas.

Si este experimento se hubiera realizado en la Alemania nazi de los años treinta, se habría introducido junto a las mujeres embarazadas, delincuentes, niños, sin techo, etc. la figura de otro peatón, el "judío", al que muchos habrían considerado perfectamente prescindible, incluso como una forma de ahorro para el gasto de los campos de concentración o de los gaseados posteriores. A muchos les habría resultado perfectamente natural y hasta un ejercicio de ciudadanía. Lo mismo podría decirse del aumento del racismo o la xenofobia que observamos en muchos países. ¿Atropellar a alguien con turbante o velo antes que a alguien sin ellos? ¿Por qué no? En la Guerra Fría, se introducen los "espías", los "desertores", los "comunistas", etc. El juego es infinito porque valoramos en función de diferencias creadas por prejuicios.

Enseñar a los coches a quién se debe atropellar preferentemente es un peligro, un riego y una cierta perversión moral, por mucho que se haya denominado al juego "la máquina moral". De hecho, la decisión de a quién aprovechar será nada racional y poco natural, ya que nadie nace con el odio o el desprecio. La única regla es la que enfrenta al salvarse uno mismo con el altruismo. Una situación que permite ponerse a pensar a quién es mejor atropellar, no es una situación real, en donde serán fracciones de segundo lo que se tenga para actuar. El mayor valor está en lo que el juego nos enseña de nosotros, de nuestros prejuicios, y lo que nos enseña de aquellos que pretenden empaquetarlos y suministrárselos a las máquinas como si fueran universales.

Cuando haya muchos coches circulando, como forma de precaución, las mujeres podrían salir a las calles con falsas barrigas de embarazadas o comprar muñecos para que parezcan bebés y tener más probabilidades de supervivencia en caso de accidente con coche automático por medio. Habrá que tener cuidado con los disfraces que se eligen para carnavales. ¿Tienen los ciudadanos derecho a saber cuáles son las prioridades de su coche en caso de accidente? ¿Conocerlas les hace corresponsables de lo que ocurra?

Los que no quieren tener la responsabilidad de tener un volante, no por ello dejan de tener oras responsabilidades. Quizá cuando se produzca un accidente, su sentimiento de responsabilidad sea mayor que los que trataron de evitarlo. El coche sin conductor es una aventura entre la seguridad y la libertad, que como bien supo ver Dostoievski, no nos libra de los peligros. Pero cada avance que nos quita responsabilidad no adentra en un camino peligroso. Hay muchos ejemplos de ello.

La portada de la obra "Driverless" no muestra a un despreocupado ser humano disfrutando cómodamente de la lectura de su libro mientras el coche se encarga de llevarle a su destino. Lo malo es que ese mismo coche se puede convertir en "destino" de aquellos a los que pase por encima en el camino según estudiados criterios selectivos. Para ir de un sitio a otro leyendo tranquilamente se inventó hace tiempo el transporte colectivo. Lo queremos todo.

* "¿A quién mataría (como mal menor) un coche autónomo?" El País  25/10/2018 https://elpais.com/elpais/2018/10/24/ciencia/1540367038_964708.html