Cathy O’Neil es una matemática norteamericana, inicialmente investigadora de Harvard en el campo de la geometría algebraica, que trabajó en el sector privado de las finanzas como analista de riesgo, lo dejó y más tarde participó del movimiento Occupy Wall Street. Su libro Armas de destrucción matemática: cómo el Big Data aumenta la desigualdad y amenaza la democracia, escrito en 2017, tiene a mi modo de ver dos virtudes de principio. La primera consiste en que, a pesar de hablar del mundo de la tecnología, de la estadística y de los Big Data, está escrito de manera muy comunicativa. La segunda, y no menor, es que está dedicado, como reza la primera página del libro, “a todos los desamparados”.
Este libro nos habla de otras guerras, diferentes de las del siglo XX, las modernas guerras basadas en el uso de las matemáticas en el campo de los Big Data. La palabra “guerra” y la palabra “arma” no son exactamente metáforas, si nos planteamos los efectos en las vidas de las personas: son alarmantes y generan la desigualdad y la polarización que están en el origen de enfrentamientos violentos. Hay que conocer estas armas del siglo XXI para poder desarmarlas.
O’Neil cuenta su fascinación por el universo de las matemáticas cuando era joven, y su relato se asemeja bastante a otros que hemos podido escuchar: las matemáticas como refugio, porque crean un mundo perfecto, ordenado, previsible, limpio, verdadero. Sin duda su desencanto estuvo en proporción a las expectativas que se había forjado, y le sobrevino a partir del momento en el que se dio cuenta de las consecuencias del uso de las matemáticas para analizar el comportamiento humano.
Por supuesto que el comportamiento humano puede medirse y cuantificarse. Nosotros mismos, sin ser matemáticos, creamos modelos, tipificamos los modos de hacer. Podemos reforzar los análisis de O’Neil con un poco de filosofía. Nietzsche afirma que nuestro lenguaje es una clasificación del mundo según universales: una hoja nunca es idéntica a otra, pero la palabra “hoja” lo hace suponer. Borramos las diferencias de los particulares en aras de la comunicación y de la salvaguarda de la humanidad. No teniendo garras como los leones, ni colmillos como los lobos, nuestro lenguaje hecho de universales es una guía para caminar por el mundo disminuyendo los riesgos. Es verdad que esta serpiente no es la misma que aquella otra que le picó a mi compañero, pero llamarla también “serpiente” alerta del posible peligro de pisarla.
A pesar de la complejidad de los humanos, hay muchos aspectos de nuestras vidas que pueden ser tipificados. O’Neil nos pone ejemplos del beisbol o de la cocina: observando a los jugadores se pueden extraer patrones de jugadas que ayudarán a prever lo que hay que hacer para enfrentarse a un equipo rival; asistiendo a las cenas diarias de una familia, una persona puede saber qué poner en la mesa y en qué cantidades. Y estas conclusiones pueden escalarse, con la ayuda de la tecnología, si se tratara de saber de un modo más preciso las clases de jugadas posibles o la cantidad de un alimento concreto que debe ofertar una tienda de comestibles.
El problema se plantea cuando se quiere configurar un modelo no de un tipo de acción concreta sino de un modo de ser. Porque en este caso se está eligiendo la simplificación. Y simplificar qué es una serpiente venenosa no reviste la gravedad de lo que es simplificar la esencia de un ser humano. El universal “serpiente” encierra menos errores que el universal “ser humano”, “hombre”, “mujer”, “negro”, “musulmán”, “homosexual”, etc. Una persona racista ha elaborado un modelo estadístico simplificado a partir del cual establecer un universal y poder clasificar a un individuo dentro de una tipología.
Detrás de la pretensión de establecer verdades acerca de los seres humanos a partir del análisis y la cuantificación de sus comportamientos, hay una toma de partido por una idea de la humanidad. Quizá los matemáticos no lo saben, o no tienen tiempo para saberlo. Pero algunos han creído posible establecer certezas acerca de nuestros deseos, de nuestra formación, de nuestra eficacia, de nuestra solvencia, de nuestra ideología, porque han simplificado los patrones algorítmicos para medirnos. Han creado modelos de comportamientos con los que leer la sociedad y proceder de forma más exacta (quizá también piensen que más justa) para establecer lo que consumiremos, la idoneidad de nuestros currículos para un puesto de trabajo, la profesionalidad de nuestro modo de hacer, la capacidad económica de nuestras finanzas, la previsibilidad de lo que votaremos. Estos matemáticos son los que han forjado lo que O’Neil llama “armas de destrucción matemática”.
¿Qué son las armas de destrucción matemática? Son modelos estadísticos mal diseñados, incorrectos, con los que se llevan a cabo procesos de selección y clasificación dentro de las empresas, gestiones económicas en los bancos, admisiones en las universidades, instrucciones para revisar las condenas penales, etc. Como puede fácilmente deducirse, gran parte de nuestras vidas puede estar atrapada por esos modelos, quizá no tanto en España como en EEUU, pero es un horizonte alarmante. Y es más alarmante cuanto más pobre eres, porque estos modelos se aplican no tanto para seleccionar sino para descartar, y los estereotipos que crean son injustos con los más machacados socialmente.
Así es cómo se crea un arma de destrucción matemática. Lo primero que hay que tener en cuenta es que un modelo de estas características comienza a partir del momento en el que se carece de datos relevantes para que la clasificación tenga sentido, y entonces se emplean datos sustitutivos. Por ejemplo, tomar en consideración el código postal de una persona, que ha sido condenada por un robo, para determinar el índice de reincidencia. Por ejemplo, partir de los resultados académicos de los alumnos ante un determinado tipo de test, para evaluar a un profesor.
En segundo lugar, todo buen modelo necesita ser retroalimentado, es decir que la horquilla que separa lo previsto de lo que después tiene lugar debe acortarse mediante la introducción de alguna variable que en el modelo inicial no se contemplaba. Por ejemplo, se debería poder incorporar al modelo en el que el código penal se toma como un dato, el número de casos que contradicen ese supuesto, de manera que dejara de tener un peso tan grande en el algoritmo. Pero no solamente un arma de destrucción matemática no lo tiene en cuenta, sino que procede a llevar a cabo lo que O’Neil llama una “retroalimentación perniciosa”: puesto que las condenas más largas ponen en serias dificultades de inserción social a los pequeños delincuentes, si por culpa de tomarse en cuenta el código postal en su clasificación de pena no revisable se les deja más tiempo en la cárcel, cuando salgan será más fácil que reincidan, lo que acaba haciendo verdadero el algoritmo aplicado.
En tercer lugar, las armas de destrucción matemática son opacas. Quienes las utilizan se excusan ante sus víctimas diciendo que no son ellos sino las máquinas las que los rechazan, y eso resulta inquebrantable: lo dice la máquina, el sistema. Y nunca se da acceso a las personas a conocer los entresijos del sistema. Si se hiciera, un delincuente intentaría cambiar de barrio para puntuar más en su solicitud de revisión de pena (lo que demostraría cuán irrelevante es ese dato). O un profesor podría preparar a sus alumnos para un tipo de test, asegurándose que el día de la prueba los “malos” se pusieran enfermos, y de esa manera puntuar alto en cuanto a su excelencia (lo que demostraría lo perversa que es esta medida).
Está claro que las personas particulares juzgan según sus ideologías y cometen errores, está claro que hay injusticias en los procesos de selección y clasificación (y eso las mujeres lo sabemos mejor que nadie), está claro que es bueno caminar hacia un sistema más objetivo, más justo. Pero si los datos con los que un algoritmo opera son irrelevantes, se puede suponer que son fruto igualmente de la ideología de quien lo diseñó. Ahora bien, en este caso su alcance es mucho mayor que el de un error o injusticia particular.
El interés de todo lo que acabo de exponer podría estar limitado a ciertas experiencias que no todos compartimos. Pero donde el libro de O’Neil se vuelve verdaderamente iluminador es en el análisis que hace de la aplicación de este tipo de algoritmos a los procesos democráticos.
El fenómeno que describe es el de la microsegmentación. La publicidad comercial empezó a emplear esta técnica a partir de los datos que ofrecían las redes sociales. Como dice O’Neil, Facebook es como la plaza de un pueblo a escala gigantesca. Y la capacidad lingüística de los algoritmos, gracias al aprendizaje del lenguaje natural que Internet proporciona a las máquinas, ha tenido como resultado algo así como hacerlas pasar de preescolar a 1º de la ESO. Eso ha permitido segmentar a la población a partir de sus gustos, de su capacidad adquisitiva, de sus deseos y hacer que la publicidad vaya más dirigida a grupos concretos de población. Es lo que observamos diariamente cuando abrimos Facebook y nos aparecen los anuncios de venta de ropa o viajes: no son los mismos para todos los usuarios de esta plataforma.
Si es una red social la que decide qué vemos, hipotéticamente podríamos pensar que igualmente podría hacer llegar mensajes políticos diferentes a grupos de ciudadanos diferentes. Es evidente que un político no se dirige de la misma manera cuando lo hace ante el gran público indiscriminado que cuando lo hace ante un grupo de personas más uniforme. Nos adaptamos a la audiencia. Y mientras que complacer a todo el mundo tiene como resultado discursos aburridos por su grado de abstracción y corrección, los encuentros más privados y seleccionados, permiten que un candidato sea más directo y llegue más al corazón de sus votantes. En un mundo ideal y distópico, los políticos circularían por zonas seguras segmentadas y adaptarían su discurso a cada grupo: de esta manera un candidato sería muchos candidatos. El discurso no sería el mismo para todos, gracias a lo cual se estaría más cerca del triunfo en un referendum o en una elección política . Y una persona de un grupo no escucharía lo mismo que otra persona de otro grupo. Los votantes dentro de una misma opción estarían segmentados como en tribus cerradas.
Pues bien esta técnica ya se está aplicando. Hace un año, cuando este libro fue publicado, O’Neil nos advertía de la peligrosidad de una empresa como Cambridge Analytica que había recopilado los perfiles de millones de usuarios de Facebook para poder venderlos en campañas políticas. Hoy sabemos que los vendieron para la campaña de Trump y la campaña del Brexit. Aquí cobra todo su significado hablar de “armas de destrucción matemática”. Un algoritmo que simplifica el comportamiento humano a través de sus “Me gusta” acaba realizando una retroalimentación perniciosa porque obtiene como resultado comportamientos humanos simplificados.
¿Es peor la humanidad con los Big Data? No tendría que ser así, si reflexionamos sobre lo que son y lo que no son. Los Big Data son un retrato del pasado, de cómo nos hemos comportado en determinados campos, de lo que ya hemos hecho. Pero no inventan el futuro. Dicen la verdad de lo que ha sido, pero pronuncian una mentira cuando nos determinan a repetir el patrón diciendo que es así como somos.
La imaginación moral de los humanos no tiene cabida en los Big Data. Por eso la batalla es por el uso que hagamos de ellos. Podemos utilizarlos para castigar, descartar, aislar y segmentar, o para ayudar, impulsar, incluir. Se puede predecir, gracias a un algoritmo, la incidencia de determinada ayuda social en aquellas familias que se encuentran en situación de pobreza extrema. Sin embargo, la decisión política a partir de estos datos no está determinada por ellos. Las máquinas no deben sustituir la implicación de nuestra responsabilidad.
