Los peligros del ‘big data’: puede quitarte una hipoteca y reducir la democracia

La matemática Cathy O’Neil ha dado la voz de alarma sobre cómo los algoritmos y los métodos de análisis de big data pueden afectar y, sobre todo, empeorar la vida de las personas.

Bajo su apariencia de justicia y equidad, estas herramientas pueden hacer que nunca te concedan una hipoteca, que te denieguen una beca, que te detengan las autoridades y que te condenen a una pena mayor, si eres condenado. Todo porque detrás de esos algoritmos hay personas que los contaminan de prejuicios, racismo o intereses espúreos.

Cathy O’Neil es una matemática estadounidense enamorada de su disciplina. Según esta posdoctorada en el MIT, mientras que otras actividades humanas están sujetas a la opinión, «las matemáticas son verdad». Cualquier discrepancia en ese campo puede ser resuelto de forma clara y veraz.

Cuando acabó su carrera universitaria, O’Neil comenzó a trabajar en un fondo de inversión. Poco después estalló la crisis económica mundial. Si bien la causa principal de la crisis fueron las hipotecas basura, que la catástrofe tuviera alcance internacional se debió, en su opinión, a cómo las agencias de calificación manejaban los datos para hacer confiables hipotecas que no lo eran.

Para lograr hacer creíble esa ficción fue imprescindible recurrir a los algoritmos y, en consecuencia, a las matemáticas. En ese momento, O’Neil comprobó que, aunque sean «verdad», las matemáticas también pueden ser utilizadas con fines poco honestos por aquellos que las conocen bien.

Decepcionada por su experiencia con los fondos de inversión, O’Neil decidió reciclarse en analista de big data. «Es lo mismo que predecir el comportamiento de los mercados, solo que con el comportamiento de la gente. Además, pensé que era una actividad menos destructiva que lo de las finanzas». Se equivocaba.

En apenas un año trabajando en ese sector, O’Neil se dio cuenta de que, a pesar de lo aparentemente inocuo de los algoritmos, en el fondo no son otra cosa que «opiniones embebidas en un código informático». Según explica la experta, los algoritmos combinan múltiples posibilidades y un objetivo que es determinado por el responsable de la programación (o sus superiores). En principio, nada alarmante salvo que ese objetivo esté contaminado por los prejuicios, intereses económicos y políticos o los complejos de aquellos que programan los algoritmos.

A ese tipo de algoritmos y al big data, presentes en casi todos los ámbitos de la vida contemporánea, O’Neil los ha denominado «Armas de Destrucción Matemática» (ADM). ¿La razón? Su capacidad devastadora a la hora de arruinar las vidas de muchos ciudadanos. Ni más ni menos.

En su libro Armas de destrucción matemática, publicado en España por Capitan Swing, Cathy O’Neil detalla algunos casos en los que los algoritmos han sido determinantes para cambiar el curso de la vida de una persona. Cambiar para mal, se refiere.

Por ejemplo, ser rechazado en un trabajo por cuestiones que afectan a la intimidad de la persona, pero que son conocidos por la empresa por cruzar información con otras bases de datos; ser detenido porque en tu documentación dice que vives en un barrio más conflictivo según las estadísticas; o, sencillamente, no obtener un crédito a través de los servicios online de un banco.

Si bien las autoridades prohiben que datos como el color de piel se tengan en cuenta a la hora de conceder o denegar un crédito, lo cierto es que, en ocasiones, las páginas de algunas entidades financieras son capaces de analizar el historial de navegación de un cliente. A través de él no es difícil saber si es negro, blanco, hispano o asiático. En base a esa información, el sistema filtrará su solicitud y, muy posiblemente, esos datos tengan más peso que el historial financiero del solicitante.

Pero el problema del análisis de datos puede ser mucho más sutil que las discriminaciones por sexo, raza o salud que manejan la policía, los seguros de enfermedad o los bancos.

O’Neil llama la atención sobre un fenómeno que en Estados Unidos se conoce como clopening y que define la situación de ese trabajador responsable de cerrar un local y abrirlo pocas horas después. Una decisión empresarial basada en el análisis de datos cuyo objetivo último es la optimización de los beneficios de la empresa.

Si una compañía detecta que los martes es el día en que vende menos y que los sábados los clientes tienen que esperar a ser atendidos, ¿cuál es el sentido de tener el mismo número de empleados todos los días de la semana? El martes se reducirá la plantilla y el sábado se aumentará. Una decisión comprensible siempre que no se lleve al extremo.

Mediante el análisis de datos, es posible determinar no ya los días de la semana con más actividad, sino también las franjas del día en las que hay más afluencia de clientes. En consecuencia, las empresas han comenzado a ofertar contratos no por jornadas completas, sino por horas. De nuevo, el beneficio es del empresario mientras que al trabajador le resulta cada vez más complicado conciliar vida laboral con familia, estudios u ocio.

La cosa se hace aún más alarmante cuando esos algoritmos afectan a, por ejemplo, los procesos electorales de un país. En las elecciones de 2010 y 2012, Facebook puso en marcha un experimento que consistía en animar a los miembros de la red social a publicar en su muro el mensaje «He votado» cuando lo hubieran hecho.

Los responsables de esa plataforma comenzaron a analizar el efecto que esos mensajes tenían en el resto de amigos de aquel que había hecho ese anuncio. Los resultados demostraron que la participación aumentaba entre aquellas personas cuyo entorno también había participado en el proceso electoral.

Para Cathy O’Neil eso no es un hecho alarmante por sí mismo. Durante décadas los periódicos y medios de comunicación han modelado la opinión pública como ahora hace Facebook. El problema está en que los mecanismos que utiliza la empresa de Zuckerberg son opacos y no se conoce cómo funcionan los algoritmos que interpretan los datos personales que obran en su poder.

Una cosa semejante sucede con Google. En 2015 esta empresa participó de un experimento organizado por Robert Epstein y Ronald E. Robertson. Estos investigadores pidieron a aquellos votantes estadounidenses que estuvieran indecisos sobre a quién votar que buscasen información sobre los candidatos en Google.

Lo que no sabían estos conejillos de indias involuntarios es que el motor de búsqueda de esa web estaba programado para beneficiar a un partido respecto del contrario. Finalmente, un 20% de los indecisos cambiaron su voto hacia el partido que tenía ventaja en las búsquedas.

La conclusión a la que llega Cathy O’Neil en Armas de destrucción matemática es que es necesario desarmar los mecanismos del big data. Bajo su promesa de eficacia y justicia, las Armas de destrucción matemática distorsionan la educación, aumentan la deuda, incitan a las autoridades a criminalizar, e incluso encarcelar, a un determinado grupo social, golpean a los pobres en casi todas las situaciones y socavan la democracia.

Si no se le pone coto, O’Neil augura que el problema aumentará porque una de las características de ese nefasto uso de las matemáticas es que se retroalimenta: «Las personas pobres tienen más posibilidades de tener malos expedientes crediticios y de vivir en barrios con altas tasas de delincuencia, rodeadas de otras personas pobres. Una vez que el universo oscuro de las ADM ha digerido esos datos, cubre a esas personas de anuncios depredadores de préstamos de alto riesgo o de universidades privadas con ánimo de lucro. Envía más agentes de policía a arrestarlas y, cuando son declaradas culpables, las condena a penas más largas».

Posteriormente, todos esos nuevos datos son interpretados por nuevos algoritmos que agravan la situación: se vuelve a calificar a las mismas personas como de alto riesgo, lo que hace que sean excluidas de las vacantes de las empresas, al tiempo que inflan los tipos de interés de sus hipotecas, de sus préstamos para comprarse un coche o de sus seguros de salud.

Por ello, O’Neil reclama un especial compromiso ético de aquellas personas que trabajan con las matemáticas. Unos profesionales que deben ser conscientes de que «su trabajo puede tener enormes efectos sobre la sociedad y la economía, muchos de ellos más allá de su propia comprensión».