Los peligros del ‘big data’: puede quitarte una hipoteca y reducir la democracia
¡Yorokobu gratis en formato digital!
La matemática Cathy O’Neil ha dado la voz de alarma sobre cĂłmo los algoritmos y los mĂ©todos de análisis de big data pueden afectar y, sobre todo, empeorar la vida de las personas.
Bajo su apariencia de justicia y equidad, estas herramientas pueden hacer que nunca te concedan una hipoteca, que te denieguen una beca, que te detengan las autoridades y que te condenen a una pena mayor, si eres condenado. Todo porque detrás de esos algoritmos hay personas que los contaminan de prejuicios, racismo o intereses espúreos.
Cathy O’Neil es una matemática estadounidense enamorada de su disciplina. SegĂşn esta posdoctorada en el MIT, mientras que otras actividades humanas están sujetas a la opiniĂłn, «las matemáticas son verdad». Cualquier discrepancia en ese campo puede ser resuelto de forma clara y veraz.
Cuando acabĂł su carrera universitaria, O’Neil comenzĂł a trabajar en un fondo de inversiĂłn. Poco despuĂ©s estallĂł la crisis econĂłmica mundial. Si bien la causa principal de la crisis fueron las hipotecas basura, que la catástrofe tuviera alcance internacional se debiĂł, en su opiniĂłn, a cĂłmo las agencias de calificaciĂłn manejaban los datos para hacer confiables hipotecas que no lo eran.
Para lograr hacer creĂble esa ficciĂłn fue imprescindible recurrir a los algoritmos y, en consecuencia, a las matemáticas. En ese momento, O’Neil comprobĂł que, aunque sean «verdad», las matemáticas tambiĂ©n pueden ser utilizadas con fines poco honestos por aquellos que las conocen bien.
Decepcionada por su experiencia con los fondos de inversión, O’Neil decidió reciclarse en analista de big data. «Es lo mismo que predecir el comportamiento de los mercados, solo que con el comportamiento de la gente. Además, pensé que era una actividad menos destructiva que lo de las finanzas». Se equivocaba.
En apenas un año trabajando en ese sector, O’Neil se dio cuenta de que, a pesar de lo aparentemente inocuo de los algoritmos, en el fondo no son otra cosa que «opiniones embebidas en un cĂłdigo informático». SegĂşn explica la experta, los algoritmos combinan mĂşltiples posibilidades y un objetivo que es determinado por el responsable de la programaciĂłn (o sus superiores). En principio, nada alarmante salvo que ese objetivo estĂ© contaminado por los prejuicios, intereses econĂłmicos y polĂticos o los complejos de aquellos que programan los algoritmos.
A ese tipo de algoritmos y al big data, presentes en casi todos los ámbitos de la vida contemporánea, O’Neil los ha denominado «Armas de Destrucción Matemática» (ADM). ¿La razón? Su capacidad devastadora a la hora de arruinar las vidas de muchos ciudadanos. Ni más ni menos.
En su libro Armas de destrucción matemática, publicado en España por Capitan Swing, Cathy O’Neil detalla algunos casos en los que los algoritmos han sido determinantes para cambiar el curso de la vida de una persona. Cambiar para mal, se refiere.
Por ejemplo, ser rechazado en un trabajo por cuestiones que afectan a la intimidad de la persona, pero que son conocidos por la empresa por cruzar informaciĂłn con otras bases de datos; ser detenido porque en tu documentaciĂłn dice que vives en un barrio más conflictivo segĂşn las estadĂsticas; o, sencillamente, no obtener un crĂ©dito a travĂ©s de los servicios online de un banco.
Si bien las autoridades prohiben que datos como el color de piel se tengan en cuenta a la hora de conceder o denegar un crĂ©dito, lo cierto es que, en ocasiones, las páginas de algunas entidades financieras son capaces de analizar el historial de navegaciĂłn de un cliente. A travĂ©s de Ă©l no es difĂcil saber si es negro, blanco, hispano o asiático. En base a esa informaciĂłn, el sistema filtrará su solicitud y, muy posiblemente, esos datos tengan más peso que el historial financiero del solicitante.
Pero el problema del análisis de datos puede ser mucho más sutil que las discriminaciones por sexo, raza o salud que manejan la policĂa, los seguros de enfermedad o los bancos.
O’Neil llama la atención sobre un fenómeno que en Estados Unidos se conoce como clopening y que define la situación de ese trabajador responsable de cerrar un local y abrirlo pocas horas después. Una decisión empresarial basada en el análisis de datos cuyo objetivo último es la optimización de los beneficios de la empresa.
Si una compañĂa detecta que los martes es el dĂa en que vende menos y que los sábados los clientes tienen que esperar a ser atendidos, Âżcuál es el sentido de tener el mismo nĂşmero de empleados todos los dĂas de la semana? El martes se reducirá la plantilla y el sábado se aumentará. Una decisiĂłn comprensible siempre que no se lleve al extremo.
Mediante el análisis de datos, es posible determinar no ya los dĂas de la semana con más actividad, sino tambiĂ©n las franjas del dĂa en las que hay más afluencia de clientes. En consecuencia, las empresas han comenzado a ofertar contratos no por jornadas completas, sino por horas. De nuevo, el beneficio es del empresario mientras que al trabajador le resulta cada vez más complicado conciliar vida laboral con familia, estudios u ocio.
La cosa se hace aĂşn más alarmante cuando esos algoritmos afectan a, por ejemplo, los procesos electorales de un paĂs. En las elecciones de 2010 y 2012, Facebook puso en marcha un experimento que consistĂa en animar a los miembros de la red social a publicar en su muro el mensaje «He votado» cuando lo hubieran hecho.
Los responsables de esa plataforma comenzaron a analizar el efecto que esos mensajes tenĂan en el resto de amigos de aquel que habĂa hecho ese anuncio. Los resultados demostraron que la participaciĂłn aumentaba entre aquellas personas cuyo entorno tambiĂ©n habĂa participado en el proceso electoral.
Para Cathy O’Neil eso no es un hecho alarmante por sà mismo. Durante décadas los periódicos y medios de comunicación han modelado la opinión pública como ahora hace Facebook. El problema está en que los mecanismos que utiliza la empresa de Zuckerberg son opacos y no se conoce cómo funcionan los algoritmos que interpretan los datos personales que obran en su poder.
Una cosa semejante sucede con Google. En 2015 esta empresa participó de un experimento organizado por Robert Epstein y Ronald E. Robertson. Estos investigadores pidieron a aquellos votantes estadounidenses que estuvieran indecisos sobre a quién votar que buscasen información sobre los candidatos en Google.
Lo que no sabĂan estos conejillos de indias involuntarios es que el motor de bĂşsqueda de esa web estaba programado para beneficiar a un partido respecto del contrario. Finalmente, un 20% de los indecisos cambiaron su voto hacia el partido que tenĂa ventaja en las bĂşsquedas.
La conclusión a la que llega Cathy O’Neil en Armas de destrucción matemática es que es necesario desarmar los mecanismos del big data. Bajo su promesa de eficacia y justicia, las Armas de destrucción matemática distorsionan la educación, aumentan la deuda, incitan a las autoridades a criminalizar, e incluso encarcelar, a un determinado grupo social, golpean a los pobres en casi todas las situaciones y socavan la democracia.
Si no se le pone coto, O’Neil augura que el problema aumentará porque una de las caracterĂsticas de ese nefasto uso de las matemáticas es que se retroalimenta: «Las personas pobres tienen más posibilidades de tener malos expedientes crediticios y de vivir en barrios con altas tasas de delincuencia, rodeadas de otras personas pobres. Una vez que el universo oscuro de las ADM ha digerido esos datos, cubre a esas personas de anuncios depredadores de prĂ©stamos de alto riesgo o de universidades privadas con ánimo de lucro. EnvĂa más agentes de policĂa a arrestarlas y, cuando son declaradas culpables, las condena a penas más largas».
Posteriormente, todos esos nuevos datos son interpretados por nuevos algoritmos que agravan la situación: se vuelve a calificar a las mismas personas como de alto riesgo, lo que hace que sean excluidas de las vacantes de las empresas, al tiempo que inflan los tipos de interés de sus hipotecas, de sus préstamos para comprarse un coche o de sus seguros de salud.
Por ello, O’Neil reclama un especial compromiso Ă©tico de aquellas personas que trabajan con las matemáticas. Unos profesionales que deben ser conscientes de que «su trabajo puede tener enormes efectos sobre la sociedad y la economĂa, muchos de ellos más allá de su propia comprensiĂłn».
¡Yorokobu gratis en formato digital!
La matemática Cathy O’Neil ha dado la voz de alarma sobre cĂłmo los algoritmos y los mĂ©todos de análisis de big data pueden afectar y, sobre todo, empeorar la vida de las personas.
Bajo su apariencia de justicia y equidad, estas herramientas pueden hacer que nunca te concedan una hipoteca, que te denieguen una beca, que te detengan las autoridades y que te condenen a una pena mayor, si eres condenado. Todo porque detrás de esos algoritmos hay personas que los contaminan de prejuicios, racismo o intereses espúreos.
Cathy O’Neil es una matemática estadounidense enamorada de su disciplina. SegĂşn esta posdoctorada en el MIT, mientras que otras actividades humanas están sujetas a la opiniĂłn, «las matemáticas son verdad». Cualquier discrepancia en ese campo puede ser resuelto de forma clara y veraz.
Cuando acabĂł su carrera universitaria, O’Neil comenzĂł a trabajar en un fondo de inversiĂłn. Poco despuĂ©s estallĂł la crisis econĂłmica mundial. Si bien la causa principal de la crisis fueron las hipotecas basura, que la catástrofe tuviera alcance internacional se debiĂł, en su opiniĂłn, a cĂłmo las agencias de calificaciĂłn manejaban los datos para hacer confiables hipotecas que no lo eran.
Para lograr hacer creĂble esa ficciĂłn fue imprescindible recurrir a los algoritmos y, en consecuencia, a las matemáticas. En ese momento, O’Neil comprobĂł que, aunque sean «verdad», las matemáticas tambiĂ©n pueden ser utilizadas con fines poco honestos por aquellos que las conocen bien.
Decepcionada por su experiencia con los fondos de inversión, O’Neil decidió reciclarse en analista de big data. «Es lo mismo que predecir el comportamiento de los mercados, solo que con el comportamiento de la gente. Además, pensé que era una actividad menos destructiva que lo de las finanzas». Se equivocaba.
En apenas un año trabajando en ese sector, O’Neil se dio cuenta de que, a pesar de lo aparentemente inocuo de los algoritmos, en el fondo no son otra cosa que «opiniones embebidas en un cĂłdigo informático». SegĂşn explica la experta, los algoritmos combinan mĂşltiples posibilidades y un objetivo que es determinado por el responsable de la programaciĂłn (o sus superiores). En principio, nada alarmante salvo que ese objetivo estĂ© contaminado por los prejuicios, intereses econĂłmicos y polĂticos o los complejos de aquellos que programan los algoritmos.
A ese tipo de algoritmos y al big data, presentes en casi todos los ámbitos de la vida contemporánea, O’Neil los ha denominado «Armas de Destrucción Matemática» (ADM). ¿La razón? Su capacidad devastadora a la hora de arruinar las vidas de muchos ciudadanos. Ni más ni menos.
En su libro Armas de destrucción matemática, publicado en España por Capitan Swing, Cathy O’Neil detalla algunos casos en los que los algoritmos han sido determinantes para cambiar el curso de la vida de una persona. Cambiar para mal, se refiere.
Por ejemplo, ser rechazado en un trabajo por cuestiones que afectan a la intimidad de la persona, pero que son conocidos por la empresa por cruzar informaciĂłn con otras bases de datos; ser detenido porque en tu documentaciĂłn dice que vives en un barrio más conflictivo segĂşn las estadĂsticas; o, sencillamente, no obtener un crĂ©dito a travĂ©s de los servicios online de un banco.
Si bien las autoridades prohiben que datos como el color de piel se tengan en cuenta a la hora de conceder o denegar un crĂ©dito, lo cierto es que, en ocasiones, las páginas de algunas entidades financieras son capaces de analizar el historial de navegaciĂłn de un cliente. A travĂ©s de Ă©l no es difĂcil saber si es negro, blanco, hispano o asiático. En base a esa informaciĂłn, el sistema filtrará su solicitud y, muy posiblemente, esos datos tengan más peso que el historial financiero del solicitante.
Pero el problema del análisis de datos puede ser mucho más sutil que las discriminaciones por sexo, raza o salud que manejan la policĂa, los seguros de enfermedad o los bancos.
O’Neil llama la atención sobre un fenómeno que en Estados Unidos se conoce como clopening y que define la situación de ese trabajador responsable de cerrar un local y abrirlo pocas horas después. Una decisión empresarial basada en el análisis de datos cuyo objetivo último es la optimización de los beneficios de la empresa.
Si una compañĂa detecta que los martes es el dĂa en que vende menos y que los sábados los clientes tienen que esperar a ser atendidos, Âżcuál es el sentido de tener el mismo nĂşmero de empleados todos los dĂas de la semana? El martes se reducirá la plantilla y el sábado se aumentará. Una decisiĂłn comprensible siempre que no se lleve al extremo.
Mediante el análisis de datos, es posible determinar no ya los dĂas de la semana con más actividad, sino tambiĂ©n las franjas del dĂa en las que hay más afluencia de clientes. En consecuencia, las empresas han comenzado a ofertar contratos no por jornadas completas, sino por horas. De nuevo, el beneficio es del empresario mientras que al trabajador le resulta cada vez más complicado conciliar vida laboral con familia, estudios u ocio.
La cosa se hace aĂşn más alarmante cuando esos algoritmos afectan a, por ejemplo, los procesos electorales de un paĂs. En las elecciones de 2010 y 2012, Facebook puso en marcha un experimento que consistĂa en animar a los miembros de la red social a publicar en su muro el mensaje «He votado» cuando lo hubieran hecho.
Los responsables de esa plataforma comenzaron a analizar el efecto que esos mensajes tenĂan en el resto de amigos de aquel que habĂa hecho ese anuncio. Los resultados demostraron que la participaciĂłn aumentaba entre aquellas personas cuyo entorno tambiĂ©n habĂa participado en el proceso electoral.
Para Cathy O’Neil eso no es un hecho alarmante por sà mismo. Durante décadas los periódicos y medios de comunicación han modelado la opinión pública como ahora hace Facebook. El problema está en que los mecanismos que utiliza la empresa de Zuckerberg son opacos y no se conoce cómo funcionan los algoritmos que interpretan los datos personales que obran en su poder.
Una cosa semejante sucede con Google. En 2015 esta empresa participó de un experimento organizado por Robert Epstein y Ronald E. Robertson. Estos investigadores pidieron a aquellos votantes estadounidenses que estuvieran indecisos sobre a quién votar que buscasen información sobre los candidatos en Google.
Lo que no sabĂan estos conejillos de indias involuntarios es que el motor de bĂşsqueda de esa web estaba programado para beneficiar a un partido respecto del contrario. Finalmente, un 20% de los indecisos cambiaron su voto hacia el partido que tenĂa ventaja en las bĂşsquedas.
La conclusión a la que llega Cathy O’Neil en Armas de destrucción matemática es que es necesario desarmar los mecanismos del big data. Bajo su promesa de eficacia y justicia, las Armas de destrucción matemática distorsionan la educación, aumentan la deuda, incitan a las autoridades a criminalizar, e incluso encarcelar, a un determinado grupo social, golpean a los pobres en casi todas las situaciones y socavan la democracia.
Si no se le pone coto, O’Neil augura que el problema aumentará porque una de las caracterĂsticas de ese nefasto uso de las matemáticas es que se retroalimenta: «Las personas pobres tienen más posibilidades de tener malos expedientes crediticios y de vivir en barrios con altas tasas de delincuencia, rodeadas de otras personas pobres. Una vez que el universo oscuro de las ADM ha digerido esos datos, cubre a esas personas de anuncios depredadores de prĂ©stamos de alto riesgo o de universidades privadas con ánimo de lucro. EnvĂa más agentes de policĂa a arrestarlas y, cuando son declaradas culpables, las condena a penas más largas».
Posteriormente, todos esos nuevos datos son interpretados por nuevos algoritmos que agravan la situación: se vuelve a calificar a las mismas personas como de alto riesgo, lo que hace que sean excluidas de las vacantes de las empresas, al tiempo que inflan los tipos de interés de sus hipotecas, de sus préstamos para comprarse un coche o de sus seguros de salud.
Por ello, O’Neil reclama un especial compromiso Ă©tico de aquellas personas que trabajan con las matemáticas. Unos profesionales que deben ser conscientes de que «su trabajo puede tener enormes efectos sobre la sociedad y la economĂa, muchos de ellos más allá de su propia comprensiĂłn».
Muy bueno
Comentarios cerrados.