La automatización de la desigualdad // La trampa de la informatización

La automatización de la desigualdad Virginia Eubanks Capitán Swing, 2020 304 páginas 19 €

Un libro sobre el peligro de que los algoritmos tomen decisiones por encima del criterio de las personas.

Este libro contiene los resultados de una investigación de campo sobre sistemas de ayuda a personas desfavorecidas en EE UU, pero sus conclusiones bien pueden extrapolarse a otros entornos; quizá también a los nuestros.

Se cede a sistemas informáticos gran parte del poder de decisión sobre servicios sociales que antes tomaban seres humanos, pero esos sistemas no son neutrales; heredan los valores y objetivos de quienes los contratan e implementan. Cuando su objetivo es racionalizar y hacer más eficientes los programas sociales, tratan a los solicitantes de ayuda más como posibles defraudadores que como personas con derecho a ser asistidas. Se convierten así en un muro entre la población pobre y sus derechos legales.

Hay una obvia asimetría de poder entre los solicitantes de asistencia y quienes administran los sistemas. Se obliga a los primeros a proporcionar todo tipo de información personal y familiar, pero no se impone a los administradores la obligación de transparencia acerca de los modelos y los algoritmos que deciden la elegibilidad de las personas que solicitan asistencia. Prevalece el criterio de que las decisiones informáticas son más neutrales y objetivas que las que tomarían los asistentes sociales. En consecuencia, el número de estos se reduce, en tanto que se presiona a los que permanecen para que sus decisiones se alineen con las del ordenador. Al incrustarse como elemento central del funcionamiento de las instituciones sustituyendo a personas, los sistemas informáticos desplazan a la empatía y a la política.

Muro: Los sistemas informáticos contribuyen a privar de sus derechos a muchos solicitantes de ayudas sociales en EE UU

La autora apunta también al riesgo de extender a la gestión de otros derechos el uso de sistemas automáticos apoyados en la recogida de datos personales. No lo menciona, pero el caso de los pasaportes covid puede bien ser un ejemplo.