Por qué los algoritmos afectan más a las mujeres

Las apps y muchas soluciones tecnológicas que impactan en nuestra vida casi a diario (los resultados de Google o lo que nos enseñan las redes sociales, por ejemplo) se desarrollan usando inteligencia artificial (IA) y machine learning. La primera son grandes extensiones de código que, mediante un input de datos, crean algoritmos para que una máquina o aplicación entienda situaciones, identifique objetos, resuelva problemas y reconozca imágenes y pueda, así, ofrecer un output basado en condiciones preestablecidas. El machine learning es una técnica más avanzada que la IA. Permite a la máquina no solo analizar y procesar, sino aprender de miles o millones de datos para poder dar soluciones de forma autónoma.

Los algoritmos pueden influir en importantes decisiones, como quién obtendrá una entrevista de trabajo, la libertad condicional en un caso judicial, si el banco nos concede un préstamo y nuestra visión política y democrática según las noticias que nos enseñan las redes sociales. Es de suma importancia que se creen algoritmos eficientes, imparciales e inclusivos. Sin embargo, esto está lejos de la realidad: la sociedad moderna está creada con tecnología que satisface mayoritariamente las necesidades de los hombres blancos de países desarrollados; básicamente porque son ellos, en su mayoría, los que la crean. 

Algunos ejemplos

Si en el buscador de Google se introduce la palabra nurse (enfermero/enfermera), que en inglés es una palabra de género neutro, el resultado en imágenes son mayoritariamente mujeres. Si se hace el mismo ejercicio con programmer (programador, de género neutro también), la mayoría de resultados son hombres. ¿Quiere decir esto que no hay enfermeros, ni programadoras? ¡Claro que no!

Latanya Sweeny, profesora de Ciencias Políticas y Tecnología de la Universidad de Harvard, leyó la palabra arrested al buscar su nombre en Google. Después de investigar, su hipótesis fue confirmada: los algoritmos tienen más probabilidad de vincular arrestos policiales o antecedentes penales con ciudadanos con ciertos apellidos. En su caso, Sweeny estaba más vinculado a la raza negra, que, a su vez, se vincula en mayor medida con delitos que la raza blanca. Doble sesgo, ¡auch!

Después de alimentarse de dos bancos de imágenes diferentes, un algoritmo de la Universidad de Virginia dedujo, en el 83% de los casos, que si una persona está en la cocina es mujer. ¡Si supiese este algoritmo que mi pareja cocina más que yo! ¿Y qué pensarían Ferran Adrià, Martín Berasategui o Gastón Acurio, chefs de reconocimiento mundial, de este pobre algoritmo?

Un conocido caso en Amazon detectó que un proceso de selección daba como resultado la elección de hombres, en lugar de mujeres, el 80% de las veces. ¿La razón? El algoritmo que dio como resultado candidatos más aptos se alimentó de curriculum vitae con perfiles similares, en su mayoría de hombres.

Punto de partida  

Según Kaen Hao, editora de inteligencia artificial de la revista MIT Technology, los sesgos se pueden presentar en tres etapas: en la definición del objetivo, en la introducción de datos y/o en la elección de un atributo en lugar de otro.

Facebook, Google, Amazon y muchas grandes empresas saben que estos sesgos existen, y aunque aún no se muestran muy transparentes a la hora de enseñar los datos con los que se alimentan sus algoritmos, empieza a haber un cambio en cuanto al enfoque de diversidad en sus equipos.

Invito a hacer un ejercicio. Yo daré dos  palabras y en los siguientes tres segundos el lector debe pensar en alguien. ¿Listo? Software y sonrisa. Tres, dos, uno... ¿En quién ha pensado? ¿Probablemente en un hombre? ¿Y de raza blanca? ¿Podría ser Bill Gates, Larry Page, Mark Zuckerberg, Jeff Bezos, Simón Borrero, Oscar Pierre o Freddy Vega (fundadores o presidentes de Microsoft, Google, Facebook, Amazon, Rappi, Glovo y Platzi, respectivamente)? Y si le diera más tiempo, ¿Podría venir a su mente una mujer? ¿Y una mujer, de raza negra? En la mayoría de los casos, seguramente, me dirían que no. De ahí la importancia de tener más diversidad y mujeres en tecnología. 

Joy Buolamwini, en su charla TED How I’m fighting bias in algorithms (2017), explica cómo en un proyecto concreto de reconocimiento facial, como estudiante en el laboratorio del prestigioso MIT (Massachusetts Institute of Technology), la cámara no reconocía su cara por su color de piel. El algoritmo de la máquina no había sido alimentado con tonos de piel oscura, y en el caso de Joy no la reconocía. Así empezó su activismo por la inclusión y justicia en los algoritmos a través de su fundación Algorithmic Justice League, que recomiendo visitar, así como el documental Coded Bias en Netflix, basado en su historia.

Minimizar el impacto 

Existen varias acciones a tomar a nivel institucional público y privado: bases de datos equitativas, certificación de calidad de los algoritmos y diversidad en los equipos técnicos y de programación.

En el ámbito social e individual: cuestionamiento de los resultados de un algoritmo, participación de más mujeres en las ramas STEM (Science, Technology, Engineering, Mathematics), espacios de mentoring y networking.

La inteligencia artificial no solo no evita los sesgos, sino que puede empeorar la discriminación con resultados más sexistas, racistas o clasistas. Si le damos el 100% de razón a los algoritmos sin una verificación que demuestre los datos o la lógica que ha tenido en cuenta, muchos de los derechos y avances sociales que se han logrado podrían verse amenazados.

En general, la tecnología es neutral, no es buena ni mala. Su uso, sin embargo, sí debe tener en cuenta conceptos éticos, ya que pueden afectar a la dignidad y a la calidad de vida de las personas. Debemos aprovechar la tecnología, garantizando que los algoritmos no discriminen por género, raza, nacionalidad, ideología, etc. y procurar que los equipos de desarrollo sean lo más diversos posibles. Al tener en cuenta los posibles sesgos, quienes desarrollan deben hacer controles de calidad de su código. En decisiones fundamentales (medicina, justicia, etc.), el algoritmo puede ayudar a automatizar. Sin embargo, las decisiones finales deben ser tomadas por humanos. Existen muchos retos para el futuro y son muchas las oportunidades. ¡A ponerse las pilas, amig@s!