“La IA ni es inteligencia ni es artificial”

Chilena de origen y en Madrid desde 2006, Paula Guerra Cáceres lleva una vida en la lucha contra la discriminación.

¿Cómo afecta la IA al género?
La inteligencia artificial no es una herramienta neutral que produce resultados objetivos, porque todas las tecnologías de inteligencia artificial se piensan, se desarrollan y se implementan en un marco global de racismo estructural. 

Las personas que hacen los algoritmos son hombres blancos.
Normalmente, tienen un perfil muy concreto: hombres blancos de clase media y alta que suelen estudiar las mismas carreras, se desenvuelven en los mismos ambientes y mandan a sus hijos e hijas a los mismos colegios. Y con esa mirada crean algoritmos sesgados.
Por ejemplo, al determinar qué datos va a clasificar y va a dejar fuera en el momento de entrenar un algoritmo. Esto se ve, por ejemplo, en los algoritmos de la policía predictiva.

¿Y en género, cómo afecta?
Estamos estudiando, por ejemplo, el sesgo algorítmico en los programas pensados para determinar qué mujeres pueden ser víctimas de violencia de género. Uno es el VioGen, que se utiliza en todas las comisarías de España. Y funciona así: cuando una mujer va a poner una denuncia, le hacen un cuestionario de muchas preguntas. La Fundación Éticas hizo una auditoría externa con las víctimas, y se vio que este cuestionario subestimaba la violencia psicológica y verbal. Estaba muy volcado a la violencia física directa, cuando todas sabemos que la violencia psicológica y verbal es la antesala de la violencia física en la mayoría de los casos. Éticas quiso acceder al código fuente de biogénesis y se le negó.

¿Por qué?
Normalmente, cuando tú quieres investigar qué tipo de datos se utilizaron para entrenar al algoritmo, lo que nos encontramos es una negativa rotunda, bajo la excusa de los derecho de autor. Pero ese algoritmo que está determinando cosas tan importantes como qué mujer va a tener una orden de alejamiento de su agresor no debería ser cerrado.  Éticas, entonces, entrevistó a mujeres a las que se le había aplicado el cuestionario.

Es raro que para violencia de género no se haya consultado a una mujer.
No te puedo decir si se hizo o no porque no es una información pública. Pero, por lo general, se toman casos históricos antiguos, se da a saber de las denuncias interpuestas de tal a tal año, y se dice “estas eran las características de los agresores. Esta eran las cosas que decían las mujeres”. 

En Internet puede pasar que alguien haya pensado que a las mujeres nos interesan las lavadoras y a los hombres los coches, y entonces reproducen la visión de género típica… 
Eso tiene que ver con el perfil que tú tienes en tu red social o el perfil que va obteniendo Internet de ti por las búsquedas que tú haces. Entonces, según esa búsqueda, también el programa o el algoritmo te va entregando determinada información. Si yo, por ejemplo, que soy una mujer chilena de 47 años, que a lo mejor he puesto mi edad alguna vez al momento de comprar algo o en alguna parte puse mi edad, entonces el algoritmo ya sabe que yo soy primero mujer, que tengo 47, que soy sudamericana y entonces al cumplir esos tres requisitos a lo mejor me empieza a mostrar anuncios de lavadoras, porque como soy mujer de 47 sudamericana, tengo que tener determinadas preferencias. Y al revés. Si, por ejemplo, al al ocupar tu portátil y poner en determinadas páginas que eres un chico, que tienes 22 y que alguna vez compraste unas zapatillas, a lo mejor te empieza a mostrar marcas de ropa deportiva o información sobre partidos de fútbol.

Es como muy básico.
Repite esos tópicos, esos prejuicios de siempre. Y volvemos a lo mismo. Y es que ahí hubo una persona detrás, de carne y hueso, con su sesgo de raza, de clase, de género, que dijo: si es una mujer de entre 35 y 55,  le voy a ofrecer un lavavajillas.

El rosa y el azul de siempre.
Siempre hay una persona detrás que va a decir que determinados datos se clasifican de tal o cual manera. Por eso, decimos siempre que la IA ni es inteligencia ni es artificial. No es artificial porque hay personas detrás y no es inteligencia porque están predeterminados, según los datos con que tú entrenes el algoritmo.