Género, sesgo algorítmico y responsabilidad en IA

Relato de una capacitación sobre liderazgo femenino y del taller interno que abrió, sobre género, poder y decisión en la era algorítmica.

En este artículo cuento una iniciativa del Club de las Impostoras, grupo de afinidad de intercambio y apoyo de las mujeres de Taqtile, que empezó como una capacitación solo para ellas y terminó en una provocación para toda la empresa.

La capacitación fue Mujeres al Mando: lo que nunca te dijeron sobre llegar a la cima, con Jéssica Paraguassu. De ella salió un taller abierto a todo el equipo, con el tema ¿Quién programa el futuro? Género, poder y decisión en la era algorítmica.

La importancia de nombrar la incomodidad

Como escribió Naomi Sato en "¿Qué tipo de incomodidad quieres sostener?", la incomodidad en el ambiente corporativo tiene varias caras, pero para las mujeres es mucho más implacable. No es novedad, pero su relato lo muestra de cerca.

Todo el mundo ya sintió cierta incomodidad, una dificultad para expresarse y sentirse escuchado o reconocido en ambientes corporativos. Lo que ocurre es que, para las mujeres, esa es una realidad que empieza mucho antes, que se remonta a la infancia y a la formación.

Presentes, o incluso intensificadas en ambientes corporativos, esas incomodidades se van sumando y provocando un autosilenciamiento. Parte por cansancio, parte por la desconfianza de que serán escuchadas y reconocidas.

Lo que ocurre es que en ese proceso no solo se silencia a las mujeres, sino a toda una perspectiva, un repertorio y una experiencia de mundo que contribuirían en actividades, incluso de negocio. Jéssica no solo lo dejó claro en su taller, sino que mostró que alejar esta discusión del negocio es un error. En el video que publicamos en LinkedIn, ella lo ejemplifica bien.

Por eso, es importante crear momentos para que esas incomodidades puedan ser nombradas y debatidas. El Club de las Impostoras defiende exactamente eso: organizar espacios solo de mujeres y para mujeres puede parecer un paso pequeño, pero tiene valor real para ampliar la representatividad femenina en posiciones de liderazgo.

La participación de las mujeres en el mundo de la tecnología

Como trajo Jéssica en su taller, en los últimos 20 años hubo una caída en la participación de mujeres graduadas en Ciencias de la Computación en Estados Unidos, de 37% a 19% (NCES). No solo eso: los estudios indican que apenas el 11% de los puestos de liderazgo en IA están ocupados por mujeres, y que, globalmente, el 22% de los profesionales de IA son mujeres (Global Gender Gap Report, World Economic Forum, 2023).

En Brasil, aunque la participación femenina en el sector de tecnología creció 60% entre 2015 y 2022, el 83,3% del mercado todavía está compuesto por hombres (CNN, CAGED). El dato es aún más significativo cuando descubrimos que el 63% de las personas que trabajan en plataformas de microtrabajo en Brasil son mujeres.

Eso porque es a través del microtrabajo, no solo en Brasil, que se entrenan los modelos de lenguaje. Y, a diferencia de posiciones más formales y conocidas, la remuneración y las condiciones de trabajo son bastante inferiores (mira el reportaje de la BBC).

En efecto, como retrata la película Talentos ocultos (2016), la idea de que las mujeres no se interesan por la computación y la tecnología es bastante imprecisa. No solo formaron parte de la fundación del campo, sino que siguen impactando hasta hoy.

¿Qué tenemos que ver nosotros con esto?

Para quien quiere crear productos relevantes, resolver problemas de negocio e innovar, o simplemente ser un colega más involucrado, este tema también es importante.

Probablemente ya escuchaste alguno de estos datos:

• El 97% de los "CEO" generados por IA son hombres blancos, mientras que una "persona de servicio social" es casi siempre negra (Bloomberg).
• El error de reconocimiento facial alcanza el 34,7% para mujeres negras, frente al 0,3% para hombres blancos (Gender Shades).
• Los modelos de lenguaje tienen 4 veces más probabilidad de asociar a la mujer con el "hogar" que al hombre (Unesco).

Sin embargo, este tema no termina en los sesgos de las Inteligencias Artificiales. Como planteó Jéssica mientras nos presentaba todo ese escenario, esto se refleja también en nuestro trabajo. Porque ese sesgo no solo invisibiliza la participación y la contribución de una parte expresiva de la población, incluso en el desarrollo de tecnología, sino que evidencia que la perspectiva de las mujeres está siendo desconsiderada.

Mantener ese escenario en la adopción a escala de la IA amplifica los riesgos y los problemas, incluso invisibilizando aún más a esa parte de la población. No por casualidad, ya en 2021 una recomendación sobre la Ética de la Inteligencia Artificial fue formalmente aprobada en la Unesco por sus 193 estados miembros. Fue el primer marco normativo global asociado al tema.

Sin embargo, más allá de familiarizarse con directrices y frameworks (como exploramos a continuación), es importante reconocer en nosotros, especialmente en los hombres, la realidad de ese "silenciamiento silencioso". Porque esas perspectivas, que se pierden por la constante incomodidad y el silenciamiento provocados en las mujeres, entorpecen los procesos de innovación o de cualquier resolución de problemas de negocio. Como dijo Jéssica, muchas veces:

"Pensamos que estamos tomando decisiones racionales, desde la perspectiva más racional posible, pero ¿será que las preguntas que estamos haciendo, las investigaciones que estamos realizando, las miradas que estamos teniendo no nos están llevando a mirar el mundo desde una perspectiva que es predominantemente masculina?"

¿Qué podemos hacer diferente?

Esa fue una de las propuestas centrales del taller. Trabajando en detalle la noción de que la IA no es neutral, y de que las decisiones técnicas distribuyen riesgos y beneficios a grupos sociales específicos, la capacitación trajo una serie de provocaciones.

No podemos cubrir aquí todas las recomendaciones ni la profundidad con la que ella trató el tema (busca su capacitación); organizamos parte de lo que fue presentado. Entre las indicaciones estuvo el trabajo de Catherine D'Ignazio y Lauren F. Klein (MIT, 2020) sobre el Data Feminism como método de trabajo.

Framework: los 7 principios fundamentales

Catherine D'Ignazio y Lauren F. Klein, MIT Press (2020)

1. Examine power. Mapear quién se beneficia y quién es perjudicado por los datos
2. Challenge power. Construir datos que cuestionen, y no legitimen, desigualdades
3. Elevate emotion & embodiment. Reconocer cuerpos y afectos como dimensiones legítimas del conocimiento
4. Rethink binaries & hierarchies. Abandonar categorías que naturalizan la opresión (género binario, raza, etc.)
5. Embrace pluralism. Múltiples perspectivas producen un conocimiento más completo
6. Consider context. Los datos no hablan por sí mismos; el contexto hace al dato
7. Make labor visible. Hacer visible a quien recolecta, anota y limpia

Otro modelo presentado fue el Algorithmic Impact Assessment (AIA), un estándar creado por el gobierno canadiense que establece reglas estrictas para el uso de Inteligencia Artificial y algoritmos en servicios públicos. El AIA es una herramienta para evaluar el impacto con recorte de género, raza y vulnerabilidad antes del deploy de productos, revisada continuamente.

1. Mapear a los stakeholders afectados. ¿Quién es alcanzado por la decisión del sistema? ¿Quién queda invisible?
2. Clasificar el riesgo por categoría. Alto, medio o bajo, con recorte de género, raza y clase
3. Auditar datos de entrenamiento y salida. Métricas de equidad, subrepresentación, error diferencial
4. Definir mitigaciones y supervisión. Human-in-the-loop para decisiones sensibles; canal de impugnación
5. Revisión continua. El sistema cambia, el mundo cambia; la evaluación necesita estar viva

Para quien quiera profundizar, Jéssica organizó una bibliografía:

• BENJAMIN, Ruha. Race After Technology. Polity, 2019.
• BUOLAMWINI, J.; GEBRU, T. Gender Shades. MIT Media Lab, 2018.
• CASILLI, Antonio. Esperando os robôs. Ed. Unicamp, 2022.
• CRAWFORD, Kate. Atlas of AI. Yale Univ. Press, 2021.
• CRIADO PEREZ, C. Invisible Women. Vintage, 2019.
• D'IGNAZIO, C.; KLEIN, L. Data Feminism. MIT Press, 2020.
• EUBANKS, Virginia. Automating Inequality. St. Martin's, 2018.
• FEDERICI, Silvia. O Ponto Zero da Revolução. Elefante, 2019.
• GEBRU, T. et al. "Datasheets for Datasets". CACM, 2021.
• GEBRU, T. et al. "Stochastic Parrots". FAccT, 2021.
• GONZALEZ, Lélia. Por um feminismo afro-latino-americano. 1988.
• GRAY, M.; SURI, S. Ghost Work. HMH, 2019.
• HARAWAY, Donna. Manifesto Ciborgue. 1985 (Brasil: Hedra, 2009).
• HARDING, Sandra. The Science Question in Feminism. 1986.
• HICKS, Mar. Programmed Inequality. MIT Press, 2017.
• MITCHELL, M. et al. "Model Cards". FAT*, 2019.
• NOBLE, Safiya U. Algorithms of Oppression. NYU Press, 2018.
• WAJCMAN, Judy. TechnoFeminism. Polity, 2004.
• UNESCO. Challenging systematic prejudices. 2024.
• PretaLab + Olabi. Quem Coda BR. Pesquisas 2020-2023.

Cómo estamos internalizando las provocaciones en Taqtile

A partir de la capacitación, algunas preguntas empezaron a circular internamente. Reforzado por el Club de las Impostoras en la apertura del taller, más que contar cuántas mujeres hay o están entrando en la empresa, hay que mirar las posiciones de liderazgo e influencia. Cómo y con quién estamos tomando decisiones, qué puntos de vista se están considerando y cómo eso afecta la diversidad del equipo y de las personas que usan nuestros productos son algunas de las preguntas que todos podemos hacernos.

Además, discutimos cómo el tema se liga al principal objetivo de Taqtile en 2026: trabajar con lo que es emergente en tecnología, intercambiando aprendizajes y desarrollándonos a nosotros mismos y a los negocios con los que colaboramos. Entendiendo que cada decisión técnica que tomamos en el día a día sale de Taqtile con escala, liderar esta transición exige entender los sesgos de lo que estamos acelerando. Ese es el entendimiento que llevamos del encuentro a los proyectos.

Queda nuestro agradecimiento a Jéssica, al Club de las Impostoras y a Tuanny Martins y Naomi Sato, que organizaron el encuentro y la capacitación con la ayuda de Bianca Lima, Ysabella Andrade y Erica Urushibata.

Si quieres seguir lo que publicamos sobre IA responsable, género y tecnología aplicada a los negocios, suscríbete al newsletter de Taqtile. Es por donde contamos nuestros últimos experimentos, casos y proyectos.

Jéssica Paraguassu es maestranda en Economía Política Mundial por la UFABC, donde coordina el Núcleo de Estudios en Género y Tecnología, con investigación enfocada en los impactos de la inteligencia artificial sobre el trabajo y la vida de las mujeres. Con más de 15 años de experiencia corporativa y creadora de la metodología Mujeres al Mando, que ya alcanzó a más de 2 millones de mujeres, actúa en la intersección entre producción académica y transformación práctica, dedicada a construir un futuro más inclusivo frente a las transformaciones digitales.