Gênero, viés algorítmico e responsabilidade em IA

Relato de um treinamento sobre liderança feminina e do workshop interno que ele abriu, sobre gênero, poder e decisão na era algorítmica.

Neste artigo, conto uma iniciativa do Clube das Impostoras, grupo de afinidade de troca e apoio das mulheres da Taqtile, que começou como um treinamento só para elas e terminou numa provocação para toda a empresa.

O treinamento foi o Mulheres no Comando: o que nunca te disseram sobre chegar ao topo, com a Jéssica Paraguassu. Dele saiu um workshop aberto a todo o time, com o tema Quem programa o futuro? Gênero, poder e decisão na era algorítmica.

A importância de nomear o incômodo

Como escreveu a Naomi Sato em "Que tipo de incômodo você quer sustentar?", o incômodo no ambiente corporativo tem várias faces, mas para as mulheres ele é bem mais implacável. Não é novidade, mas o relato dela mostra isso de perto.

Todo mundo já sentiu um certo incômodo, uma dificuldade de se expressar e de se sentir escutado ou reconhecido em ambientes corporativos. Acontece que, para as mulheres, isso é uma realidade que começa muito antes, que remonta à infância e à formação.

Presentes, ou até intensificados em ambientes corporativos, esses incômodos vão se somando e provocando um autossilenciamento. Parte por cansaço, parte por uma descrença de que serão escutadas e reconhecidas.

Acontece que nesse processo não só mulheres estão sendo silenciadas, mas toda uma perspectiva, um repertório e uma experiência de mundo que contribuiriam em atividades, inclusive de negócio. A Jéssica não só deixou isso claro em seu workshop, como mostrou que distanciar essa discussão do negócio é um erro. No vídeo que publicamos no LinkedIn, ela exemplifica bem.

Por isso, é importante criar momentos para que esses incômodos possam ser nomeados e debatidos. O Clube das Impostoras defende exatamente isso: organizar espaços só das mulheres e para as mulheres pode parecer um passo pequeno, mas tem valor real para ampliar a representatividade feminina em posições de liderança.

A participação das mulheres no mundo da tecnologia

Como a Jéssica trouxe em seu workshop, nos últimos 20 anos houve uma queda na participação de mulheres graduadas em Ciência da Computação nos Estados Unidos, de 37% para 19% (NCES). Não só isso: estudos indicam que apenas 11% das posições de liderança em IA são ocupadas por mulheres, e que, globalmente, 22% dos profissionais de IA são mulheres (Global Gender Gap Report, World Economic Forum, 2023).

No Brasil, apesar de a participação feminina no setor de tecnologia ter crescido 60% entre 2015 e 2022, 83,3% do mercado ainda é composto por homens (CNN, CAGED). O dado fica ainda mais significativo quando descobrimos que 63% das pessoas que trabalham em plataformas de microtrabalho no Brasil são mulheres.

Isso porque é por meio do microtrabalho, não só no Brasil, que os modelos de linguagem são treinados. E, diferentemente de posições mais formais e conhecidas, a remuneração e as condições de trabalho são bastante inferiores (veja a reportagem da BBC).

Com efeito, como retrata o filme Estrelas Além do Tempo (2016), a ideia de que as mulheres não se interessam por computação e tecnologia é bastante imprecisa. Elas não só fizeram parte da fundação do campo como seguem impactando até hoje.

O que nós temos a ver com isso?

Para quem quer criar produtos relevantes, resolver problemas de negócio e inovar, ou simplesmente ser um colega mais envolvido, esse assunto também é importante.

Você já deve ter ouvido algum destes dados:

• 97% dos "CEOs" gerados por IA são homens brancos, enquanto "pessoa do serviço social" é quase sempre negra (Bloomberg).
• O erro de reconhecimento facial alcança 34,7% para mulheres negras, contra 0,3% para homens brancos (Gender Shades).
• Modelos de linguagem têm 4 vezes mais chance de associar mulher a "casa" do que homem (Unesco).

Contudo, esse assunto não termina nos vieses das Inteligências Artificiais. Como colocou a Jéssica enquanto nos apresentava todo esse cenário, isso se reflete também no nosso trabalho. Porque esse viés não só invisibiliza a participação e a contribuição de uma parte expressiva da população, inclusive no desenvolvimento de tecnologia, como evidencia que a perspectiva das mulheres está sendo desconsiderada.

Manter esse cenário na adoção em escala de IA amplifica os riscos e os problemas, inclusive invisibilizando ainda mais essa parte da população. Não por acaso, já em 2021 uma recomendação sobre a Ética da Inteligência Artificial foi formalmente aprovada na Unesco pelos seus 193 estados-membros. Foi o primeiro marco normativo global associado ao tema.

No entanto, para além de se familiarizar com diretrizes e frameworks (como exploramos a seguir), é importante reconhecer em nós, especialmente nos homens, a realidade desse "silenciamento silencioso". Porque essas perspectivas, que se perdem pelo constante incômodo e silenciamento provocados nas mulheres, atrapalham processos de inovação ou de qualquer resolução de problema de negócio. Como disse a Jéssica, muitas vezes:

"A gente pensa que está tomando as decisões racionais, a partir da perspectiva mais racional possível, mas será que as perguntas que a gente está fazendo, as pesquisas que a gente está rodando, os olhares que a gente está tendo não estão levando a gente a olhar o mundo de uma perspectiva que é predominantemente masculina?"

O que podemos fazer de diferente?

Essa foi uma das propostas centrais do workshop. Trabalhando no detalhe a noção de que IA não é neutra, e de que decisões técnicas distribuem riscos e benefícios a grupos sociais específicos, o treinamento trouxe uma série de provocações.

Não dá para cobrir aqui todas as recomendações nem a profundidade com que ela tratou do tema (procure o treinamento dela); organizamos parte do que foi apresentado. Entre as indicações, esteve o trabalho de Catherine D'Ignazio e Lauren F. Klein (MIT, 2020) sobre o Data Feminism como método de trabalho.

Framework: os 7 princípios fundamentais

Catherine D'Ignazio e Lauren F. Klein, MIT Press (2020)

1. Examine power. Mapear quem se beneficia e quem é prejudicado pelos dados
2. Challenge power. Construir dados que contestem, e não legitimem, desigualdades
3. Elevate emotion & embodiment. Reconhecer corpos e afetos como dimensões legítimas do conhecimento
4. Rethink binaries & hierarchies. Abandonar categorias que naturalizam opressão (gênero binário, raça etc.)
5. Embrace pluralism. Múltiplas perspectivas produzem conhecimento mais completo
6. Consider context. Dados não falam por si; o contexto faz o dado
7. Make labor visible. Tornar visível quem coleta, anota e limpa

Um outro modelo apresentado foi o Algorithmic Impact Assessment (AIA), um padrão criado pelo governo canadense que estabelece regras estritas para o uso de Inteligência Artificial e algoritmos em serviços públicos. O AIA é uma ferramenta para avaliar o impacto com recorte de gênero, raça e vulnerabilidade antes do deploy de produtos, revisitada continuamente.

1. Mapear stakeholders afetados. Quem é atingido pela decisão do sistema? Quem fica invisível?
2. Classificar o risco por categoria. Alto, médio ou baixo, com recorte de gênero, raça e classe
3. Auditar dados de treino e saída. Métricas de equidade, sub-representação, erro diferencial
4. Definir mitigações e supervisão. Human-in-the-loop para decisões sensíveis; canal de contestação
5. Revisão contínua. O sistema muda, o mundo muda; a avaliação precisa ser viva

Para quem quiser ir mais fundo, a Jéssica organizou uma bibliografia:

• BENJAMIN, Ruha. Race After Technology. Polity, 2019.
• BUOLAMWINI, J.; GEBRU, T. Gender Shades. MIT Media Lab, 2018.
• CASILLI, Antonio. Esperando os robôs. Ed. Unicamp, 2022.
• CRAWFORD, Kate. Atlas of AI. Yale Univ. Press, 2021.
• CRIADO PEREZ, C. Invisible Women. Vintage, 2019.
• D'IGNAZIO, C.; KLEIN, L. Data Feminism. MIT Press, 2020.
• EUBANKS, Virginia. Automating Inequality. St. Martin's, 2018.
• FEDERICI, Silvia. O Ponto Zero da Revolução. Elefante, 2019.
• GEBRU, T. et al. "Datasheets for Datasets". CACM, 2021.
• GEBRU, T. et al. "Stochastic Parrots". FAccT, 2021.
• GONZALEZ, Lélia. Por um feminismo afro-latino-americano. 1988.
• GRAY, M.; SURI, S. Ghost Work. HMH, 2019.
• HARAWAY, Donna. Manifesto Ciborgue. 1985 (Brasil: Hedra, 2009).
• HARDING, Sandra. The Science Question in Feminism. 1986.
• HICKS, Mar. Programmed Inequality. MIT Press, 2017.
• MITCHELL, M. et al. "Model Cards". FAT*, 2019.
• NOBLE, Safiya U. Algorithms of Oppression. NYU Press, 2018.
• WAJCMAN, Judy. TechnoFeminism. Polity, 2004.
• UNESCO. Challenging systematic prejudices. 2024.
• PretaLab + Olabi. Quem Coda BR. Pesquisas 2020-2023.

Como estamos internalizando as provocações na Taqtile

A partir do treinamento, algumas perguntas passaram a circular internamente. Reforçado pelo Clube das Impostoras na abertura do workshop, mais do que contar quantas mulheres existem ou estão entrando na empresa, é preciso olhar para as posições de liderança e influência. Como e com quem estamos tomando decisões, quais pontos de vista estão sendo considerados e como isso afeta a diversidade do time e das pessoas que usam os nossos produtos são algumas das perguntas que todos podemos fazer.

Além disso, discutimos como o tema se liga ao principal objetivo da Taqtile em 2026: trabalhar com o que é emergente em tecnologia, trocando aprendizados e desenvolvendo a si mesmo e os negócios com que colaboramos. Entendendo que cada decisão técnica que tomamos no dia a dia sai da Taqtile com escala, liderar essa transição exige entender os vieses do que estamos acelerando. É esse o entendimento que levamos do encontro para os projetos.

Fica o nosso agradecimento à Jéssica, ao Clube das Impostoras e a Tuanny Martins e Naomi Sato, que organizaram o encontro e o treinamento com a ajuda da Bianca Lima, da Ysabella Andrade e da Erica Urushibata.

Se quiser acompanhar o que publicamos sobre IA responsável, gênero e tecnologia aplicada a negócios, assine a newsletter da Taqtile. É por onde contamos nossos últimos experimentos, cases e projetos.

Jéssica Paraguassu é mestranda em Economia Política Mundial pela UFABC, onde coordena o Núcleo de Estudos em Gênero e Tecnologia, com pesquisa focada nos impactos da inteligência artificial sobre o trabalho e a vida das mulheres. Com mais de 15 anos de experiência corporativa e criadora da metodologia Mulheres no Comando, que já alcançou mais de 2 milhões de mulheres, ela atua na interseção entre produção acadêmica e transformação prática, dedicada a construir um futuro mais inclusivo diante das transformações digitais.