No ano passado, as grandes inovações no aprendizado por máquinas ocuparam as manchetes por razões preocupantes: elas revelaram a manutenção dos nossos próprios preconceitos ao adotá-los. Em relação aos estereótipos de gênero, há um risco duplo enraizado na maneira como as máquinas aprendem os idiomas. A linguista computacional da Babbel, Kate McCurdy, pesquisa como os algoritmos associam gênero semântico e gramatical, bem como o que isso poderia significar para a chamada inteligência artificial e como nós devemos pensar para corrigir essa tendência.
Então, vamos começar explicando seu projeto?
Bom, eu estou pesquisando o gênero gramatical em vetores de palavras (word embedding, em inglês). Os vetores de palavras são um tipo de tecnologia de processamento de linguagem natural que é aplicada a diversas coisas. No cerne disso, está um algoritmo que aprende o significado de uma palavra com base nas palavras que se encontram ao redor dela. Nos últimos anos, nós vimos desenvolvimentos bastante notáveis nessa área. Há várias pesquisas e empresas grandes, como o Facebook e o Google, que estão usando essas tecnologias. Alguns anos atrás, havia esse algoritmo novo que permitia treinar um novo modelo bem rápido, resultando em representações de significados de palavras que pareciam bem impressionantes. Assim, você podia simplesmente deixá-lo solto num corpus e ele aprenderia, por exemplo, que cachorro, gato e animal estão relacionados, ou que maçã e banana têm a ver, sem precisar ensinar isso explicitamente. Isso é bastante poderoso e está sendo usado em muitas aplicações tecnológicas. Porém, nós começamos a perceber que também alguns de seus problemas.
Porque esses algoritmos estão pegando associações de gênero…
Correto. O negócio é o seguinte: ao mesmo tempo que eles são bons em aprender coisas bastante úteis, como a relação entre maçã e banana, eles também aprendem coisas que não são úteis. Basicamente, eles estão aprendendo representações que nós provavelmente não queremos que eles tenham. Então, no ano passado, vários pesquisadores publicaram descobertas mostrando que, por exemplo, essas tecnologias estavam aprendendo que termos profissionais, como negócios, escritório e salário, são sistematicamente aproximados de palavras associadas a homens, como tio e pai. Tendências masculinas. E o aprendizado de termos associados à casa e à família era relacionado a termos associados ao feminino.
Há uma ocorrência meio famosa disso, numa das pesquisas publicadas. Uma das propriedades mais impressionantes dos vetores de palavras é que eles podem desempenhar o que é chamado de trabalho de analogia. Nele, você pega um modelo de vetor e diz: “Homem está para mulher como rei está para…”. Aí você o deixa preencher o espaço em branco, como faria com uma pergunta de múltipla escolha, e ele responde rainha. Impressionante, não é mesmo? Mas aí quando você diz algo como “homem está para mulher como piloto está para…”, ele responde comissária de bordo. Isso realmente fez as pessoas pensarem. Acontece que ao treinar com as probabilidades estatísticas das palavras no texto, ele acabou construindo um modelo repleto dessas associações de palavras que nós não queríamos enxergar de verdade. Gênero é apenas a ponta do iceberg. Os mesmos pesquisadores encontraram associações problemáticas em relação a etnias, nomes étnicos etc.
Sim, claro.
Basicamente, os vetores de palavras aprendem associações que podem acabar sendo extremamente problemáticas. Especialmente se eles estiverem envolvidos em outros tipos de aplicações. Um pesquisador deu um exemplo bastante revelador. Imagine que você trabalha no Google e está procurando candidatos para um certo trabalho de programação de computadores…
Certo!
E vamos dizer que você esteja procurando candidatos numa universidade local ou algo assim. Porém, como os nomes de pessoas também recebem uma representação no texto que esses algoritmos estão processando, a aplicação pode aprender que nomes como Mark ou John são mais associados à programação de computadores do que… Samantha. E, por causa disso, talvez coloque candidatos com nomes masculinos no topo na lista. Então se você é responsável pela contratação e está buscando candidatos, isso poderia influenciar estatisticamente os resultados que você recebe. E essa é apenas uma das formas sutis como essas tecnologias podem entrar em conflito com situações da vida real, com riscos reais.
E como é a interseção com o gênero gramatical? O inglês é um pouco menos complicado nesse aspecto, mas provavelmente há ramificações para os idiomas que apresentam gêneros gramaticais.
Sim, sem dúvida. Bom, os problemas que nós estávamos discutindo procedem das observações de outros pesquisadores. Eu e o grupo aqui na Babbel estamos pesquisando isso que você acabou de dizer, como essas tecnologias interagem com idiomas que apresentam gêneros gramaticais. Em espanhol, francês ou alemão, nós sabemos que a palavra pai não se refere ao homem apenas semanticamente. Nós sabemos que a palavra é masculina porque, no caso do alemão, o artigo que a acompanha é masculino: der Vater. Em espanhol, el padre. Então essa questão do gênero semântico é colocada ao lado do gênero dos artigos, o gênero gramatical das próprias palavras. Isso se estende aos objetos também. Mesa é masculino em alemão, mas feminino em francês e espanhol.
O interessante é que é bem óbvio que, para os humanos, há certa lógica nas referências de gênero. Historicamente há associações – muitas das quais estão sendo cada vez mais contestadas. Em sueco, por exemplo, foi criado recentemente o pronome de gênero neutro, hen. Em todos os lugares, as pessoas estão refletindo sobre isso, sobre essa questão cultural. A falta de consistência no gênero gramatical da palavra mesa em alemão e espanhol revela, de certa forma, que não há uma verdade universal aqui. Uma mesa não tem gênero. O mesmo vale para a maioria dos objetos. Mas o meu grupo descobriu o seguinte: como esses modelos de vetores de palavras estatísticos se baseiam nas palavras ao redor de outras palavras, se você não corrigir isso a tempo e estiver treinando um modelo em alemão, eles vão aprender que mesa é, de fato, masculina. Vai ocupar ao mesmo espaço semântico de pais e irmãos. E isso acontece com qualquer palavra associada ao masculino gramatical.
Então, em alemão, a palavra atleta tem uma forma masculina e uma feminina: der Sportler e die Sportlerin. E mesa será aproximada da forma masculina, conforme o modelo aprende a palavra. Porém, como mesa é feminino em espanhol, o modelo aprende que a palavra pertence ao espaço semântico feminino, ao lado de mães e tias. Isso indica as propriedades arbitrárias de gênero da linguagem, em que qualquer falante sabe que não existe nada realmente masculino ou feminino em uma mesa – além de suas próprias associações mentais –, mas acontece que esses modelos estão aprendendo o contrário. E isso pode estar influenciando os resultados que eles estão dando nas aplicações.
Por exemplo, você está pesquisando em um espaço de recomendações de produtos. Você procura um presente para uma amiga, com um nome feminino. Se você procurar em espanhol, vai receber resultados diferentes do que se fizesse a pesquisa em alemão – porque as propriedades de gênero dos resultados são diferentes nesses dois idiomas. Isso pode ocorrer de diversas maneiras sutis, mas se você não perceber o que está acontecendo, não pode corrigir isso.
Na sua pesquisa, você já observou sinais que apontem para possíveis intervenções corretivas?
A maneira super fácil de corrigir isso é se livrando do artigo, certo? Simplesmente deixe os artigos de fora quando estiver treinando os dados e diga, de certa forma, que eles não estão dando nenhuma informação significativa. Para mim, essa é uma correção que funciona um pouco para alguns idiomas. Mas nós precisamos ir além disso com outros idiomas. Por exemplo, em alemão, os artigos não carregam apenas a informação do gênero como também do caso. Então vale a pena pensar em uma abordagem mais sofisticada. Na nossa pesquisa, nós só fizemos primeiro a coisa mais simples e óbvia para mostrar alguma prova do conceito – é possível treinar um modelo sem resultar nesses preconceitos quanto ao gênero gramatical. Mas acho que é necessário pensar um pouco mais para que funcione bem, pois idiomas diferentes têm necessidades diferentes. Esses vetores de palavras são bem desenvolvidos e inovadores em inglês. Desse modo, eles refletem a lente em que nós temos esse algoritmo, nos aproximando do significado da palavra em inglês, porém, nós precisamos pensar nas necessidades e propriedades específicas de outros idiomas para conseguir empregá-los de forma relevante.
E isso está impulsionando o trabalho aqui na Babbel de alguma forma específica?
Bem, nós estamos pesquisando maneiras diferentes de usar a tecnologia da linguagem para o aprendizado de idiomas, certo? Então se tem um caso em que certa palavra funciona bem em inglês, mas não em espanhol ou outro idioma – vamos dizer que estamos criando uma atividade de compreensão de texto para quem está aprendendo espanhol ou alemão, e nós perguntamos qual conjunto de palavras se parece mais com os outros –, nós podemos acabar dando alguma informação errada ao usuário se não conseguirmos anteceder esse tipo de coisa. Um modelo pode encurtar a distância semântica entre duas palavras por causa do gênero gramatical, privilegiando isso em vez de outra relação mais significativa.
Indo um pouco além, onde estão as implicações sociais mais interessantes para a análise crítica desses modelos?
Em qualquer lugar onde a chamada tecnologia de inteligência artificial esteja sendo usada, na verdade. Acho que ela está adentrando nossas vidas cada vez mais e de vários modos bem obscuros. É difícil determinar seus efeitos. De fato, na nossa pesquisa, nós estamos destacando apenas um em, provavelmente, centenas ou milhares de fatores que podem estar afetando as decisões do sistema. Isso significa algo para você ou para mim como consumidora ou buscadora, a um dado momento.
Outra pesquisa bem interessante, publicada recentemente, revelou que há associações com os papéis semânticos de imagens. Por exemplo, a associação entre mulher e cozinhar é tão forte que, para alguns algoritmos treinados em rotular imagens, se você der uma imagem de um homem cozinhando, ele vai dizer que é uma mulher, tamanha a força da associação. No momento, isso é só um resultado dos dados. Acho que é difícil imaginar agora todas as implicações significativas disso. Pense nos sistemas para selecionar funcionários, algoritmos que procuram termos-chave em currículos. É uma prática comum em muitas indústrias. E se você não se atentar a isso, então esses preconceitos específicos da linguagem podem influenciar os tipos de currículos que obtêm uma posição melhor.
Certo. É claro.
Isso pode acabar afetando toda a estrutura do mercado de trabalho. Pode acabar afetando qualquer espaço onde são usadas tomadas de decisão automatizadas em qualquer tipo de capacidade institucional ou estrutural. Se algo estiver se apoiando em uma tecnologia que é meio obscura, isso vai ter implicações aos consumidores. Sem dúvida, é algo relevante. Mas isso também pode ser usado em todas as capacidades institucionais. De toda forma, por ser tão obscuro, que é difícil antecipar danos específicos. Porém, é exatamente isso que torna tão importante conseguir extrair esses casos um por um e apontar os fatores potenciais que podem estar em jogo.