Assim os algoritmos perpetuam a desigualdade social

Cathy O’Neil é uma matemática de cabelo azul que dedica todos os seus esforços a abrir os olhos das pessoas sobre os algoritmos que dominam o mundo. Desde os que indicam ao banco se você é apto ou não a receber uma hipoteca, até os que decidem quem merece uma vaga de trabalho. Um sistema que pode perpetuar as desigualdades existentes no mundo se não começarmos a ser críticos, defende a cientista. “Estamos dando poder a mecanismos sem nos perguntar se realmente funcionam, isso é uma falha como sociedade”, explica de Nova York ao outro lado do telefone.

O’Neil, em seu livro Armas de Destruição Matemática, mostra alguns exemplos para colocar essa teoria em termos reais. Viaja em algumas de suas páginas a Reading, uma pequena cidade da Pensilvânia (Estados Unidos) que em 2011 tinha um nível de pobreza superior a 41%, o mais alto de todo o país. Com um efetivo reduzido pela crise, o chefe de polícia investiu em um programa de predição de crimes chamado PredPol que funciona com big data. O aplicativo divide a cidade em quadrantes e determina em qual deles é mais possível que se cometa um crime baseando-se no registro histórico da polícia. No leque de dados estão desde crimes mais leves como perturbação da ordem pública (beber na rua, por exemplo), até homicídios.

Quanto maior for o número de agentes enviados aos pontos indicados pelo programa, mais prisões ocorrem e assim se entra em um círculo vicioso que enche as prisões de gente, em sua maioria, acusada de crimes menos graves. A maioria dos detidos é de negros e hispânicos. “O mapa da delinquência gerado desse modo traça na realidade um rastro de pobreza”, diz a autora. “Continuamos prendendo negros por coisas pelas quais não prendemos brancos, mas agora já não o dizemos abertamente e disfarçamos de ciência porque o fazemos com o PredPol. Continuamos com o ciclo, porque continuamos prendendo gente de um bairro e os dados nos dizem que precisamos voltar a esse bairro, dessa forma a injustiça policial continua”, afirma na entrevista.

Continuamos prendendo negros por coisas pelas quais não prendemos brancos, mas agora já não o dizemos abertamente e disfarçamos de ciência

Vários estudos já indicaram que estamos cedendo o controle a mecanismos automáticos que perpetuam a discriminação. Do algoritmo do Google que identificou um negro como um gorila em uma foto, até a máquina que relaciona estar na cozinha com uma mulher, ou o algoritmo do Facebook que mostrava anúncios de casas à venda somente a usuários brancos. “Os engenheiros pensam em termos de otimização dos recursos, o que é preciso é diversidade nas equipes que escrevem os algoritmos para que incluam pessoas que pensem nas violações dos direitos humanos e na forma como esses códigos irão afetar a sociedade: sociólogos, advogados, psicólogos...”, afirma.

A matemática afirma que já é tarde para se preocupar pelo fato de que nossos dados estejam disponíveis, que agora é preciso perguntar às empresas e gigantes tecnológicos o que estão fazendo com eles. “Não nos damos conta na maioria das vezes que nos analisam, especialmente na Internet. Quando somos conscientes de que recebemos uma pontuação de acordo com nossos dados, a primeira coisa que precisamos fazer é pedir explicações, que nos mostrem o processo pelo qual fomos qualificados, se é algo importante como uma hipoteca e um trabalho, até mesmo utilizando mecanismos legais. As vezes em que não percebemos, são os Governos europeus e o dos Estados Unidos que precisam estabelecer normas que indiquem que a cada vez que recebemos essa pontuação precisamos saber”, diz O’Neil.

O’Neil apagou sua conta do Facebook há um ano (e a do Twitter também não está disponível há algumas semanas), logo depois das eleições vencidas por Donald Trump e que agora estão sendo investigadas pelo uso dos dados de milhões de usuários do Facebook. O escândalo levou seu criador, Mark Zuckerberg, a dar explicações no Senado dos Estados Unidos. “É preciso obrigar empresas como o Facebook a explicar o que estão conseguindo com produtos, em vez de assumir que estão fazendo o melhor. Já temos a suspeita de que o Facebook ajudou a divulgar notícias falsas, a influenciar o resultado de votações, a fazer com que as pessoas acreditassem em teorias da conspiração. Por que não temos as provas reais, por que não as mostram?”, pergunta a especialista.

O que acontece nos países menos desenvolvidos? São mais vulneráveis? “Lamentavelmente não acho que têm a oportunidade de tomar o controle porque as empresas norte-americanas e chinesas estabelecerão suas regras mais rápido do que as próprias pessoas”. Os dados variam, mas a Africa 2.0 International Foundation dizia em uma conversa há um ano que no continente africano existem 800 milhões de terminais, quando há 50 anos só existiam 40.000 telefones. Esses dispositivos, com Internet ou sem, já são uma fonte inesgotável de dados às empresas.

A matemática se mostra otimista, porque pelo menos os algoritmos fazem parte do debate atual, e não se cansa de alertar sobre a confiança cega no big data: “Se você só usa dados do passado, está condenado a repeti-lo. É preciso se perguntar aonde você quer chegar, em vez de se limitar a analisar de onde você vem. Se estivéssemos orgulhosos de nosso sistema, poderíamos querer usar esses dados para manter tudo igual, mas não é o caso”.

Patricia Peiró