Os conteúdos são ordenados em função de quem fala mais no Twitter ou no Facebook. Isso não é matemática, são discriminações feitas por humanos. A pessoa que desenvolve o algoritmo define o que é o sucesso
A autora do livro Weapons of Math Destruction (“armas de destruição matemática”, um trocadilho com a expressão “armas de destruição em massa”, inédito no Brasil), que também assessora start-ups, defende que os algoritmos geram injustiças porque se baseiam em modelos matemáticos concebidos para reproduzir preconceitos, equívocos e vieses humanos. "A crise financeira deixou claro que a matemática não está apenas envolvida em muitos dos problemas do mundo, como também os agravam", considera.
O’Neil, que participou há algumas semanas de um fórum sobre o impacto dos algoritmos nas democracias, organizado pelo Aspen Institute da Espanha e pela Fundação Teléfonica, respondeu às perguntas do EL PAÍS.
Você afirma em seu livro que a matemática é mais importante do que nunca nos assuntos humanos.
Resposta. Não acho que seja a matemática, e sim os algoritmos. Essa é parte do problema; estamos transferindo nossa confiança da matemática para certos modelos que não entendemos como funcionam. Por trás deles há sempre uma opinião, alguém que decide o que é importante. Se olharmos as redes sociais, há vieses. Por exemplo, os conteúdos são ordenados em função de quem fala mais no Twitter ou no Facebook. Isso não é matemática, são discriminações feitas por humanos. A pessoa que desenvolve o algoritmo define o que é o sucesso.
Por trás dos algoritmos há matemáticos. Eles têm consciência do sistema de vieses que estão criando?
Não são necessariamente matemáticos, e sim especialistas capazes de lidar com fórmulas lógicas e com conhecimentos de programação, estatística e matemática. Sabem traduzir a forma de pensar dos humanos para os sistemas de processamento de dados. Muitos deles ganham muito dinheiro com isso e, embora do ponto de vista técnico sejam capazes de detectar essas falhas, preferem não pensar nisso. Em empresas como o Google, há quem se dê conta, mas, se manifestarem seu compromisso com a justiça, os advogados da companhia lhes farão se lembrar do compromisso com os acionistas. É preciso maximizar os lucros. Não há incentivos suficientes para transformar o sistema, para torná-lo mais justo. O objetivo ético não costuma ir acompanhado de dinheiro.
Você denuncia que os algoritmos não são transparentes, que não prestam contas do seu funcionamento. Acha que os Governos deveriam regulamentá-los?
São opacos inclusive para os que os desenvolvem, que, muitas vezes, não são suficientemente pagos para entender como funcionam. Tampouco comprovam se cumprem as leis. Os Governos devem legislar e definir, por exemplo, o que torna um algoritmo racista ou sexista.
Em seu livro, você menciona o caso de uma professora norte-americana que foi demitida por decisão de um algoritmo. Acha possível medir a qualidade humana com um sistema informático?
O distrito escolar de Washington começou a usar o sistema de pontuação Mathematica para identificar os professores menos produtivos. Foram demitidos 205 docentes depois que esse modelo os considerou maus professores. Atualmente não temos como saber apenas com dados se um trabalhador é eficiente. O dilema se você é ou não um bom professor não pode ser resolvido com tecnologia, é um problema humano. Muitos desses professores não puderam reclamar, porque o secretismo sobre como o algoritmo funciona lhes priva desse direito. Ao esconder os detalhes do funcionamento, fica mais difícil questionar a pontuação ou protestar.
Qual é a chave para poder fazer isso no futuro?
É um experimento complicado. Primeiro é preciso haver um consenso na comunidade educacional sobre quais elementos definem um bom professor. Se a intenção é avaliar se ele gera suficiente curiosidade nos alunos para que aprendam, qual é a melhor fórmula para medir isso? Se entrarmos numa classe e observarmos, poderemos determinar se o docente está incluindo todos os alunos na conversa, ou se consegue que trabalhem em grupo e cheguem a conclusões, ou se só falam entre si em aula. Seria muito difícil programar um computador para isso. Os especialistas em dados têm a arrogância de acreditar que podem resolver essas questões. Ignoram que primeiro é preciso um consenso no campo educacional. Um algoritmo estúpido não vai resolver uma questão sobre a qual ninguém está de acordo.
Resposta. Não acho que seja a matemática, e sim os algoritmos. Essa é parte do problema; estamos transferindo nossa confiança da matemática para certos modelos que não entendemos como funcionam. Por trás deles há sempre uma opinião, alguém que decide o que é importante. Se olharmos as redes sociais, há vieses. Por exemplo, os conteúdos são ordenados em função de quem fala mais no Twitter ou no Facebook. Isso não é matemática, são discriminações feitas por humanos. A pessoa que desenvolve o algoritmo define o que é o sucesso.
Por trás dos algoritmos há matemáticos. Eles têm consciência do sistema de vieses que estão criando?
Não são necessariamente matemáticos, e sim especialistas capazes de lidar com fórmulas lógicas e com conhecimentos de programação, estatística e matemática. Sabem traduzir a forma de pensar dos humanos para os sistemas de processamento de dados. Muitos deles ganham muito dinheiro com isso e, embora do ponto de vista técnico sejam capazes de detectar essas falhas, preferem não pensar nisso. Em empresas como o Google, há quem se dê conta, mas, se manifestarem seu compromisso com a justiça, os advogados da companhia lhes farão se lembrar do compromisso com os acionistas. É preciso maximizar os lucros. Não há incentivos suficientes para transformar o sistema, para torná-lo mais justo. O objetivo ético não costuma ir acompanhado de dinheiro.
São opacos inclusive para os que os desenvolvem, que, muitas vezes, não são suficientemente pagos para entender como funcionam. Tampouco comprovam se cumprem as leis. Os Governos devem legislar e definir, por exemplo, o que torna um algoritmo racista ou sexista.
Em seu livro, você menciona o caso de uma professora norte-americana que foi demitida por decisão de um algoritmo. Acha possível medir a qualidade humana com um sistema informático?
O distrito escolar de Washington começou a usar o sistema de pontuação Mathematica para identificar os professores menos produtivos. Foram demitidos 205 docentes depois que esse modelo os considerou maus professores. Atualmente não temos como saber apenas com dados se um trabalhador é eficiente. O dilema se você é ou não um bom professor não pode ser resolvido com tecnologia, é um problema humano. Muitos desses professores não puderam reclamar, porque o secretismo sobre como o algoritmo funciona lhes priva desse direito. Ao esconder os detalhes do funcionamento, fica mais difícil questionar a pontuação ou protestar.
Qual é a chave para poder fazer isso no futuro?
É um experimento complicado. Primeiro é preciso haver um consenso na comunidade educacional sobre quais elementos definem um bom professor. Se a intenção é avaliar se ele gera suficiente curiosidade nos alunos para que aprendam, qual é a melhor fórmula para medir isso? Se entrarmos numa classe e observarmos, poderemos determinar se o docente está incluindo todos os alunos na conversa, ou se consegue que trabalhem em grupo e cheguem a conclusões, ou se só falam entre si em aula. Seria muito difícil programar um computador para isso. Os especialistas em dados têm a arrogância de acreditar que podem resolver essas questões. Ignoram que primeiro é preciso um consenso no campo educacional. Um algoritmo estúpido não vai resolver uma questão sobre a qual ninguém está de acordo.
Nenhum comentário:
Postar um comentário