Traduzido de Phys.org
Quando você procura por um novo par de sapatos online, escolhe um filme na Netflix ou solicita um aluguel de carro, provavelmente um algoritmo tem sua palavra para dizer no resultado.
Algoritmos estão sendo experimentalmente usados para escrever novos artigos de dados brutos, enquanto a campanha presidencial de Donald Trump foi feita por profissionais de marketing comportamental que usaram um algoritmo para localizar as maiores concentrações de “eleitores persuasíveis”.
Mas, embora tais ferramentas automatizadas possam introduzir uma certa dose de objetividade em decisões antes subjetivas, os temores estão aumentando em relação à falta transparência que algoritmos podem acarretar, com pressão crescente para aplicar padrões de ética ou “responsabilização”.
A cientista de dados Cathy O’Neil adverte para não “confiar cegamente” em fórmulas para determinar um resultado justo.
“Algoritmos não são inerentemente justos, porque a pessoa que desenvolve um modelo define êxito em alcançar o resultado desejado”, disse ela.
Aumentando as desvantagens
O’Neil argumenta que, embora alguns algoritmos possam ser úteis, outros podem ser nefastos. Em seu livro de 2016, “Weapons of Math Destruction”, ela cita alguns exemplos preocupantes nos Estados Unidos:
– Em 2010 , as escolas públicas em Washington DC despediram mais de 200 professores – incluindo vários professores respeitados – com base nas pontuações de um algoritmo com uma fórmula que avaliava seus desempenhos.
– Um homem diagnosticado com transtorno bipolar foi rejeitado para um emprego em sete grandes varejistas após um teste de “personalidade” de terceiros o considerar um grande risco baseado em sua classificação algorítmica.
– Muitas jurisdições estão usando “policiamento preditivo” para transferir recursos para prováveis “áreas perigosas”. O’Neil diz que dependendo em como os dados são alimentados no sistema, isso poderia levar a revelar mais crimes menores e gerar um “ciclo contínuo” que estigmatiza comunidades pobres.
– Alguns tribunais contam com fórmulas classificadas por computadores para determinar sentenças de prisão e liberdade condicional, o que pode discriminar minorias ao levar em conta fatores de “risco”, como seus bairros, amigos ou familiares ligados ao crime.
– No mundo das finanças, os corretores coletam dados de fontes online e outras fontes como novas formas de tomar decisões sobre crédito ou seguro. Isso muitas vezes amplifica o preconceito contra os menos favorecidos, argumenta O’Neil.
Suas descobertas foram repercutidas em um relatório na Casa Branca ano passado alertando que sistemas algorítmicos “não são infalíveis – eles contam com entradas imperfeitas, lógica, probabilidade e pessoas que os planejam”.
O relatório observou que sistemas de dados podem, de forma ideal, ajudar a eliminar o viés humano, mas alerta contra algoritmos que “desfavorece sistematicamente certos grupos”.
Rastros digitais
Zeynep Tufekci, um professor da Universidade da Carolina do Norte que estuda tecnologia e sociedade, disse que decisões automatizadas são frequentemente baseadas em dados coletados sobre pessoas, algumas vezes sem o conhecimento delas.
“Estes sistemas computacionais podem deduzir todo tipo de coisa sobre você a partir de seus rastros digitais”, Tufekci disse em uma palestra no TED recentemente.
“Eles podem concluir sua orientação sexual, seus traços de personalidade, suas tendências políticas. Eles têm um poder preditivo com altos níveis de precisão”.
Estas percepções podem ser úteis em certos contextos, como ajudando médicos profissionais a diagnosticar depressão pós-parto, mas injustas em outros, ele disse.
Parte do problema, ele disse, vem do fato de pedir para computadores responder questões que não tem uma única resposta certa.
“São questões subjetivas, abertas e carregadas de valores pessoais, perguntando quem a empresa deve contratar, qual atualização de qual amigo deve ser mostrada, qual condenado é mais provável de reincidir”.
O modelo da UE?
Frank Pasquale, professor de Direito da Universidade de Maryland e autor de “A Sociedade da Caixa Preta: Os algoritmos secretos que controlam dinheiro e informação” (em tradução livre), compartilha as mesmas preocupações.
Ele sugere que uma maneira de remediar os efeitos injustos pode ser a aplicação mais rígida das leis existentes sobre práticas enganosas ou proteção ao consumidor.
Pasquale aponta a lei de proteção de dados da União Européia, definida a partir do próximo ano para criar um “direito de explicação” quando os consumidores são impactados por uma decisão algorítmica, como um modelo que poderia ser expandido.
Isso iria “forçar a transparência ou impedir que algoritmos sejam usados em certos contextos”, disse ele.
Alethea Lange, analista política do Centro para a Democracia e Tecnologia, disse que o plano da UE “parece bom”, mas é, também, “repressivo” e corre o risco de se revelar impraticável na prática.
Ela acredita que a educação e a discussão podem ser mais importantes do que a aplicação mais severa da lei no desenvolvimento de algoritmos mais justos.
Lange disse que sua organização trabalhou com o Facebook, por exemplo, para modificar uma fórmula muito criticada que permitia que os anunciantes usassem a “afinidade étnica” para automatizar a marcação em fotos.
Bode expiatório
Outros, entretanto, advertem que os algoritmos não devem ser um bode expiatório para os males da sociedade.
“As pessoas ficam com raiva e estão procurando algo para culpar”, disse Daniel Castro, vice-presidente da Fundação de Tecnologia da Informação e Inovação.
“Estamos preocupados com viés, responsabilidade e decisões éticas, mas essas existem quer você esteja usando algoritmos ou não.”
