Como o uso de inteligência artificial pode afetar a nossa vida? No dia 12 de maio, a aplicação de tecnologias de IA no setor público foi debatida durante audiência pública na Comissão de Juristas do Senado criada para tratar do marco legal para o uso da inteligência artificial no Brasil.

Nós da Coding Rights fomos convidadas para compor uma das mesas. Representadas pela Bianca Kremer, levantamos algumas perguntas essenciais: queremos realmente certas tecnologias de IA no setor público? Quem são os atores interessados nos diferentes usos de tecnologias de inteligência artificial no setor público, e que usos são esses? Há pessoas afetadas negativamente por essas tecnologias? Caso positivo, qual a extensão de violação de direitos em jogo, seja ela potencial ou efetiva?

Nesse post, trazemos alguns pontos apresentados na audiência pública. Após os questionamentos apontados acima, analisamos casos reais de implementação falha dessas tecnologias na América Latina mapeados na nossa plataforma www.notmyai.org. Leia abaixo a nossa participação na íntegra:

“Muito boa tarde a todas e a todos.

Cumprimento os ilustres membros desta Comissão, Senhoras e Senhores aqui presentes, presencial e remotamente. Reservo meus especiais cumprimentos às Ilustríssimas Dras. Claudia Lima Marques e Clara Iglesias, moderadoras do presente painel.

Parabenizo o Senado Federal pela criação desta Comissão de Juristas. E também ao Sr. Presidente, Excelentíssimo Ministro Ricardo Villas-Boas Cuêva, e à Relatora Dra. Laura Schertel Mendes, por conduzirem este plano de trabalho que, nesta primeira fase, se abre à participação pública, recebimento de insumos e contribuições multissetoriais da sociedade brasileira.

Sou professora de Direito Digital no Instituto Brasileiro de Ensino, Desenvolvimento e Pesquisa (IDP), e integro a Coding Rights: organização da sociedade civil comprometida, há cerca de uma década, com a proteção dos direitos humanos no desenvolvimento, regulação e uso das tecnologias a partir de uma perspectiva de gênero, raça, classe e sexualidade. A Coding Rights, entre outras redes, também compõe a Privacy International Network, a rede FAIR do Banco Interamericano de Desenvolvimento, focada no debate e promoção de uma inteligência artificial que promova justiça social e a Coalizão Direitos na Rede.

A Coding Rights, por meio das pesquisadoras Joana Varon e Paz Peña, vem desempenhando nos últimos três anos um extenso trabalho de pesquisa e mapeamento dos impactos da inteligência artificial no Brasil e na América Latina, em parceria com outras especialistas e organizações internacionais do eixo sul global. Um mapeamento de projetos de IA implementados no setor publico na região que tem impacto em questões de gênero e suas interseccionalidades, demonstram que a região está em fase de testes de pilotos de IA no setor público principalmente nas áreas de Policiamento, Sistema Judiciário, Educação, Saúde Pública e na Distribuição de Benefícios Sociais. Análises aprofundadas de alguns destes sistemas, bem como uma framework analítica de seus impactos em direitos humanos, podem ser acessados no site notmy.ai e em breve em português e espanhol no domínio (https://queinteligencia.org). Também estão sendo disponibilizadas informações detalhadas desta pesquisa em nossa contribuição técnica, a ser encaminhada a esta Ilustríssima Comissão de Juristas.

Na sessão de instauração da presente Comissão, o Ministro Ricardo Cuêva salientou o consenso básico presente nos estudos sobre regulação de inteligência artificial, no Brasil e no mundo, quanto ao núcleo deontológico de promoção da não-discriminação e dos valores humanos no uso e fomento de técnicas de IA. Mas que algumas escolhas difíceis ainda deveriam ser feitas, sobretudo considerando se tratar de uma tecnologia ainda nascente, mas já aplicada em diversos setores da sociedade.

A afirmação do Ministro ganha concretude quando observamos o levantamento sobre o uso de inteligência artificial pelo setor público brasileiro realizado pela Coding Rights para a mesma pesquisa mencionada anteriormente. Enviamos pedidos de acesso à informação à 45 (quarenta e cinco) Ministérios e agências federais, buscando compreender se os órgãos utilizam ou fazem testagem, ainda que em fase piloto, de sistemas de inteligência artificial ou aprendizado de máquina para desenvolvimento de seus trabalhos e funções, incluindo a implementação de políticas públicas.

Os resultados iniciais, consolidados em Outubro de 2021 indicam que a maioria dos entes do setor público brasileiro declarou que já testa ou utiliza algum tipo de inteligência artificial. São 23 entes públicos que fazem uso de desses sistemas sem a presença de um panorama regulatório em vigor, de aferição de riscos, e pouco ou nada se sabe se existem análises de impacto de danos possíveis.

Ainda à ocasião da instauração da Comissão de Juristas, a Prof. Ana Frazão destacou que o Ministro Ricardo Cuêva foi muito feliz em dizer que não sabemos exatamente que perguntas devemos fazer diante desse cenário. E que as potenciais divergências não recaem sobre os princípios e finalidades das tecnologias de inteligência artificial, e sim sobre sua aplicação.

Na direção das perguntas que precisam ser feitas, antes mesmo de abordarmos neste painel elementos como correção de vieses algorítmicos, critérios de transparência e explicabilidade, a proposta da Coding Rights é um questionamento central que, até o presente momento, tem figurado à margem, apesar de essencial: queremos realmente certas tecnologias de IA no setor público?

Esta pergunta se desdobra em outras não apenas complementares, como igualmente importantes: quem são os atores interessados nos diferentes usos de tecnologias de inteligência artificial no setor público, e que usos são esses?

Há pessoas afetadas negativamente por essas tecnologias? Caso positivo, qual a extensão de violação de direitos em jogo, seja ela potencial ou efetiva?

Dentre os mapeamentos realizados pela Coding Rights de projetos de inteligência artificial na América Latina, destacamos o Projeto Horus um sistema de predição de gravidez na adolescência como um exemplo bastante eloquente de como aparentes soluções tecnológicas de inteligência artificial podem apoiar políticas públicas discriminatórias, quando adotadas pelo poder público sem uma efetiva aferição de riscos, sejam eles individuais ou coletivos.

As pesquisadoras Joana Varon e Paz Pena apuraram que tal sistema começou a ser testado em 2015 pela Microsoft em uma parceria firmada entre a empresa e a província de Salta, na Argentina, oferecendo um sistema piloto que prometia ser capaz de ajudar o poder público a combater a evasão escolar e a gravidez na adolescência por meio de uma ferramenta preditiva. A plataforma continha um conjunto de dados de mais de 12 mil mulheres, de 10 a 19 anos, que incluíam informações como idade, bairro, etnia, nível de escolaridade da pessoa chefe de família, presença de deficiências físicas e mentais, número de pessoas que dividem a mesma casa e, até mesmo, a disponibilidade, ou não, de água quente.

Nesse sistema, os algoritmos identificavam certas características nas pessoas que as tornassem, potencialmente, sujeitas à gravidez precoce, alertando o governo para que ele trabalhasse na prevenção. A tecnologia prometia, portanto, a previsão de quais meninas (ainda crianças) estariam predestinadas a ter uma gravidez na adolescência cinco ou seis anos depois, com uma acurácia prometida de 86%.

Surgiram muitas críticas a essa plataforma na época, com destaque para a análise técnica desenvolvida pelo Laboratório de Inteligência Artificial Aplicada da Universidade de Buenos Aires, que analisou a metodologia empregada pelos engenheiros da Microsoft. Eles concluíram pela existência de resultados superdimensionados, erros estatísticos grosseiros, bancos de dados tendenciosos, e coleta inadequada de dados pela estigmatização de mulheres pobres.

Mesmo diante das críticas, a iniciativa continuou a ser testada no país, inclusive em outras províncias argentinas (como La Rioja, Chaco e Terra do Fogo). Também foi exportado para a Colômbia (no município de La Guajira) e para o Brasil. Em 2019, a Microsoft impulsionou a exportação deste sistema para o Brasil. Assim, fomos o 5º país da América Latina a receber o projeto Horus, e a primeira cidade a testar o programa foi Campina Grande, no Estado da Paraíba. A princípio, para supostamente subsidiar a melhoria das ações do chamado Programa Criança Feliz/ Primeira Infância.

Nós da Coding Rights questionamos o Ministério da Cidadania por maiores informações sobre o acordo de cooperação técnica firmado com a empresa Microsoft, através de pedidos de acesso à informação. Como resposta, recebemos as informações de que: (i) não houve repasses financeiros à empresa Microsoft; (ii) os bancos de dados utilizados para a construção de ferramentas analíticas e de inteligência artificial foram três: Sistema Único de Assistência Social, Cadastro Único e CADSUAS, do Ministério de Desenvolvimento Social.

Ou seja, toda a base de dados que compunha a plataforma era oriunda de programas sociais no Brasil. A coleta e formação de bancos de dados, portanto, se deu sobre informações de crianças pobres, do sexo feminino e em situação de vulnerabilidade social. Questionado mais uma vez por nós o Ministério da Cidadania, informaram que o acordo de cooperação vigorou por 6 meses (entre setembro de 2019 e março de 2020), e não havia informações referentes à presença, ou não, de margens de erro nas tecnologias envolvidas. O Ministério também alegou que como tratou-se de um piloto “não poderiam atender a solicitação de dados estatísticos sobre o seu uso e sua efetividade”. Ou seja, os resultados do piloto ficaram apenas como insumo para a Microsoft.

O Projeto Hórus foi um exemplo de como o Brasil, e também outros países da América Latina, estão sendo submetidos a fases de testes e projetos-piloto de uma ampla variedade de sistemas de inteligência artificial em parceria com grandes empresas privadas de tecnologia para, supostamente, ajudar a implementar serviços públicos.

Os sistemas de I.A. são instrumentos que automatizam e conferem status de resolução tecnológica a decisões ideológicas. Ou como afirma Cathy O’Neil, cientista de dados da Universidade de Harvard e autora da obra “Algoritmos de Destruição em Massa”, algoritmos são modelos matemáticos imbuídos de opinião. Quando condicionamos a disponibilidade de benefícios sociais e outros serviços públicos à tomada de decisão algorítmica, há implicações sociais em jogo. Sobretudo quando consideramos a existência de vieses algorítmicos.

Em minha tese de doutorado, conceituo vieses como pesos desproporcionais a favor, ou contra, algo ou alguém. Uma decisão enviesada, ou tendenciosa, ganha contornos de unilateralidade. Ou seja, é composta pela visão de mundo, experiência, valores e até mesmo intuição de um sujeito ou grupo em relação ao contexto no qual está inserido. As pessoas podem desenvolver vieses a favor ou contra um indivíduo, um grupo étnico, uma orientação sexual ou identidade de gênero, uma nação ou povo, uma religião, uma classe social, um partido ou posicionamento político, uma ideologia, entre muitos outros elementos. Nessa direção, os vieses algorítmicos (algorithmic bias) são o fenômeno a partir do qual as pessoas incorporam sua visão de mundo e, não raras vezes, preconceitos às tecnologias.

A inteligência artificial não é tão inteligente assim, muito menos neutra. Em apertada síntese, os algoritmos reconhecem padrões nos dados, e sua aplicação segura no contexto social — sobretudo em larga escala — pressupõe testagem e treinamento, e é justamente nas etapas de treinamento que os vieses podem aparecer e ser mitigados.

A primeira coisa que desenvolvedores e cientistas fazem quando constroem um modelo é decidir o seu objetivo. Para que essa tecnologia? Quanto mais complexo for o objetivo, mais difícil será traduzi-lo para algo computável. Promover bens jurídicos indeterminados como “otimização de recursos”, “melhoria da oferta de serviços voltados à primeira infância” e “garantir efetividade” carecem de concretude para serem passíveis de computabilidade e automação. Decisões precisam ser tomadas para definir o que, de fato, é otimizar, melhorar e efetivar dentro do objetivo definido.

A segunda coisa que desenvolvedores fazem quando constroem um modelo é realizar a coleta de dados. Os vieses podem aparecer nesta etapa de duas formas: (i) quando os dados coletados não trazem uma boa representação da realidade; e (ii) quando os dados refletem preconceitos existentes. Nesse caso, quando o sistema Horus é treinado apenas com dados de pessoas do sexo feminino, pertencentes a programas sociais, estará atrelando o fenômeno da evasão escolar e da gravidez exclusivamente a essas pessoas. Sem considerar que, por exemplo, homens também são responsáveis por essa gravidez, já que a adolescente não ficou grávida sozinha. E que pessoas mais abastadas também estão susceptíveis à gravidez. A ferramenta, portanto, estará penalizando mulheres pobres e vulneráveis com relação a homens e mulheres mais abastadas. Justamente porque o sistema foi treinado com estigmatização dessa parcela da população.

Por último, os desenvolvedores também realizam a chamada etapa de preparação dos dados, que envolve selecionar quais atributos ou variáveis o algoritmo deve considerar. Escolher quais atributos considerar ou ignorar influencia diretamente na acurácia de predição de um modelo.

Correção de vieses é um processo extremamente difícil, e traz muitos desafios no campo da regulação. Notar o impacto de um viés em um modelo não afasta a dificuldade de identificar o exato momento em que o viés foi introduzido, e de descobrir como retira-lo do modelo. Além disso, os processos de testagem — ainda que levados a cabo — não são perfeitos.

No centro da pesquisa “Not My AI”, as pesquisadoras partem da afirmação de que a retórica do vale do silício “Move fast, break things” (mova-se rápido e quebre coisas) não tem lugar na defesa dos direitos humanos e do meio-ambiente. Propõe uma mudanca de paradigma: “move slow, prove no harm first.” O efeito exponencial das novas tecnologias sobre a vida das pessoas ganha contornos ainda mais dramáticos com a automação de processos promovida pela inteligência artificial. Consertar a discriminação em algoritmos não é algo que possa ser facilmente resolvido a poucos cliques e toques. Trata-se de um processo contínuo, que permeia todos os aspectos da sociedade. São antigas dinâmicas sociais de poder, com o uso de novos aparatos tecnológicos. Por vezes, antes de pensar em mitigar vieses, deve-se perguntar: esse sistema é realmente adequado e indicado para essa situação? Esse sistema deveria existir?

A Rede Observatórios de Segurança realizou um levantamento em 2019 demonstrando que 90,5% dos presos por reconhecimento facial no Brasil são negros, evidenciando a mais bem-acabada forma de racismo algorítmico. A Coding Rights promoveu um relatório em 2021 sobre reconhecimento facial no setor público e identidades trans, vocalizando as percepções e impressões de ativistas trans sobre o potencial de transfobia em tecnologias de validação facial na carteira nacional de habilitação, e de reconhecimento facial como prova de vida no INSS.

Diante de tamanhos custos sociais e econômicos da implementação deste tipo de tecnologia, principalmente na segurança pública, qualquer legislação que pretenda regular a IA deveria abrir margem para questionamentos sobre a necessidade de sua existência para determinados fins. Nesse sentido, uma minuta de substitutivo deveria ir além para abarcar não apenas a mitigação de vieses, mas também impedir que certos sistemas sejam implementados. E isso já está ocorrendo no mundo. No ano passado, o Comitê Europeu de Proteção de Dados e a Autoridade Europeia já apresentaram opinião conjunta pelo banimento do reconhecimento de pessoas em espaços públicos através do uso de IA, fundamentada nos seus elevados riscos aos direitos fundamentais dos cidadãos. Nos Estados Unidos, diversas cidades já aderiram ao banimento desse tipo de tecnologia no setor público, como é o caso de Oakland, São Francisco e Minneapolis. Nos EUA, empresas como IBM e Amazon interromperam a venda de tecnologias de reconhecimento facial para vigilância em massa desde 2020, sobretudo no campo da segurança pública.

Busquei contribuir para o debate trazendo luz ao fato de que vieses não são facilmente sanáveis pela via técnica, e que os inúmeros benefícios econômicos da IA devem ser reconhecidos e sopesados tendo como força motriz, e epicentro do debate, sempre a proteção e a preservação dos direitos fundamentais, sobretudo a integridade psicofísica e a dignidade da pessoa humana em face dos maus usos da tecnologia, principalmente quando esses sistemas são implementados no setor público.

Reitero meus elevados votos de estima e consideração a esta Comissão, agradecendo pelo riquíssimo espaço de troca e aprendizado.

Cumprimento mais uma vez meus colegas, e passo a palavra à Ilustríssima Dra. Claudia Lima Marques.”