De 45 entes públicos federais consultados até outubro de 2021 via Lei de Acesso à Informação, 23 declararam fazer uso de sistemas de inteligência artificial para desenvolvimento de seus trabalhos e funções, incluindo a implementação das políticas públicas. Tudo isso sem a existência de um marco legal abrangente.

*Post originalmente publicado em agosto de 2022.

Essa foi uma das conclusões apontadas na Nota Técnica enviada pela Coding Rights para a consulta pública da Comissão de Juristas do Senado Federal (CJSUBIA), responsável por estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. Em maio deste ano já havíamos participado do ciclo de audiências públicas organizado pela Comissão, participando do painel sobre “vieses e discriminação”, agora, nossa nossa técnica focou especificamente nos eixos de trabalho definidos pela consulta pública como “Impactos da Inteligência Artificial” e “Direitos e Deveres”.

Nossos dados preliminares já indicam que o uso de algum tipo de inteligência artificial pelo setor público no Brasil, ainda que em estágio piloto, é uma realidade. Mas quase nada se sabe sobre a necessidade real desses sistemas, não existem análises de impacto, ou qualquer dados que comprovem alguma eficiência na sua implementação, além de ser comum que as partes envolvidas tentem se eximir de eventuais responsabilidades.

O quadro a seguir ilustra cada órgão consultado e a resposta autodeclarada:

Desde 2018, a Coding Rights vem desempenhando um extenso trabalho de pesquisa, em parceria com outras especialistas em inteligência artificial e direitos humanos sobre os impactos da I.A na América Latina e no Brasil. Nossa Nota Técnica foi escrita com base nos resultados deste estudo, liderado por Joana Varon e Paz Peña, que segue em execução e tem parte de seus resultados consolidados no website “Not my A.I.”.

O intuito da plataforma é difundir os acúmulos já existentes acerca dos impactos do aprendizado de máquina e estimular os debates entre organizações engajadas na promoção da justiça social, particularmente em temas que visam assegurar e avançar em direitos de equidade de gênero e suas interseccionalidade de raça, classe e sexualidade. O que se espera é que novas tecnologias não sejam usadas no sentido de automatizar desigualdades históricas.

Infelizmente, isso já está ocorrendo. Governos de toda a América Latina estão implementando ou testando uma ampla variedade de sistemas de Inteligência Artificial na prestação de serviços públicos que reproduzem preconceito e discriminação. Algumas vezes com o apoio de empresas dos EUA que usam a região como um laboratório de ideias e de aplicação de tecnologias que não ousam testar em seus países de origem. Até abril de 2021 a plataforma já havia mapeado 24 casos no Chile, Brasil, Argentina, Colômbia e Uruguai, que foram classificados em cinco categorias: Educação; Sistema Judicial; Policiamento; Saúde Pública e Benefícios Sociais.

Necessidade de mudança de paradigma para longe da lógica irresponsável dos tech bros que pregam o “move fast and break things”

Sistemas de I.A. baseiam-se em modelos que são representações universalizadas e simplificações abstratas de realidades complexas nos quais muitas informações são deixadas de fora por decisão de seus criadores. Como aponta Cathy O’Neil em seu livro “Weapons of Math Destruction”: “[M]odelos, apesar de sua reputação de imparcialidade, refletem objetivos e ideologia. […] Nossos próprios valores e desejos influenciam nossas escolhas, desde os dados que escolhemos coletar até as perguntas que fazemos. Modelos são opiniões incorporadas na matemática”.

Consequentemente, algoritmos são criações humanas sujeitas a falhas. Os seres humanos estão sempre presentes na construção de sistemas automatizados de tomada de decisão: são eles que determinam os objetivos e usos dos sistemas, que definem quais dados devem ser coletados para tais objetivos e usos, que coletam esses dados, que decidem como capacitar as pessoas que usam esses sistemas, avaliam o desempenho do software e, em última análise, agem segundo as decisões e avaliações feitas pelos sistemas.

E antes mesmo de rodar algorítmos, preconceito e descriminação pode estar presente na construção do banco de dados. Conforme afirma Tendayi Achiume, Relatora Especial sobre formas contemporâneas de racismo, discriminação racial, xenofobia e intolerância relacionadas, no relatório “Racial discrimination and emerging digital technologies”, os bancos de dados usados nesses sistemas são resultado do design humano e podem ser tendenciosos de várias formas, potencialmente levando — intencionalmente ou não — à discriminação ou à exclusão de certas populações, especialmente minorias em questões de identidade de raça, etnia, religião e gênero.

Diante desses problemas, deve-se reconhecer que parte da comunidade da tecnologia tem feito várias tentativas para definir matematicamente “justiça” e, assim, atender a um padrão demonstrável sobre o tema. Da mesma forma, várias organizações, privadas e públicas, têm empreendido esforços para estabelecer padrões éticos para a I.A. A visualização de dados “Principled Artificial Intelligence”, publicada por pesquisadoras do Berkman Klein, mostra a variedade de quadros éticos e baseados em direitos humanos que surgiram em diferentes setores a partir de 2016 com o objetivo de orientar o desenvolvimento e o uso de sistemas de I.A. O estudo revela “um consenso crescente em torno de oito tendências temáticas principais: privacidade, responsabilização, proteção e segurança, transparência e explicabilidade, justiça e não discriminação, controle humano da tecnologia, responsabilidade profissional e promoção dos valores humanos”. No entanto, como podemos observar desta lista, nenhum desses consensos é impulsionado por princípios de justiça social. Talvez, em vez de perguntar como desenvolver e implantar um sistema de I.A., deveríamos antes perguntar “por que o construir?”, “é realmente necessário?”, “a pedido de quem?”, “quem se beneficia dele?”, “quem é prejudicado?” com a implantação de um determinado sistema de I.A.? Deveria tal sistema sequer ser desenvolvido e implantado?

Acreditamos que seja necessário tomar um passo atrás, e repensar a ideologia dominante do “move fast and break things”, que foi imposta pelas empresas do Vale do Silício e tem tido consequências nefastas tanto para a justiça socioambiental, como para democracias de todo o mundo. Andar com cautela e prever riscos para evitar danos tem se mostrado uma visão mais coerente com a defesa de nossos direitos fundamentais. Ou seja, enquanto não se provar que não está causando danos, principalmente se os alvos dos sistemas propostos são comunidades marginalizadas, muito provavelmente danos estão sendo causados e desigualdades históricas estão sendo automatizadas.

Para tal, com base em uma ampla revisão bibliográfica e em uma análise fundamentada em casos mapeados na América Latina, o que se segue é um esquema analítico que tem sido testada em uma série de reuniões e oficinas do projeto notmy.ai, realizadas com organizações preocupadas com a justiça social e equidade de gênero em suas interseccionalidades. O quadro analítico abaixo está em constante evolução e visa ultrapassar os discursos rasos de uma I.A. ética ou centrada em pessoas (que pessoas?) e busque ser uma estrutura holística que considere as relações de poder a fim de questionar a ideia de implantar sistemas de I.A. em vários campos do setor público.

Esperamos que esse esquema analítico também sirva de inspiração para a Comissão de Juristas do Senado na elaboração de minuta de Projetos de Lei substitutivo que verse sobre o uso de I.A no Brasil e seus princípios, particularmente no que tange os impactos da inteligência artificial, direitos e deveres.

Para ler a nota técnica na íntegra clica aqui!

E vale continuar de olho no trabalho da Comissão de Juristas, atualizações de prazos e agenda de trabalho são divulgadas aqui.

Assista também nossa participação em audiência pública no Senado.

ATUALIZAÇÃO

Como vimos, durante 2022 a Coding Rights contribuiu em várias fases de consulta pública da Comissão de Juristas do Senado instituída para subsidiar uma proposta de regulação da inteligência artificial (IA) no país. Como resultado desse processo, a Comissão (CJSUBIA) publicou um amplo Relatório Final que incorporou algumas de nossas contribuições:

• Em nossas indagações colocamos as preocupações com o modo operante dominante das empresas que trabalham com AI no Vale do Silício, principalmente quando a temática é gênero, em todas suas interseccionalidades de raça, classe, sexualidade, região e outras temáticas que apontam para desigualdades estruturais.
• Quando o tema é AI, é imprescindível falar da necessidade de alinhamento de tecnologias com os direitos humanos, mas também de avançar para compreensão das desigualdades e opressões. Acreditamos que nenhuma Tecnologia pode ser justa, ética ou inclusiva se não passar por esse princípio.
• Partindo do princípio anterior para um caso concreto, também contribuímos apresentando uma visão crítica e a favor de banir o uso de tecnologias de reconhecimento facial na segurança pública, por se tratar de uma forma de automatizar racismo e segregação de populações vulnerabilizadas.

As contribuições da Coding Rights tiveram como base os estudos do projeto notmy.ai, puxado em parceria por Joana Varon e Paz Pena.