Sob pretexto de inovação e segurança pública, tecnologias de reconhecimento facial com eficiência ainda bastante limitada e com imprecisões consideráveis têm sido comercializadas e usadas sem regulamentação e supervisão, ameaçando propagar preconceitos e inverter o princípio da presunção de inocência.

Por Joana Varon, fundadora e diretora executiva da Coding Rights
Colaboração: Erly Guedes

Como o uso de reconhecimento facial poderá mudar sua vida? Durante o último carnaval, enquanto estávamos pulando atrás dos blocos em Copacabana, a polícia carioca resolveu fazer um experimento de vigilância em massa: 28 câmeras com software de reconhecimento facial monitoram e enviaram imagens, em alta resolução, dos nossos rostos para o Centro Integrado de Comando e Controle, onde eram associadas a bancos de dados da Polícia Civil e do Detran.

No dia 03 de abril, esse e outros exemplos de uso indiscriminado desta tecnologia “para segurança pública” foram debatidos durante audiência pública na Comissão de Ciência, Tecnologia, Comunicação e Informática da Câmara dos Deputados.

Nós da Coding Rights, com apoio da Coalizão Direitos na Rede, fomos convidadas para compor uma das mesas. Entre empresas vendedoras dessas tecnologias e como única mulher palestrante entre duas mesas de painéis da audiência, representamos alguns alertas sobre ineficácia e riscos à privacidade e outros direitos humanos, bem como sobre a necessidade de regulação dessas tecnologias.

Nesse post, trazemos alguns pontos apresentados na audiência pública. Começamos analisando casos reais de implementação falha dessas tecnologias, por exemplo, na Inglaterra:

Segundo Estudo da ONG inglesa Big Brother Watch, que realizou uma série de pedidos de acesso à informação em relacão à implementação de câmeras com essa tecnologia pela polícia de Londres e do País de Gales, um número nada razoável de pessoas inocentes foram apontadas como suspeitas. O estudo mostra que em 98% dos casos a polícia de Londres identificou de maneira equivocada pessoas inocentes, no País de Gales, tiveram 91% de erro.

O caso foi pauta até mesmo do Relator Especial da ONU para o Direito à Privacidade, que, além de criticar os erros, chegou a atestar que utilizar esse tipo de tecnologia em protestos é desproporcional e desnecessário.

Nos EUA, até mesmo o FBI também atestou em relatório de impacto de privacidade sobre o Next Generation Indentification Interstate Photo System, seu sistema de reconhecimento facial, que o sistema não é confiável e também gera falsos positivos.

Parte da polícia americana usa o sistema de reconhecimento facial da Amazon, o Rekognition, que também se mostrou impreciso. Num teste da ACLU, American Civil Liberties Union, a tecnologia da Amazon identificou de maneira equivocada 28 membros do congresso com perfis da base de dados de encarcerados. A maioria dos casos de falso positivo foi de congressistas negros.

Entre muitos outros estudos, a pesquisadora do MIT, Joy Buolamwini, tem se dedicado a apontar o viés de gênero e raça em diferentes sistemas de reconhecimento facial no projeto Gendershades. Em um teste preliminar, ela avaliou os sistemas da Microsoft, Facebook e IBM, tendo em vista que alguns deles são vendidos para governos. E os resultados foram: esses sistemas dão respostas de forma acurada quando os sujeitos são homens brancos, mas a proporção de acertos cai no caso de homens negros e é menor ainda no caso de mulheres negras. Ou seja, mulheres negras ficam mais sujeitas a falsos positivos. Na análise de erro da Microsoft, por exemplo, a pesquisadora demonstra que 93,6% das imagens que tiveram gênero equivocado eram de rostos negros.

Diante de tantas falhas, até grande empresas como o Google têm se negado a vender sua tecnologia. Outra publicação do MIT também destaca que, ainda que os procedimentos matemáticos de machine learning de sistemas de reconhecimento facial melhorem na identificação de certos grupos demográficos, ainda é necessária uma regulação para evitar o grande potencial de abuso dessa tecnologia.

Há, portanto, que ter cuidado com o hype das novas tecnologias e com as pressões do mercado. Inovação também pode ser sinônimo de abusos e ameaças a alguns direitos humanos, bem como desperdício do erário se formos ludibriados pela lógica do Robocop.

Agora, olhando para o Brasil, a situação não é diferente, o governo do Estado de São Paulo já tentou usar um sistema de câmeras inteligentes da Microsoft, que integra câmeras a bancos de dados. Dois anos após sua implementação, o relatório de fiscalização do Tribunal de Contas do Estado (TCE/SP) demonstrou que o programa Detecta, sistema eletrônico criado para permitir o uso de imagens de câmeras pela Secretaria Estadual da Segurança Pública (SSP), que custou 33 milhões de reais aos cofres públicos, ainda não era capaz de analisar crimes filmados.

Recentemente, o teste de Copacabana que mencionamos acima, aconteceu nos moldes dos testes ingleses que foram alvo de crítica do relator de privacidade da ONU. O projeto piloto de reconhecimento facial que foi realizado em Copacabana, durante o carnaval, recolheu imagens de todos os cidadãos, crianças inclusive. Uma pergunta paira no ar: quem terá acesso a todos esses dados sensíveis que são os dados biométricos? Nesse sentido, cabe destacar que o projeto piloto é produto de um termo de cooperação entre a PM, a Oi e a empresa chinesa Huawei.

A Oi já foi multada pela Secretaria Nacional do Consumidor — Senacon por venda de dados pessoais de usuários e a Huawei está sendo banida de diversos países justamente por críticas à segurança dos dados coletados e questões de soberania nacional, tendo em vista a proximidade da empresa com o governo chinês. Estados Unidos, Austrália, Nova Zelândia, Reino Unido, França, Japão, Alemanha, entre outros, têm alguma forma de banimento, proibição ou ressalva a equipamentos da Huawei nos seus serviços de telecomunicação, temendo espionagem por parte do governo chinês.

Entre organizações da Coalizão Direitos na Rede, fizemos alguns pedidos de acesso à informação para diferentes órgãos de segurança pública no Rio de Janeiro, tentando entender melhor a gestão desse sistema. Dentre as poucas respostas que obtivemos, a Secretaria de Estado de Polícia Militar informou que a polícia civil realizaria acompanhamento técnico em relação à coleta de base de dados e que tanto policiais militares quanto civis irão acompanhar o processamento dos dados, armazenados no Centro Integrado de Comando e Controle — CICC. Consideramos que um sistema desses, gestionado sem supervisão adequada por Oi, Huawei e polícia militar e civil, tem grande propensão para abusos.

Como podemos observar, todos esses casos no Brasil e outros países que adotaram recentemente o uso de reconhecimento facial para fins de segurança pública mostram que há tanto a propensão a abuso policial, como de abusos por parte do setor privado, tendo em vista que sua implementação envolve compartilhamento de dados sensíveis com as empresas privadas que implementam esses sistemas.

O status atual dessa tecnologia é, portanto, um sistema ineficaz e propenso a erros, pois não existe correlação entre diminuição da criminalidade e presença dessa tecnologia. Se observam, ainda, erros particularmente com viés de classe social, gênero e raça, atribuindo falsos positivos justamente as esses perfis. Além disso, é uma tecnologia que reforça preconceitos sociais, mantendo sistemas de persecução penal discriminatórios e estigmatização de camadas menos privilegiadas da população.

Outro ponto importante de se destacar é a carência de mecanismos de transparência e accountability desse sistema: é fundamental saber qual tecnologia está sendo usada (existem vários métodos de reconhecimento facial), que provas de erro têm sido escolhidas, como serão as avaliações futuras, que medidas técnicas e administrativas são tomadas para segurança e privacidade dos cidadãos, quem tem acesso a esses dados e que remédios existem em caso de abuso?

Diante de tudo isso, pode-se considerar que a tecnologia de reconhecimento facial é altamente invasiva, com potencial de ameaçar direitos constitucionais como a liberdade de ir e vir, reunião pacífica, bem como direito à privacidade, igualdade e presunção de inocência.

Dessa forma, qualquer uso eventual dessa tecnologia deveria antes de tudo garantir ao menos a) medidas de prevenção de abusos: a título de criatividade, o princípio da precaução, previsto na Declaração do Rio/92 sobre meio ambiente pode servir como inspiração. Tal princípio prevê “garantia contra riscos potenciais que, de acordo com o estado atual do conhecimento, não podem ser identificados”; b) transparência sobre a tecnologia utilizada, a composição da base de dados e outras informações que se façam necessárias para transparência do algoritmo, com quem essas bases de dados serão compartilhadas, quais as medidas de segurança implementadas, que usos serão dados, por quanto tempo esses dados serão armazenados, bem como informações sobre custo e efetividade do uso dessa tecnologia; c) supervisão independente e d) soluções em caso de erros e danos causados.

Para finalizar, entendemos que a segurança pública não é uma exceção da Lei Geral de Proteção de Dados (que entra em vigor em 2020), mas sim uma situação específica para a qual a LGPD já traz vetores como os princípios da necessidade, proporcionalidade e outros princípios de proteção de dados sensíveis. Para tanto, é necessário se utilizar de instrumentos da LGPD, como o relatório de impacto à privacidade, para pensar ferramentas como um relatório de impacto de vigilância vis a vis segurança pública. Não dá para negar: há uma necessidade urgente de regulação do uso dessas tecnologias no Brasil e ela deve ser encarada agora.

O vídeo de todo o debate da audiência pública está disponível no link.