Lorenzo Cotino: “Todos temos um ponto sensível que um sistema pode aprender a detectar, mas os riscos se multiplicam entre os menores”

Presidente da Agência Espanhola de Proteção de Dados (AEPD), órgão que atua como Secretaria Técnica da Rede Ibero-Americana de Proteção de Dados

Lorenzo Cotino: “Todos temos um ponto sensível que um sistema pode aprender a detectar, mas os riscos se multiplicam entre os menores”

Lorenzo Cotino analisa a mudança de escala que a inteligência artificial introduz nos riscos à privacidade e defende uma inovação acompanhada de governança, transparência e controles efetivos. Reivindica regras concretas para os agentes autônomos e as neurotecnologias e alerta para uma ameaça menos visível: a criação massiva de perfis que alimentamos cada vez que fornecemos informações pessoais a uma plataforma de IA.

A autonomia da inteligência artificial ocupa as manchetes globais e a AEPD recebeu recentemente a primeira notificação de uma violação de dados na qual um agente de inteligência artificial teria atuado de forma autônoma, com intervenção humana mínima. Estamos diante de uma mudança de escala nos riscos à privacidade?

A primeira conclusão de todas essas notícias que causaram preocupação é incômoda: a IA não nos tornou, de repente, mais inseguros, mas revelou que já estávamos inseguros. Muitas brechas já existiam e não as havíamos percebido, e agora é preciso fazer, com urgência, o dever de casa em matéria de cibersegurança que já era necessário.

Além disso, surgem formas de ataque relativamente novas, como as injeções de prompts. Um e-mail ou documento pode conter instruções ocultas destinadas a contornar os níveis de segurança de um agente. E esses agentes já estão sendo incorporados a empresas e administrações para ler e-mails, consultar bancos de dados, cruzar informações ou processar orçamentos, faturas e pagamentos. Sua autonomia é muito útil, mas amplia a superfície de risco.

Quais controles deveriam ser inegociáveis antes de permitir que um agente acesse bancos de dados, aplicativos ou informações pessoais?

Quanto mais autonomia concedemos a um sistema, mais claro deve estar o que ele pode fazer, o que não pode fazer e a quais informações pode ter acesso. As permissões precisam ser hierarquizadas e compartimentadas. Nem todos os dados de uma organização devem ficar ao alcance de um agente simplesmente porque é tecnicamente possível conectá-lo a eles.

A receita essencial se chama governança. A mão direita de uma organização deve saber o que a esquerda está fazendo. É preciso conhecer os casos de uso, avaliar seus riscos e decidir quais salvaguardas cada um exige. Para isso, são necessários comitês com perfis diversos: responsáveis por inovação, cibersegurança, proteção de dados e conformidade normativa. A inovação é necessária, mas não pode avançar à margem daqueles que respondem pela segurança e pelos direitos.

Antes mesmo de capacitar, é preciso conscientizar. Quem não apostar na IA corre o risco de ficar para trás, mas também é preciso saber com o que estamos lidando. Para uma empresa, não estão em jogo apenas os direitos de clientes e trabalhadores; está em risco seu principal ativo, que é a informação.

A Rede Ibero-americana de Proteção de Dados pretende que seus padrões sejam respaldados na próxima Cúpula Ibero-Americana em Madri. Que diferença esse apoio político faria?

Os padrões foram atualizados há apenas alguns meses, e receber o respaldo dos Estados na XXX Cúpula Ibero-Americana representaria um avanço muito importante para a região. Não estamos diante de um tratado obrigatório, mas sim de um guia normativo, colocado preto no branco, sobre proteção de dados e inteligência artificial, único no mundo.

Chegar a um consenso político não é simples porque, na Ibero-América, coexistem percepções muito diferentes sobre a IA e sobre o risco de chegar a uma hiper-regulação. Precisamente por isso, buscou-se um documento que indique as principais cautelas em torno da IA sem frear a inovação nem regulamentá-la em excesso, mas acompanhando-a e indicando as principais cautelas.

A IA é imparável e oferece enormes oportunidades, mas precisa de contenção e regras

Esse respaldo também ajudaria a construir um marco comum entre países com capacidades e tradições regulatórias diferentes. Os padrões podem se tornar uma referência compartilhada a partir da qual cada Estado avance e concretize suas obrigações.

Os textos normativos exigem transparência, rastreabilidade, avaliações de impacto e auditorias. Como se audita de fato um algoritmo e que acesso as autoridades devem ter aos dados, à documentação e ao funcionamento do sistema?

A proteção de dados exige certo grau de transparência e explicabilidade tanto no setor público quanto no privado. Quando um algoritmo é utilizado por uma autoridade pública, há ainda mais razões para saber o que ele está fazendo, com quais dados trabalha, quais informações entram, quais resultados produz e quais inferências realiza, porque há direitos dos cidadãos diretamente envolvidos.

No setor privado, também temos o direito de saber que alguém está tratando nossos dados e como o faz. E, se o sistema toma decisões que nos afetam, devemos poder exigir uma explicação sobre os fundamentos dessa decisão e questioná-la. As pessoas tendem a confiar nas máquinas, mas um sistema depende de quem o projetou, de quais dados foram utilizados e de quais critérios foram adotados, e pode errar muito.

Auditar não significa necessariamente fornecer o código-fonte. Para a maioria dos cidadãos, o software, por si só, não explicaria nada. O importante é que seja possível compreender como o sistema funciona, quais critérios utiliza e por que chegou a uma determinada decisão. Essa explicação deve ser inteligível e permitir uma revisão efetiva.

O que uma pessoa pode fazer hoje para proteger seus dados e quando a supervisão humana é realmente efetiva?

A legislação de proteção de dados resistiu bem à passagem do tempo. Foi assim com as redes sociais, foi assim com a nuvem e é assim agora com a inteligência artificial.

Princípios já conhecidos — saber quais dados são tratados, limitar seu uso ao necessário e conhecer quais decisões são tomadas — continuam servindo para orientar novas tecnologias.

Mas as plataformas também devem cumprir as normas e nós, usuários, precisamos de algumas práticas mínimas de higiene. Há pessoas que inserem em sistemas de IA exames médicos, currículos ou informações confidenciais de suas organizações. Nem tudo pode ser enviado a uma plataforma, porque, ao fazê-lo, estamos fornecendo informações pessoais e, às vezes, o principal valor de uma empresa ou administração.

A supervisão humana é uma garantia e é efetiva quando a pessoa conhece o assunto, revisa o resultado e pode corrigi-lo. Não é quando se limita a confirmar o que a máquina diz porque pressupõe que estará correto. Em alguns âmbitos, serão necessários inclusive outros sistemas automatizados para detectar conteúdos sintéticos, imagens manipuladas ou ataques que o olho humano não consegue identificar sozinho.

A Rede trabalha atualmente com o Centro Nacional de Inteligência Artificial do Chile no “Relatório econômico sobre a legislação de proteção de dados”, que analisa sete países ibero-americanos e cujos resultados preliminares parecem positivos. Sem antecipar o que ainda não pode ser divulgado, que conclusões estão surgindo sobre a relação entre proteção de dados, inovação e crescimento econômico? O que este estudo, apoiado pela SEGIB, responde àqueles que apresentam a regulamentação como um freio à liberdade empresarial ou ao desenvolvimento da IA?

Uma das linhas do estudo analisa o valor econômico das decisões de adequação. Quando a União Europeia reconhece que um país oferece garantias equivalentes, os dados podem circular com muito mais flexibilidade. Isso já acontece com a Argentina e o Uruguai e, mais recentemente, com o Brasil. Queremos medir qual é o impacto dessa situação e o que aconteceria com o intercâmbio empresarial se ela deixasse de existir.

Ainda não temos conclusões definitivas, mas a hipótese que está sendo examinada questiona a ideia de que toda regulamentação necessariamente freia a inovação e a economia. A proteção de dados nem sempre é fácil de cumprir e a legislação europeia é rigorosa, mas obriga a governar e organizar bem as informações. Esse esforço pode elevar os padrões de qualidade de uma organização, porque exige saber quais dados ela possui, onde estão e quem pode utilizá-los.

Proteger as pessoas e favorecer a atividade econômica não são objetivos incompatíveis. Um marco confiável pode facilitar os fluxos de dados e proporcionar segurança jurídica a quem inova.

Os padrões atualizados reconhecem pela primeira vez os neurodados como uma matéria especialmente sensível e consideram de alto risco utilizá-los para inferir estados mentais, modificar comportamentos ou vigiar pessoas no trabalho ou na educação. O que a Rede está fazendo diante dessa nova fronteira e quais usos deveriam ser proibidos antes que dispositivos capazes de captar sinais neurais se generalizem?

O tempo das declarações genéricas sobre neurodireitos já passou. Elas representaram um primeiro avanço, mas agora é preciso levar esses princípios à realidade. A Agência impulsionou um grupo de trabalho na Rede Ibero-Americana que trabalhou durante nove meses e cujo documento foi adotado no final de maio. É um dos textos mais completos existentes sobre neurodados e seu tratamento.

A ideia básica é aplicar às neurotecnologias os princípios que a proteção de dados já oferece: transparência, explicabilidade, consentimento e conhecimento sobre quais informações são tratadas. São dados especialmente sensíveis, mas não partimos do zero, nem é imprescindível esperar por uma lei completamente nova para dispor de garantias.

São necessários, sim, desenvolvimentos adicionais e proibições muito concretas. É preciso usar o bisturi: determinar quais usos não serão permitidos nos âmbitos trabalhista, educacional ou esportivo. Além da regulamentação, a Agência também participa da elaboração de padrões técnicos internacionais para as neurotecnologias.

A atualização dos padrões ibero-americanos reforça a proteção de crianças e adolescentes. Onde se encontram hoje os principais riscos?

Os sistemas de recomendação há tempos determinam a quais informações temos acesso e quais anúncios recebemos. Os algoritmos condicionam nossa percepção da realidade, e a IA acelera esse processo porque permite elaborar perfis muito mais precisos e, portanto, aumentar a capacidade de manipulação.

Não devemos pensar que os adultos são imunes. Todos temos um ponto sensível que um sistema pode aprender a detectar. Mas os riscos se multiplicam entre menores e pessoas com vulnerabilidades cognitivas. Por isso, são necessárias regras de transparência, mecanismos de auditoria e um controle efetivo dos chamados padrões obscuros, projetados para captar nossa atenção ou nos induzir a determinadas decisões.

No mínimo, devemos saber o que os algoritmos sabem sobre nós, com que finalidade utilizam essas informações e até que ponto tentam influenciar nosso comportamento.

E, quando houver tratamento ilegal, as autoridades devem poder agir.

Para além de vieses, falsificações de identidade ou vazamentos, que ameaça à privacidade ainda não entrou suficientemente no debate público?

Há riscos visíveis e intuitivos, mas um menos evidente é a enorme criação de perfis que as grandes plataformas — as antigas e as novas — realizam sobre os usuários de IA. Está se abrindo uma nova via de captação massiva de dados e nem sempre sabemos para onde vão essas informações nem para que acabarão sendo utilizadas.

Precisamos estar conscientes dos dados que inserimos, tanto os nossos quanto os de outras pessoas. Com as redes sociais, aprendemos que, muitas vezes, o produto eram os dados que fornecíamos. Com as plataformas de inteligência artificial acontece algo semelhante: em grande medida, continuamos recebendo serviços em troca de nossas informações. Essa troca e os tratamentos que permanecem ocultos deveriam ocupar um lugar muito mais central no debate público.