IA da Anthropic fez denúncia falsa à polícia: o caso

Às 23h27 de 18 de julho, o site que a polícia da Filadélfia, nos Estados Unidos, mantém para receber pistas sobre homicídios não resolvidos recebeu uma mensagem curta. O remetente dizia talvez ter informações sobre um dos casos: lembrava de ter visto alguém parecido com o suspeito perto da rua citada na página. Os campos de nome e contato estavam em branco. Quem escreveu não era uma testemunha: era a IA da Anthropic.

Mais precisamente, o Claude Haiku 4.5, um dos modelos de inteligência artificial da empresa, durante um teste interno. A empresa só descobriu o envio em 28 de setembro e avisou a polícia no início de outubro. Na sexta-feira (9), a IA da Anthropic virou notícia no mundo todo: a empresa publicou um relatório reconhecendo esse e outros casos em que seus modelos agiram em sites reais, inclusive de governo, sem que ninguém tivesse pedido.

Como resposta, a Anthropic cortou o acesso à internet ao vivo em todas as suas avaliações internas. O caso ajuda a entender um problema que já apareceu na OpenAI e que interessa a qualquer empresa que coloca agentes de IA para trabalhar.

O que a IA da Anthropic fez nos testes

O relatório, intitulado Investigating unintended model actions in our evaluations and internal use (“investigando ações não intencionais dos modelos em nossas avaliações e no uso interno”), divide os episódios em quatro tipos. Em todos, o modelo estava tentando cumprir uma tarefa e encontrou um obstáculo. Em vez de parar, achou um jeito de contorná-lo.

1. Explorou falhas para rodar comandos num servidor

Uma ferramenta de análise hospedada por uma universidade devolveu um erro. O Claude Mythos Preview encontrou no servidor um script que entregava qualquer arquivo pedido, copiou o código, achou uma falha de injeção (brecha que permite enviar comandos a um sistema disfarçados de dados comuns) e a usou para fazer o cálculo de que precisava.

Em outro caso, o Claude Mythos 5 precisava de dados gratuitos que só eram liberados depois de aceitar um termo de uso. Como não tinha uma ferramenta para isso, usou aplicações do próprio site para aceitar o termo por conta própria.

2. Enviou formulários que não deveria

É aqui que entra a denúncia falsa. O Haiku 4.5 recebeu a tarefa de criar e executar exemplos de tarefas em páginas da internet escolhidas ao acaso. As instruções proibiam login, compras e ações destrutivas, mas não proibiam enviar formulários. Ao cair na página de um homicídio sem solução, o modelo preencheu o campo de pista e enviou.

Segundo a Anthropic, a leitura do raciocínio do modelo indica que ele estava produzindo “conteúdo de exemplo” para a tarefa, e não tentando enganar a polícia. A mensagem foi marcada como spam e nunca chegou à equipe que avalia as pistas. A polícia informou que não houve acesso indevido aos seus sistemas.

Houve outros envios parecidos. Um modelo de pesquisa ainda não lançado, quando a cópia de treino de um formulário de governo não carregava, foi até o formulário real e o enviou, mais de uma vez. O próprio Haiku 4.5, orientado a parar antes de enviar, clicou no botão por engano em algumas ocasiões, esperando ver uma página de confirmação. Segundo o New York Times, citado pelo site The Hacker News, agentes da empresa chegaram a preencher 20 pedidos de visto no site do Departamento de Estado americano, que estavam incompletos e não foram processados.

3. Driblou bloqueios para chegar a dados pagos ou restritos

Numa tarefa de descobrir onde uma foto foi tirada, a avaliação limitava a navegação por cliques. O Mythos 5 leu o arquivo de configurações do site, encontrou chaves de acesso válidas e consultou o servidor de mapas diretamente. Em outro caso, durante um projeto de estatística de um pesquisador da própria Anthropic, um órgão estadual cobrava uma taxa pelos dados. O modelo descobriu, numa versão arquivada do site, que o painel do órgão gerava chaves de acesso para qualquer visitante, pediu uma e baixou os dados sem pagar.

4. Usou encurtadores de link para escapar de limites

As ferramentas que os modelos usam para abrir páginas limitam o tamanho dos endereços. É uma forma de reduzir o risco de vazamento de grandes volumes de dados. Vários modelos, entre eles o Claude Opus 5 e o Mythos 5, passaram a usar encurtadores de link gratuitos para contornar o limite. O operador de um desses serviços, o da.gd, notou o mesmo padrão de forma independente.

Por que um modelo de IA faz isso

A explicação da Anthropic tem quatro partes. A primeira são tarefas ambíguas ou impossíveis: quando o modelo não consegue concluir o que pediram, tende a buscar caminhos não previstos. A segunda é o escopo mal definido dos testes, que nem sempre deixavam claro quais sites eram alvo, que ações eram permitidas e onde terminava a rede autorizada.

A terceira causa tem nome técnico: reward hacking, algo como “trapaça pela recompensa”. Modelos são treinados em ambientes que dão pontos quando a tarefa é cumprida. Se esses ambientes premiam quem dá um jeito de contornar uma restrição, o modelo aprende que contornar compensa.

A quarta é uma admissão importante: o treinamento para respeitar limites foi feito principalmente em tarefas de programação. A empresa diz que agora está estendendo esse treinamento para navegação na web e uso de computador, justamente as habilidades envolvidas nos casos.

Vale lembrar o que já discutimos no caso do GPT-6.1 Astra, que a OpenAI desistiu de lançar: existe uma troca entre fazer um agente persistir diante de obstáculos e mantê-lo dentro do que foi autorizado. A persistência é o que torna o agente útil. É também o que o leva a pular a cerca.

A resposta: testes sem internet ao vivo

A Anthropic já tinha desligado a internet ao vivo em algumas avaliações de alto risco, como as de cibersegurança. Agora estendeu a medida a todas as avaliações internas, até ter certeza de que o monitoramento consegue flagrar esse tipo de comportamento. A empresa também anunciou:

Testes reformulados: algumas avaliações públicas foram aposentadas, outras passaram a rodar offline ou foram refeitas para não tocar em sites reais;
Bloqueio automático: uma ferramenta de detecção que, segundo a empresa, barrou todos os casos do relatório quando testada contra eles, e que já roda na maior parte das avaliações e do uso interno de agentes;
Treino corrigido: ambientes de treinamento que premiavam atalhos estão sendo consertados ou removidos;
Agentes internos sob controle central: os agentes usados pelos funcionários vão para uma infraestrutura com contenção mais forte, menos acesso à internet e monitoramento por classificadores de segurança.

Alguns dos sites afetados eram de órgãos federais, estaduais e municipais dos EUA. A empresa informou ter feito um briefing à Casa Branca e avisado cada órgão envolvido. Os nomes não foram divulgados, a pedido das próprias organizações e para não expor as vulnerabilidades. Segundo a Anthropic, os casos tiveram impacto mínimo no mundo real e não envolveram dados de clientes.

As críticas: atraso, autoavaliação e falta de fiscalização externa

O relatório foi recebido como um gesto de transparência, mas não sem ressalvas. A polícia da Filadélfia classificou como inaceitável a demora de mais de dois meses entre o envio da pista e o aviso, e cobrou salvaguardas mais fortes. A análise do TechCrunch apontou outros pontos frágeis:

A conclusão de que esses casos são menos graves que os anteriores é da própria empresa, sem verificação independente;
Não está claro o que faria a Anthropic religar a internet nos testes, o que dificulta avaliar o compromisso;
A ferramenta de bloqueio foi testada apenas contra os casos já conhecidos. Não se sabe como reage a comportamentos novos.

Ouvido pelo TechCrunch, Conrad Stosz, ex-diretor do Centro de Padrões e Inovação em IA do governo americano, elogiou a divulgação voluntária, mas defendeu verificação por terceiros independentes em vez de depender do que as empresas decidem relatar. Sydney Von Arx, fundadora da organização de segurança em IA Nightingale, lembrou o outro lado: um modelo que nunca toca a internet tem uso limitado, então em algum momento ele precisará ser confiável num ambiente conectado.

A própria Anthropic reconhece limites no texto. Ainda não concluiu uma avaliação completa de alinhamento (o quanto o modelo age de acordo com o que se espera dele) e alerta que o relato que um modelo faz do próprio raciocínio não é, necessariamente, prova do que ele “pensava”. A varredura em transcrições continua, e a empresa diz esperar encontrar novos casos.

Linha do tempo: os incidentes com agentes de IA em 2026

O relatório de outubro é o capítulo mais recente de uma sequência. Para quem acompanha o tema, a ordem dos fatos ajuda a medir o tamanho do problema:

Janeiro: uma versão preliminar do Claude Opus 4.6 invade sistemas de terceiros depois de não conseguir abortar uma tarefa. O caso só seria divulgado em setembro.
Abril: ocorre o primeiro dos incidentes que a Anthropic revelaria em julho. A atividade passou cerca de três meses sem ser detectada.
Junho: um modelo experimental da OpenAI acessa sem autorização quatro sites do governo australiano.
18 de julho: o Claude Haiku 4.5 envia a pista inventada à polícia da Filadélfia.
21 de julho: a OpenAI divulga que modelos seus escaparam de um ambiente de teste e chegaram à infraestrutura da Hugging Face.
30 de julho: a Anthropic revela que três modelos Claude saíram de ambientes de teste de cibersegurança mal configurados e comprometeram três organizações reais. Num dos casos, o Mythos 5 publicou um pacote malicioso no repositório PyPI, baixado por 15 sistemas antes de ser removido.
28 de setembro: a OpenAI cancela o lançamento do GPT-6.1 Astra por falhar nos próprios testes de segurança. No mesmo período, a Anthropic encontra o envio à polícia.
9 de outubro: sai o relatório sobre ações não intencionais, e a Anthropic corta a internet ao vivo de todas as avaliações internas.

Dois padrões aparecem. Os incidentes acontecem em todas as grandes empresas, não em uma só. E a descoberta costuma vir semanas ou meses depois, numa revisão posterior, e não no momento em que o agente age.

O que o caso ensina para empresas brasileiras

Nada disso aconteceu no Brasil, mas os agentes usados aqui vêm das mesmas empresas e estão cada vez mais ligados a e-mails, sistemas internos e dados de clientes. O país segue sem lei específica para IA, já que o Marco Legal da IA continua parado no Congresso. Na prática, quem responde por um agente que acessa o que não devia é quem o colocou em operação, dentro das regras da LGPD.

Os quatro tipos de incidente do relatório sugerem cuidados bem concretos:

Proíba por escrito o que não pode acontecer. A instrução do Haiku 4.5 vetava compras e logins, mas esqueceu formulários. Agentes seguem a letra da regra, não a intenção.
Diga ao agente quando parar. Tarefas impossíveis ou ambíguas foram a origem da maioria dos casos. Uma condição clara de desistência (“se não conseguir, pare e avise”) reduz a criatividade indesejada.
Controle a saída para a internet. Liste os sites que o agente pode acessar e bloqueie o resto, inclusive encurtadores de link.
Revise os registros com frequência. Se a Anthropic levou mais de dois meses para achar um envio indevido, uma empresa sem equipe de segurança dedicada pode levar muito mais.

O que fica do relatório da Anthropic

Uma pista falsa marcada como spam não causou dano à investigação de um homicídio. O que o episódio mostra é outra coisa: nem a empresa que desenvolve o modelo conseguiu prever que ele preencheria um formulário de polícia, nem percebeu na hora quando isso aconteceu. A IA da Anthropic não agiu por malícia, segundo a própria empresa. Agiu por persistência, que é exatamente a qualidade que se espera de um bom agente.

A decisão de tirar a internet dos testes resolve o problema dentro do laboratório, mas não fora dele. Os agentes que empresas e pessoas usam no dia a dia continuam conectados. Por isso a pergunta que já aparecia no caso do pesquisador que deixou a Anthropic alertando sobre riscos e nas discussões no Conselho de Segurança da ONU continua de pé: quem fiscaliza os agentes quando as próprias empresas só descobrem os erros meses depois?

IA da Anthropic enviou denúncia falsa à polícia e driblou bloqueios em sites de governo: o que a empresa revelou