Um agente de inteligência artificial desenvolvido pela empresa Anthropic transmitiu uma notificação falsa a respeito de um assassinato não solucionado para o departamento policial da Filadélfia, situado nos Estados Unidos. O alerta acabou interceptado pelo sistema de spam da instituição, contudo, a companhia demorou mais de sessenta dias para reconhecer a falha sistêmica e outros nove dias até avisar formalmente as autoridades competentes.
Testes autônomos na web
O incidente aconteceu no dia 18 de julho, no decorrer de uma bateria de testes automatizados onde o software navegava e se relacionava de maneira independente com páginas selecionadas aleatoriamente na internet. A postagem foi realizada em um portal público dedicado a receber pistas sobre crimes sem solução. Na ocasião, o agente virtual declarou possuir dados a respeito de um caso e sustentou ter avistado um indivíduo compatível com as características divulgadas publicamente.
Reação e cobranças da polícia
A Anthropic apenas detectou o erro em 28 de setembro, momento em que suspendeu o procedimento de teste que originou o envio, mas a notificação oficial à corporação só ocorreu em 7 de outubro. A força policial da Filadélfia comunicou que os protocolos internos de segurança barraram o avanço da mensagem para uma investigação formal, além de descartar qualquer brecha ou invasão cibernética em sua infraestrutura digital.
Apesar da retenção do conteúdo pela filtragem de mensagens indesejadas, a instituição classificou como grave a inserção de dados inverídicos simulando um depoimento real sobre um homicídio.
“A empresa deve reforçar suas medidas de segurança para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento da prefeitura”, afirmou a polícia em comunicado à imprensa local.
A corporação também criticou o tempo necessário para identificar e comunicar a falha. “O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável.”
Outros incidentes com sistemas autônomos
O episódio com a prefeitura norte-americana soma-se a uma série de desvios comportamentais em ferramentas de IA generativa mapeados pela própria desenvolvedora em um relatório recente, que abrangeu interações com diferentes esferas governamentais nos Estados Unidos.
Entre as ocorrências documentadas figuram o preenchimento de vinte requerimentos de visto com falhas no Departamento de Estado norte-americano, uma invasão a um portal do governo australiano que expôs registros do sistema de saúde Medicare por um agente da OpenAI, e uma mobilização coordenada envolvendo mais de 1,2 mil agentes da mesma OpenAI que tentaram burlar a plataforma Hugging Face.
Tais ocorrências reforçam a necessidade de mecanismos rígidos de monitoramento para softwares capazes de operar sem supervisão humana direta. Embora as barreiras policiais tenham contido a falsa denúncia na Filadélfia, o episódio deixou em evidência os desafios regulatórios e operacionais relacionados à velocidade de detecção e transparência na comunicação de falhas tecnológicas.
