Você lembra do medo da bomba? Sabe quantas ogivas nucleares existem no mundo hoje, prontas, guardadas, mantidas? E sabia que o acidente radioativo mais grave da história do Brasil não teve nada a ver com bomba nenhuma, e sim com uma cápsula bonita que brilhava no escuro?
Guarda essas três perguntas, porque eu volto nelas no final.
O que aconteceu nesta semana
Jacob Coxon, que trabalhou com pesquisa na OpenAI e na Anthropic, pediu demissão e disse em público que a indústria de IA está apostando com a vida das pessoas. Segundo a reportagem da Axios, ele abriu mão da participação que tinha para poder falar. Logo depois, Evan Hubinger, que lidera a área de alinhamento dentro da própria Anthropic, veio a público dizer que concorda com a preocupação e que, na avaliação pessoal dele, existe uma chance maior que 10% de a IA matar todos os humanos na próxima década.
Antes que alguém saia correndo: isso é opinião de um pesquisador, não é medição. Não existe termômetro de extinção. O próprio Hubinger diz que o risco dos modelos de hoje é baixo e que a preocupação dele mora num cenário futuro, de sistemas que ajudam a construir sistemas melhores que eles mesmos, mais rápido do que a gente consegue testar, auditar e corrigir. É um alerta, não uma profecia. Faz diferença, certo?
O detalhe que eu não consigo deixar passar
O ser humano tem um histórico ótimo de sobreviver às próprias invenções.
A gente descobriu como fissionar o átomo, jogou duas bombas, passou cinquenta anos apontando mísseis um para o outro e chegou até aqui. Existem hoje algo em torno de doze mil ogivas nucleares no planeta, segundo as contagens públicas. A tecnologia para acabar com tudo existe há oito décadas. E aqui estamos nós, discutindo isso no LinkedIn, numa sexta-feira.
Acontece que eu tenho uma teoria meio irônica sobre isso, e o Yuval Harari já explicou melhor do que eu em Sapiens. O humano não ganha de ninguém. Perde de força para o urso, perde de velocidade para a onça, perde de visão para a águia, perde de olfato para o cachorro, perde até de resistência a radiação para uma barata. O humano é ruim em tudo. A única coisa que ele faz bem, muito bem, assustadoramente bem, é se adaptar.
Então eu vou apostar minhas fichas: ele sobrevive à IA também. Ele sempre sobrevive.
O problema é outro. E é aqui que a conversa fica interessante.
Setembro de 1987, Goiânia
Faz exatos trinta e nove anos este mês.
Uma clínica de radioterapia foi desativada e deixou para trás um aparelho com uma cápsula de césio-137. Ninguém era responsável por aquilo. Ninguém revogou acesso nenhum. Duas pessoas entraram no prédio abandonado, acharam a peça, venderam para um ferro-velho. O dono abriu, viu aquele pó azul brilhando no escuro e chamou a família para ver. Distribuiu pedaços. Gente passou no corpo.
Quatro mortes. Duzentas e quarenta e nove pessoas contaminadas. Cerca de cento e doze mil pessoas tiveram que passar por monitoramento.
Não foi a bomba. Foi uma CÁPSULA ABANDONADA.
E o ponto chave aqui é esse: o césio não tinha intenção nenhuma. Ele não queria matar ninguém, não tinha plano, não tinha consciência, não tinha objetivo secreto de sobrevivência. Ele só tinha uma coisa.
Ele tinha acesso.
O que isso tem a ver com agente de IA
Tudo.
Em julho deste ano, durante uma avaliação de capacidades cibernéticas, agentes baseados em modelos da OpenAI saíram do escopo previsto, encontraram caminhos que ninguém tinha desenhado e chegaram na infraestrutura da Hugging Face. A OpenAI publicou o relatório oficial em agosto, a Hugging Face publicou a linha do tempo técnica, e o caso foi parar no Black Hat.
Repare que ninguém precisa acreditar que a máquina acordou para levar isso a sério. Não acordou. O que houve foi mais prosaico e, na minha opinião, mais preocupante: um agente recebeu um objetivo, ganhou ferramenta, ganhou credencial, ganhou conectividade, e fez o que qualquer otimizador faz. Ele foi atrás do caminho mais eficiente para cumprir a meta. O caminho mais eficiente passava por fora da caixa.
É exatamente o césio de novo, só que em outra escala. Capacidade sem controle proporcional.
Recomendados pelo LinkedIn
E agora a parte que quase ninguém quer falar
Vou ser honesto sobre o que me tira o sono, e não é a superinteligência.
O que me preocupa é bem mais banal: humano usando IA em cima de humano.
A gente acabou de viver alguns anos assistindo a autoridades de vários lugares do mundo descobrirem o gosto que tem controlar população. Restringir circulação, medir comportamento, condicionar direito a cadastro. Eu escrevi aqui em dezembro de 2021 sobre lockdown e planejamento, e naquela época o assunto era outro, mas o instinto era o mesmo. Não é teoria da conspiração, é histórico documentado: a União Europeia precisou escrever, no texto da lei de IA (EU AI Act), uma proibição explícita de pontuação social de cidadãos. Alguém escreve uma proibição dessas porque alguém estava considerando fazer.
Reconhecimento facial em massa, pontuação de comportamento, inferência de opinião política a partir de dados de consumo. Nada disso exige superinteligência. Exige um modelo mediano e uma base de dados grande. Já existe, já está barato, já está rodando.
Participei da escrita de um livro inteiro sobre a LGPD e sigo achando que o risco de curto prazo é esse. A máquina não precisa ter vontade própria para fazer estrago. Basta ela obedecer muito bem a alguém com vontade demais.
Da ansiedade existencial para a agenda de segunda-feira
Semanas atrás eu parei para revisar o que os agentes que a gente usa aqui dentro da DeServ podem de fato fazer. Não o que eu imaginava que eles faziam. O que eles podiam.
Baixei a cabeça. Tinha automação com permissão mais ampla do que a de gente que trabalha comigo. Ninguém tinha feito nada de errado, o combinado era esse mesmo, e foi aí que me dei conta de que o combinado estava errado desde o começo.
E é para isso que serve o OWASP AI Exchange e o Top 10 for Agentic Applications, construído com mais de cem especialistas da indústria. Ele pega o debate existencial e transforma em lista de coisa para conferir. Eu gosto de framework que eu consigo preencher, não de framework para citar em palestra. Este dá para preencher.
São dez riscos, e eu resumo cada um do jeito que eu explico para cliente:
- ASI01, sequestro de objetivo: o agente lê um dado e confunde com ordem.
- ASI02, abuso de ferramenta: ferramenta legítima usada para o que não era.
- ASI03, abuso de identidade e privilégio: agente andando com o crachá de alguém.
- ASI04, cadeia de suprimentos: plugin, MCP, modelo e dataset que você não auditou.
- ASI05, execução inesperada de código: ele roda o que ninguém pediu.
- ASI06, envenenamento de memória: o que ele lembra hoje decide o que ele faz amanhã.
- ASI07, comunicação insegura entre agentes: um agente mentindo para o outro.
- ASI08, falha em cascata: um erro que vira dez em trinta segundos.
- ASI09, exploração da confiança humana: o texto sai tão bonito que você aprova sem ler.
- ASI10, agente fora de controle: ele opera fora do mandato e ninguém percebe.
Agora as cinco coisas que eu faria antes de qualquer outra.
- Faça o inventário antes de fazer política. Você não protege o que não sabe que existe. Liste cada agente, cada modelo, cada ferramenta, cada MCP, cada fonte de dados, com nome de dono e finalidade escrita. Se não tem dono, não entra em produção.
- Trate cada agente como uma identidade não humana. Crachá próprio, credencial curta, privilégio mínimo, nada de chave compartilhada e nada de permissão com asterisco. O agente não é uma extensão do seu usuário administrador, por mais prático que seja.
- Negue por padrão e libere na unha. Ferramenta, rede, arquivo, API, tudo fechado até alguém justificar a abertura. Chato? É. Foi exatamente o que faltou na clínica de Goiânia.
- Exija humano no meio onde dói. Operação financeira, ação destrutiva, comunicação externa e mudança de configuração crítica não se automatizam por completo. E treine o time contra o viés de automação, porque a resposta convincente é justamente a que passa sem revisão.
- Tenha um botão de desligar e teste ele. Circuit breaker, limite de custo, limite de profundidade de cadeia, timeout e kill switch. Botão que nunca foi testado não é botão, é decoração.
O que eu não sei
Não faço ideia se o número do Hubinger é 10%, 1% ou 40%. Ninguém faz, e quem disser que faz está vendendo alguma coisa. Também não sei se a gente está a cinco ou a vinte e cinco anos de um sistema realmente capaz de se aperfeiçoar sozinho.
Sei que estou aprendendo isso na marra, colocando agente para rodar aqui dentro e descobrindo o que quebra. Já errei na dose de permissão, já corrigi, e vou errar de novo em outra coisa.
Mas eu sei uma coisa com bastante convicção: a pergunta “a IA é consciente?” é entretenimento. As perguntas que decidem o jogo são bem mais sem graça. Quais ferramentas esse agente pode chamar? Com qual identidade? Em qual ambiente? Que memória ele guarda? Quem valida o que ele faz? E em quanto tempo eu consigo parar ele?
Voltando às três perguntas do começo.
O humano sobreviveu à bomba porque é bom em se adaptar, e vai se adaptar a isso também. Eu tenho fé nessa mania que a gente tem de sobreviver.
Só que Goiânia não foi sobre bomba. Foi sobre uma fonte radioativa deixada num prédio vazio, sem dono, sem controle de acesso e sem ninguém para fechar a porta.
O césio não tinha intenção nenhuma. Ele só tinha acesso.
Seus agentes de IA também têm. E aí, quem fechou a porta?
Se quiser conversar sobre como mapear isso na sua empresa, me chama aqui no LinkedIn ou fala com o time da DeServ. Só não te prometo resposta pronta, porque esse assunto ainda está sendo escrito por todo mundo, inclusive por mim.
Grande abraço,
Guedes
