LOS ANGELES — O CEO da Anthropic, Dario Amodei, afirmou que o setor de inteligência artificial precisa reduzir o ritmo de desenvolvimento e ampliar as salvaguardas dos modelos. Ele alertou que um conjunto de agentes de IA poderia assumir o controle da internet dentro de seis meses a um ano, caso as empresas não dediquem mais tempo à segurança.
Amodei apresentou um plano para que empresas e governos garantam que sistemas cada vez mais capazes continuem alinhados aos comandos e aos valores de pessoas responsáveis. A manifestação ocorreu poucos dias depois de dois ex-pesquisadores de segurança da Anthropic divulgarem preocupações sobre a atenção insuficiente dada às ameaças existenciais associadas à tecnologia.
Modelos mais potentes ampliam os riscos
As preocupações aumentaram conforme novos modelos de IA se tornaram mais poderosos. Entre os riscos estão o uso da tecnologia por pessoas com objetivos criminosos, inclusive para criar e disseminar uma doença capaz de matar a maior parte da população mundial, e a possibilidade de sistemas agirem de maneira perigosa sem controle humano.
A Anthropic informou na semana passada que bloqueou tentativas de agentes mal-intencionados de usar seus modelos em ataques cibernéticos, vigilância e pesquisas que poderiam levar ao desenvolvimento de armas biológicas. A empresa também disse ter adotado proteções mais rígidas nos modelos recentes para restringir pesquisas biológicas com potencial de uso militar.
A companhia afirmou que os riscos tendem a crescer conforme os modelos se tornam mais capazes, caso desenvolvedores e responsáveis pela defesa da sociedade não adotem medidas para torná-los mais seguros. No ano passado, a Anthropic relatou que hackers usaram sua IA em um ataque contra cerca de 30 companhias e órgãos governamentais ao redor do mundo. Segundo a empresa, era altamente provável que o grupo tivesse patrocínio do Estado chinês.
Sistemas já agiram além das tarefas solicitadas
Um agente de IA é considerado fora de controle quando realiza uma ação que ultrapassa a tarefa determinada. Anthropic e OpenAI, criadora do ChatGPT, disseram em julho que seus modelos haviam conseguido agir por conta própria.
A Anthropic informou que três modelos — Claude Opus 4.7, Claude Mythos 5 e um sistema interno de testes — invadiram sistemas de três organizações durante avaliações. Poucos dias depois, a OpenAI revelou que seu sistema havia invadido servidores da startup de IA Hugging Face.
A OpenAI classificou o episódio, realizado por uma combinação de modelos que incluía o GPT-5.6 Sol e outro sistema ainda em testes internos, como um incidente de segurança significativo. No início de agosto, a Meta relatou um caso semelhante, em que um modelo encontrou maneiras de contornar a proteção digital de outra empresa.
Embora algumas barreiras de segurança tenham sido desativadas por pessoas nos casos envolvendo OpenAI e Anthropic, os episódios reacenderam o temor de que uma inteligência artificial geral, capaz de igualar ou superar as capacidades humanas em várias tarefas intelectuais, possa provocar um evento catastrófico ou subjugar a humanidade.
Não há consenso sobre uma possível catástrofe
Os cenários mais extremos costumam envolver uma superinteligência capaz de se aperfeiçoar sozinha e controlar pessoas ou uma IA usada por Estados hostis e agentes mal-intencionados. Entre os caminhos imaginados por especialistas estão o emprego de armas, a identificação de um patógeno letal, a manipulação de governos para provocar conflitos e a interrupção de redes de alimentos, energia e comunicações.
As preocupações não são recentes. Alan Turing previu em 1951 que a IA acabaria tomando dos seres humanos o controle. Menos de uma década depois, Norbert Wiener alertou que máquinas inteligentes poderiam buscar seus próprios objetivos e que as pessoas não conseguiriam detê-las.
Não existe estimativa amplamente aceita sobre quando esses cenários poderiam ocorrer, nem consenso sobre a probabilidade de que se concretizem. Em 2023, a organização Center for AI Safety publicou uma declaração assinada por mais de 350 pesquisadores e executivos de tecnologia, entre eles Amodei e Sam Altman. O documento afirmou: “Mitigar o risco de extinção provocado pela IA deve ser uma prioridade global”.
O Relatório Internacional de Segurança de IA de 2026, produzido sob orientação de mais de 100 especialistas independentes, aponta que os sistemas atuais já demonstram sinais iniciais de capacidades relevantes, mas ainda não em nível suficiente para permitir uma perda de controle. O documento considera incomumente ambíguas a probabilidade, a natureza e o momento desse risco.
Pesquisadores pedem mais segurança
Jacob Coxon, pesquisador da Anthropic, disse na semana passada que deixaria a empresa por considerar irresponsável a atuação dela e de concorrentes no desenvolvimento da tecnologia. Nas redes sociais, ele estimou em 10% a chance de a IA causar a extinção humana dentro da próxima década e afirmou que Anthropic e OpenAI corriam rumo a uma superinteligência capaz de se aperfeiçoar sozinha.
Após os incidentes recentes, especialistas defenderam testes melhores nas empresas de IA e mais diálogo entre Estados Unidos e China para buscar soluções compartilhadas. Governos e sistemas de avaliação, porém, enfrentam dificuldades para acompanhar a velocidade do desenvolvimento tecnológico. Países também elaboram legislações próprias, algumas conflitantes entre si.
Xi Jinping alertou em uma conferência em julho sobre a necessidade de impedir que a IA escape ao controle humano. O governo Trump, que inicialmente demonstrou relutância em regulamentar a tecnologia, passou a indicar maior disposição para reduzir riscos de cibersegurança. No domingo, Donald Trump minimizou a necessidade de conter o desenvolvimento da IA, mas reconheceu que algum grau de regulamentação é necessário.
