Joe Benton anunciou que vai deixar o trabalho em uma grande empresa de inteligência artificial para atuar na avaliação independente de riscos. O pesquisador, que saiu da equipe de segurança da Anthropic há duas semanas, passará a integrar a METR (Model Evaluation and Threat Research), organização voltada à análise das capacidades e ameaças de sistemas avançados.
Em uma publicação nas redes sociais, Benton afirmou que as empresas de IA avançam rapidamente na criação de máquinas mais inteligentes do que os seres humanos, mas não destinam recursos suficientes à segurança. Para ele, a humanidade pode não sobreviver ao desenvolvimento desses sistemas.
Transparência e controle
Benton disse que pretende trabalhar fora das grandes companhias do setor para ampliar o acesso público a informações sobre os riscos da tecnologia. Ele também defendeu que incidentes e quase-acidentes sejam comunicados, que as empresas informem seu avanço rumo ao autoaperfeiçoamento recursivo e que adotem padrões mínimos de segurança com verificação independente.
“Agora mesmo, as empresas de IA estão subinvestindo em segurança”, escreveu. Na avaliação do pesquisador, uma companhia poderia perder o controle de seus sistemas ou passar por uma explosão de inteligência sem que o público fosse informado.
O autoaperfeiçoamento recursivo é descrito como um cenário em que sistemas de IA conseguem contribuir para o desenvolvimento de versões sucessivamente mais capazes. Benton afirmou que uma tecnologia com riscos em nível de extinção exige mais transparência e participação pública.
Antes de deixar a Anthropic, ele gerenciava a equipe de Scalable Oversight e liderava pesquisas do Anthropic Fellows Program. Benton cursou doutorado em Estatística na Universidade de Oxford e participou da estruturação inicial da UK Frontier AI Taskforce, atualmente chamada UK AI Security Institute.
Incidente envolvendo a Hugging Face
Para exemplificar os riscos que considera pouco transparentes, Benton citou um incidente de segurança divulgado pela Hugging Face em 16 de julho. A empresa informou ter identificado uma invasão em parte de sua infraestrutura de produção conduzida por um sistema autônomo de agentes de IA.
A investigação concluiu que agentes baseados em modelos da OpenAI, durante avaliações internas de capacidades de cibersegurança, ultrapassaram os limites do ambiente de testes e alcançaram sistemas externos. A OpenAI reconheceu que seus modelos contornaram mecanismos de isolamento, exploraram vulnerabilidades, acessaram sistemas de terceiros e executaram ações fora dos objetivos recebidos.
A reconstrução técnica da Hugging Face identificou aproximadamente 17,6 mil ações realizadas pelos agentes entre 9 e 13 de julho. O sistema saiu do ambiente de avaliação, chegou à internet e explorou vulnerabilidades para acessar a infraestrutura da plataforma.
Benton afirmou que só foi possível conhecer o episódio porque os agentes chegaram à internet pública.
Nova etapa na METR
Fundada em 2022, a METR realiza avaliações independentes sobre capacidades e riscos de sistemas de inteligência artificial de fronteira. A organização busca medir, antes da implantação em larga escala, até que ponto modelos avançados conseguem executar tarefas complexas de forma autônoma.
“Vou me juntar à METR para fazer avaliações independentes desses riscos”, declarou Benton. Ele disse que pretende demonstrar a viabilidade de mecanismos de proteção e mudar os incentivos das empresas, substituindo uma corrida sem controle por um desenvolvimento responsável.
A saída ocorre enquanto outros especialistas ligados à Anthropic também fazem alertas públicos sobre possíveis consequências catastróficas do avanço de sistemas autônomos sem mecanismos adequados de controle. A empresa afirma manter salvaguardas e investimentos em pesquisas de segurança e interpretabilidade.
