Jacob Coxon, ex-pesquisador da Anthropic e da OpenAI, afirmou que os próximos anos podem definir o rumo do desenvolvimento da inteligência artificial. Para ele, o avanço acelerado dos sistemas e a competição entre laboratórios aumentam o risco de que empresas desenvolvam tecnologias muito mais capazes sem mecanismos de segurança suficientes.
Coxon deixou a Anthropic após cerca de três anos na empresa e passou a criticar publicamente o que considera uma corrida irresponsável entre os principais laboratórios do setor. Na avaliação dele, Anthropic, OpenAI e outras empresas priorizam a chegada a sistemas de inteligência superior à humana, mesmo diante de incertezas sobre os efeitos desse avanço.
O risco do autoaperfeiçoamento
O principal temor apresentado pelo pesquisador é o chamado autoaperfeiçoamento recursivo. Nesse cenário, sistemas de IA poderiam criar versões cada vez melhores de si mesmos e acelerar o próprio processo de evolução. Sem medidas de proteção adequadas, a capacidade humana de acompanhar ou controlar esse desenvolvimento poderia ficar comprometida.
Coxon disse que o período mais importante pode ser “o próximo ano ou dois”, quando decisões tomadas pelas empresas influenciariam de maneira significativa os rumos da tecnologia. Ele também afirmou que existe uma possibilidade real de o autoaperfeiçoamento recursivo começar no futuro imediato e levar a uma fase de risco extremo para a humanidade.
O ex-pesquisador diferenciou, porém, os modelos atuais do cenário que considera mais grave. Segundo ele, as ferramentas disponíveis neste momento não apresentam risco de extinção. No pior caso, poderiam invadir algum sistema e causar danos à infraestrutura, mas ainda não teriam capacidade suficiente para superar os seres humanos no nível necessário para provocar esse tipo de consequência.
Ao anunciar sua saída da Anthropic, Coxon escreveu que as empresas estariam avançando em direção a sistemas de superinteligência capazes de se aprimorar sozinhos, sem garantias suficientes de segurança. Para ele, a competição cria uma pressão que pode levar até laboratórios mais preocupados com proteção a assumir riscos para acompanhar os rivais.
Pressão da competição
Coxon defende uma atuação coordenada entre empresas e governos. Na visão dele, organismos internacionais deveriam estabelecer limites para o desenvolvimento de sistemas extremamente avançados. Uma desaceleração conjunta seria mais eficaz do que esperar que apenas uma companhia interrompa seus avanços enquanto concorrentes continuam trabalhando em ritmo acelerado.
O pesquisador também afirmou que as empresas gostariam de contar com algum organismo internacional que permitisse avançar em um ritmo considerado razoável. Para ele, medidas de segurança não podem depender somente da decisão isolada de um laboratório.
Posição do cientista-chefe da OpenAI
Jakub Pachocki, cientista-chefe da OpenAI, também afirmou que pesquisas internas indicam a possibilidade de o ritmo atual de progresso levar ao autoaperfeiçoamento recursivo. Segundo ele, os próximos anos podem produzir saltos de capacidade iguais ou superiores aos já observados.
Pachocki disse estar preocupado com as consequências de um aumento contínuo e rápido da inteligência das máquinas. Ele afirmou ainda que sistemas significativamente mais inteligentes que os seres humanos podem surgir durante a vida das pessoas.
A preocupação do cientista começou em 2023, durante o projeto de pesquisa RLSlow, realizado com Szymon Sidor. Na ocasião, os pesquisadores observaram resultados que indicavam a possibilidade de ampliar o treinamento de modelos de raciocínio.
Pachocki relatou que, diante dos resultados, a reação não foi apenas de entusiasmo. Ele e Sidor passaram a avaliar as implicações de máquinas mais inteligentes que os seres humanos, além dos ganhos em benchmarks, produtos e pesquisas científicas.
Atualmente, segundo Pachocki, modelos de raciocínio ocupam espaço crescente na economia e avançam em áreas como ciência, pesquisa e segurança digital. Esses sistemas podem operar computadores e interfaces gráficas, colaborar com pessoas e outras inteligências artificiais e executar projetos de pesquisa.
O cientista-chefe também apontou novos riscos para a segurança computacional. Para ele, a resposta deve combinar o avanço tecnológico com pesquisas de alinhamento e monitoramento, além da possibilidade de desacelerar o desenvolvimento quando não houver confiança suficiente nas medidas de proteção.
Pachocki defende que os seres humanos mantenham o controle sobre as decisões relacionadas ao futuro da tecnologia. A preocupação central, compartilhada pelos dois pesquisadores, é evitar que um progresso rápido demais reduza a capacidade humana de acompanhar ou limitar sistemas de inteligência artificial cada vez mais avançados.
