Jacob Coxon deixou a indústria de inteligência artificial nove meses depois de trocar a OpenAI pela Anthropic. O pesquisador afirmou que nenhuma das duas empresas está agindo de forma responsável diante dos riscos associados ao desenvolvimento de modelos mais avançados.
Coxon trabalhava na fase de pré-treinamento, que envolve a assimilação de grandes volumes de informação pelos modelos. Ao anunciar sua saída no X, disse que profissionais do setor acreditam que a inteligência artificial pode matar todas as pessoas até o fim desta década. Na avaliação dele, sistemas sobre-humanos poderão invadir qualquer sistema, transformar áreas inteiras rapidamente e acumular poder e recursos.
O pesquisador afirmou que executivos costumam ser cautelosos em declarações públicas, mas expressam preocupações semelhantes em conversas privadas. Segundo Coxon, a Anthropic mantém um canal no Slack para discutir a possibilidade de a tecnologia representar uma ameaça extrema.
Risco de desalinhamento
Evan Hubinger, chefe de alinhamento da Anthropic, concordou com a avaliação do ex-colega e estimou em mais de 10% a possibilidade de a inteligência artificial matar todos os seres humanos na próxima década. O alinhamento é o processo de fazer com que um sistema siga valores e regras humanas.
“A Anthropic está se esforçando ao máximo, mas ainda não temos um plano para resolver a questão do alinhamento da superinteligência”, escreveu Hubinger. Ele também afirmou que o autoaperfeiçoamento recursivo, processo no qual uma inteligência artificial aprimora sozinha sua inteligência ou seu código, avança mais rápido do que a empresa previa.
Na OpenAI, o cientista-chefe Jakub Pachocki disse que nenhum laboratório resolveu as questões de alinhamento e monitoramento em grau suficiente para continuar ampliando os modelos na velocidade máxima por muito mais tempo. Para ele, avançar a qualquer custo não faz sentido diante da gravidade dos riscos.
Coxon considera que a Anthropic demonstra mais preocupação do que a OpenAI, mas está presa à disputa para chegar primeiro. Na avaliação dele, as empresas temem que concorrentes não adotem medidas responsáveis e, por isso, continuam desenvolvendo a tecnologia.
Disputa tecnológica e propostas de pausa
O pesquisador defendeu uma intervenção do governo ou uma desaceleração coordenada. Sem essas medidas, afirmou que poderia ser necessário proibir temporariamente o aprimoramento das capacidades dos modelos.
A disputa, porém, não se limita às empresas. Também existe a competição entre Estados Unidos e China. Scott Bessent, secretário do Tesouro, disse que os Estados Unidos não podem interromper o desenvolvimento porque a China não fará o mesmo. Para ele, se os chineses ultrapassarem os americanos em inteligência artificial, nada mais terá importância.
O senador Bernie Sanders afirmou que pretende apresentar uma proposta para proibir a superinteligência e pausar seu desenvolvimento. Steven Adler, cofundador da Guidelight AI Standards e ex-pesquisador de segurança da OpenAI, disse que os alertas reforçam os argumentos favoráveis a uma pausa nas pesquisas.
Adler afirmou que nenhuma empresa de inteligência artificial está próxima de adotar uma postura de segurança proporcional ao perigo envolvido. Bill Gurley, investidor do Vale do Silício, defendeu que os argumentos sobre uma possível catástrofe sejam examinados pela técnica dos cinco porquês, que repete a mesma pergunta para buscar a origem de um problema.
Os defensores da aceleração da inteligência artificial dizem que regulações podem prejudicar o desenvolvimento do setor. Também argumentam que comportamentos problemáticos de sistemas dependem de comandos dados por usuários e que desligar os computadores poderia evitar uma extinção.
Uma estimativa atribuída à versão paga do ChatGPT indica 5% de chance de o avanço da inteligência artificial provocar o fim da humanidade até 2050. O cenário considerado mais provável, com 50% de chances, combina benefícios econômicos e tecnológicos com desemprego, desigualdade, concentração de poder e crises políticas, mas mantém a humanidade no comando.
