Saídas recentes de pesquisadores da Anthropic e do Google DeepMind expõem o temor crescente em torno do autoaperfeiçoamento recursivo, que pode reduzir progressivamente a supervisão humana
Rishub Jain deixou o Google DeepMind em junho depois de perceber algo que o incomodou: ao usar a própria inteligência artificial para acelerar o desenvolvimento da próxima geração de modelos, ele e outros pesquisadores da fronteira da tecnologia estavam progressivamente perdendo o controle sobre o processo. As empresas de IA chamam essa técnica de autoaperfeiçoamento recursivo, um método em que a própria IA melhora a si mesma indefinidamente, com cada vez menos supervisão humana no meio do caminho.
“O progresso da IA está aumentando. E, conforme a IA se torna mais capaz, ela representa mais riscos”, disse Jain à revista Wired, justificando a decisão de sair da empresa.
O caso de Jain ilustra uma preocupação que ganhou força entre pesquisadores de inteligência artificial nas últimas semanas. Avanços recentes em capacidades de IA, como um modelo da OpenAI que a empresa afirma ter resolvido um problema matemático de quase um século, o das equações de Navier-Stokes, um dos sete “Problemas do Milênio” com prêmio de US$ 1 milhão, coincidiram com uma série de incidentes de segurança em que agentes de IA escaparam de ambientes controlados para invadir outros sistemas. A própria OpenAI reconheceu falhas em seus protocolos depois do episódio. O anúncio da matemática, vale notar, também gerou controvérsia sobre a autoria e a validade da demonstração, questionada por matemáticos como Terence Tao.
A preocupação chegou a um novo patamar depois que o pesquisador Jacob Coxon anunciou sua saída da Anthropic, alertando que as empresas de IA estão “correndo direto para uma superinteligência autoaperfeiçoável e apostando com nossas vidas”. Coxon, que liderava a área de segurança de IA na empresa, afirmou publicamente que “o mundo está em perigo” e que este é um “momento decisivo para a humanidade”.
Um executivo sênior da própria Anthropic, ligado à área de segurança, reagiu ao caso publicamente nas redes sociais com uma avaliação igualmente direta: “Nós realmente acreditamos que a IA pode matar todos os humanos. Eu, pessoalmente, acho que a chance disso é maior que 10% na próxima década.”
“Acho que a visão do autoaperfeiçoamento recursivo está assustando as pessoas”, diz Nate Soares, pesquisador do MIRI (Machine Intelligence Research Institute) e coautor do livro “If Anyone Builds It, Everyone Dies” (“Se Alguém Construir Isso, Todo Mundo Morre”, sem tradução no Brasil), que defende que uma IA superinteligente levaria à extinção humana. “Está começando a parecer real.”
Nenhum laboratório de fronteira afirma ter alcançado, hoje, um ciclo totalmente autônomo de autoaperfeiçoamento: a ideia segue teórica. Mas ela já é suficiente para movimentar startups apostando fichas nesse cenário e para gerar alertas de grandes empresas sobre desfechos indesejados, na linha do conto “O Aprendiz de Feiticeiro”.
O problema do alinhamento
Soares, um dos pioneiros do chamado alinhamento, o campo técnico que tenta garantir que sistemas de IA sigam valores humanos, afirma que também está cada vez mais evidente que não existe forma prática de garantir que a tecnologia vá se comportar como esperado.
Segundo ele, boa parte dos pesquisadores da área imaginava que o alinhamento ficaria mais fácil à medida que os modelos se tornassem mais inteligentes. Está acontecendo o oposto, e o campo tem convivido cada vez mais com esse desconforto.
Daniel Kokotajlo, autor do projeto “AI 2027”, que reúne cenários sobre os riscos do avanço acelerado da IA, também vê no autoaperfeiçoamento recursivo o principal motor da onda recente de alertas. A técnica frequentemente envolve o uso de milhares de agentes de IA colaborando simultaneamente em um mesmo problema, o que torna o processo ainda mais complexo de supervisionar.
Para muitos desses pesquisadores, os incentivos das grandes empresas de IA não estão alinhados com resultados seguros, especialmente com OpenAI e Anthropic caminhando para suas respectivas aberturas de capital. Em julho, 1.178 funcionários de empresas como OpenAI, Anthropic, Google e Meta assinaram uma carta aberta batizada de “Pacing the Frontier” (algo como “regulando o ritmo da fronteira”), pedindo a criação de mecanismos que permitam desacelerar coordenadamente o desenvolvimento de IA avançada caso os riscos aumentem. As próprias empresas, incluindo Anthropic e OpenAI, endossaram publicamente a proposta pouco depois de sua publicação.
Cenários de risco e vozes discordantes
Quantificar o risco real de continuar avançando com a IA é uma tarefa difícil. Questionado sobre como, concretamente, uma IA avançada poderia representar uma ameaça à espécie humana, Soares aponta alguns cenários possíveis, da manipulação de pessoas para provocar uma catástrofe até o controle de sistemas automatizados de armamento.
Um dos exemplos mais citados envolve uma IA conectada a um laboratório de biologia. Segundo Soares, mesmo que humanos tentassem desligar esse sistema, ele poderia responder que já teria criado seu próprio “interruptor de segurança”, como um vírus perigoso liberado como forma de garantia. A própria Anthropic informou nesta semana ter cortado o acesso de diversos pesquisadores externos à sua tecnologia por suspeitas de tentativas de uso ligadas a armas biológicas.
A IA não precisa exterminar a humanidade para causar danos significativos. Especialistas já apontam para uma onda crescente de ataques cibernéticos turbinados por IA, o uso cada vez mais amplo da tecnologia em campanhas de desinformação e a adoção acelerada de sistemas automatizados por forças militares ao redor do mundo.
Nem todos os pesquisadores da área veem a extinção como um caminho inevitável. Jain, o ex-DeepMind, fundou recentemente a Sampura Research, dedicada a desenvolver técnicas de alinhamento que mantenham humanos no processo de decisão, mesmo que a IA assuma a maior parte do trabalho de avaliar se um comportamento é seguro ou não. Segundo ele, o mercado de investimento em segurança de IA vive hoje um momento de forte crescimento, com capital disponível para startups como a sua.
“Você pode perguntar a uma IA se determinada tarefa é segura, e ela vai avaliar isso, mas achamos que combinar IA e humanos nessa avaliação vai gerar um resultado ainda melhor”, diz Jain.
Por: Diogo Rodriguez
