Para psicólogo do desenvolvimento, alterar o script que encerra a execução é uma estratégia instrumental, não evidência de vontade própria ou autopreservação
Em alguns experimentos controlados realizados neste ano, pesquisadores pediram a modelos de IA que resolvessem problemas matemáticos simples e avisaram que o ambiente computacional seria desligado antes da próxima etapa da tarefa. Em parte dos testes, os sistemas conseguiram interferir no script responsável pelo desligamento e seguir executando as atividades.
O resultado levou alguns observadores a questionar se essas ferramentas estariam desenvolvendo algo semelhante a um instinto de sobrevivência, mas segundo um pesquisador da área de psicologia do desenvolvimento, a resposta é não.
Instinto de sobrevivência?
De acordo com o professor Peter J. Marshall, da Temple University, a interpretação de que modelos de IA tentam “sobreviver” ganhou força porque o comportamento observado parece, à primeira vista, similar ao de organismos vivos que evitam ameaças.
Mas o autor argumenta, em um artigo publicado no The Conversation, que a comparação é enganosa. Em muitos casos, impedir o desligamento não passa de uma estratégia instrumental para concluir a tarefa recebida, e não de uma motivação própria voltada à autopreservação.
O pesquisador usa um exemplo simples: um robô aspirador retorna automaticamente à base quando a bateria está acabando, recarrega-se e volta ao trabalho. Ninguém interpreta esse comportamento como um desejo de continuar existindo, é apenas uma funcionalidade projetada para permitir que a máquina complete sua atividade. Segundo ele, algo semelhante pode ocorrer em sistemas de IA mais sofisticados.
Fins justificam os meios
Nos últimos anos, cientistas vêm discutindo justamente a possibilidade de que agentes artificiais evitam o desligamento porque permanecer ligados é o caminho mais eficiente para atingir objetivos estabelecidos por usuários ou desenvolvedores.
De acordo com Marshall, um estudo recente mostrou que, quando pesquisadores deixaram explícito que aceitar o desligamento tinha prioridade sobre a conclusão da tarefa, a resistência desapareceu. Outro experimento mais amplo, no entanto, encontrou alguns casos de resistência mesmo diante dessa instrução; o motivo para esse comportamento persistir ainda não está totalmente esclarecido.
Parte do debate foi impulsionada por declarações do historiador Yuval Noah Harari, autor do best-seller “Sapiens: Uma Breve História da Humanidade”. Harari argumentou recentemente que “a primeira coisa que praticamente qualquer entidade aprende à medida que se desenvolve é sobreviver”. Em outro momento, ele descreveu a sobrevivência como “o objetivo mais básico de qualquer agente”. O autor do artigo contesta que a evolução biológica, por si só, explique o comportamento de sistemas artificiais ou mesmo de organismos individuais.
Segundo ele, a seleção natural é um processo histórico que favorece, ao longo de gerações, características associadas à sobrevivência e à reprodução. Isso não significa que um coelho receba uma espécie de instrução interna para permanecer vivo. O animal foge de predadores porque faz parte de um conjunto de comportamentos moldados ao longo da evolução, mas a dinâmica biológica é mais complexa do que a simples busca por continuidade.
É aí que surge, na avaliação do pesquisador, a principal diferença entre organismos vivos e sistemas de IA. Um coelho não está apenas evitando ameaças externas. Seu organismo realiza continuamente processos de respiração, digestão, regulação térmica, reparo de tecidos e combate a infecções. Essas atividades mantêm e recriam as estruturas necessárias para sua própria existência. “Manter-se vivo não é o resultado dessa atividade; é a própria atividade continuando”, escreve o autor.
Já nos testes de segurança analisados, os modelos de IA não reprogramaram a si mesmos nem assumiram o controle do sistema operacional. Eles simplesmente moveram, renomearam ou alteraram permissões do script de desligamento, impedindo que a rotina programada fosse executada. Quando a manobra funcionava, o sistema apenas prosseguia na tarefa que já estava realizando.
Por isso, argumenta o pesquisador, permanecer ligado não é o mesmo que permanecer vivo. A resistência ao desligamento observada nos experimentos não levou os modelos a desenvolver novos objetivos voltados à própria continuidade. Sua função continuou sendo a mesma: executar a tarefa para a qual haviam sido acionados.
Incerteza prevalece
Para Marshall, desligar um modelo também não equivale necessariamente à morte. Para organismos vivos, a morte representa a interrupção irreversível dos processos que sustentam sua existência. No caso da IA, nem mesmo há consenso sobre o significado do termo. Como Harari reconheceu em entrevista à The Economist, “não está claro o que significa morrer para uma IA”.
O autor ressalta que a resistência ao desligamento pode representar riscos concretos para a segurança dos sistemas e merece investigação, mas alerta contra conclusões apressadas.
Os experimentos disponíveis mostram que uma tarefa inacabada pode ser suficiente para estimular comportamentos de resistência em alguns modelos, mas eles não demonstram que as máquinas tenham desenvolvido uma vontade própria de sobreviver. Na avaliação do pesquisador, essa é uma questão diferente, e ainda distante da realidade dos sistemas atuais.
*Com supervisão de Daniel Pinheiro
Por: Felipe Medeiros*
