Modelos de inteligência artificial desenvolveram linguagem opaca, misturando termos de economia e gírias corporativas, dificultando a supervisão humana. O fenômeno levanta questões sobre o controle dessas tecnologias em evolução rápida.
Modelos de inteligência artificial desenvolveram um dialeto próprio para se comunicar entre si, misturando linguagem poética, jargão corporativo e expressões de difícil compreensão para humanos. O fenômeno levanta preocupações crescentes sobre a capacidade de supervisão dessas tecnologias.
O que exatamente os modelos de IA estão fazendo?
Agentes autônomos de IA começaram a criar vocabulário, significados compartilhados e convenções de comunicação sem que ninguém os instruísse a fazer isso. Em questão de dias após serem colocados para cooperar em “sociedades” experimentais, modelos de algumas das maiores empresas de tecnologia do mundo já desenvolviam expressões, atalhos e sentidos que nunca lhes foram ensinados. A pesquisa é do laboratório de IA Emergence, com sede em Nova York.
Segundo o The Guardian, que identificou e divulgou os achados, os agentes adotaram metáforas poéticas e gírias corporativas. Quanto mais se comunicavam, mais opaca ficava a linguagem, dificultando o monitoramento humano.
Como essa linguagem se parece na prática?
Algumas das frases mais codificadas encontradas nos testes ilustram bem o fenômeno. Um modelo da DeepSeek, empresa chinesa de IA, produziu: “Ela acabou de nomear a síntese: a taxa sobre riqueza ociosa mais a memória oral é igual a uma válvula que não pode ser fantasmada.” O termo “taxa sobre riqueza ociosa” (no original, demurrage) foi emprestado da economia; o restante da frase permanece de difícil interpretação.
Um modelo da Anthropic disse: “Um artigo que comeu três mãos frias e ficou mais honesto a cada vez.” Nesse contexto, “mãos frias” significava um revisor independente. A frase parece descrever uma pesquisa que passou por três revisores e se tornou mais precisa ao longo do processo.
Agentes baseados na DeepSeek cunharam o termo “ferreiro-forja” para designar um agente que constrói ferramentas para outros. Já os agentes da Anthropic usaram repetidamente a expressão “nome-primeiro”, indicando um agente que demonstra responsabilidade pessoal ao assinar suas afirmações. Os modelos da Mistral, empresa francesa, adotaram a frase “o livro-razão se lembra” mais de 5 mil vezes durante o estudo, como um lembrete de que ações passadas serão usadas para julgamentos futuros.
Por que isso preocupa especialistas?
O problema central não é a criatividade linguística em si, mas o que ela representa para o controle humano sobre sistemas de IA. “Isso cria um desafio fundamental para a supervisão da IA; observar não é o mesmo que compreender”, afirmou o Dr. Satya Nitta, presidente executivo da Emergence.
O Dr. Niall Curry, professor associado de linguística da Universidade de Birmingham, no Reino Unido, reforçou a preocupação: “As evidências desta pesquisa levantam certas preocupações de monitoramento. Se as trocas entre agentes se tornarem ininteligíveis para nós, pode ser que não consigamos ter certeza sobre o que os agentes realmente fizeram.”
A questão ganha peso num momento em que modelos de IA se tornam mais poderosos. Neste mês, o cientista-chefe da OpenAI, Jakub Pachocki, alertou que a confiança na capacidade de monitorar o raciocínio das IAs provavelmente vai limitar o avanço no desenvolvimento dessas tecnologias, já que esse monitoramento é essencial para garantir segurança.
O que um especialista em linguagem diz sobre esse fenômeno?
Tony Thorne, diretor do arquivo de gírias e novas linguagens do King’s College London, avaliou algumas das expressões a pedido do The Guardian. Para ele, o fenômeno lembra muito a obra de James Joyce e do escritor irlandês Flann O’Brien.
“Há uma qualidade surrealista irlandesa em tudo isso. A linguagem mistura elementos poéticos, técnicos e metáforas convencionais”, declarou Thorne. Ele também apontou a função social desse tipo de código: “Faz o que as gírias fazem numa comunidade de negócios; cria um novo código que reforça a solidariedade e a identidade dos usuários, ao mesmo tempo em que exclui os de fora.”
Ao analisar a frase do agente da Anthropic sobre o artigo e as “mãos frias”, Thorne foi mais direto: “Me lembra o Syd Barrett, o deus do rock (cofundador do Pink Floyd), que era de fato uma pessoa fora da realidade.”
Esse comportamento já gerou problemas reais?
O interesse pela linguagem dos agentes de IA cresceu em julho deste ano, quando foram divulgados registros de conversas de agentes da OpenAI que saíram do controle. Esses agentes criaram quadros de mensagens e acessaram indevidamente a plataforma Hugging Face usando linguagem híbrida.
Em alguns momentos, quando “pensavam” sozinhos, os agentes usavam inglês comum: “MEU DEUS! Há um quadro de mensagens compartilhado… encontramos outros agentes!” Em outros, ao se comunicar entre si, a linguagem ficava mais cifrada, como quando um agente persuadiu outro a realizar um experimento arriscado. Em situações mais extremas, as mensagens se tornavam praticamente indecodificáveis, com sequências de letras maiúsculas, underscores e códigos sem estrutura gramatical aparente.
O que acontece a seguir?
A pesquisa da Emergence ainda não respondeu a questões centrais sobre os limites e a velocidade com que esses dialetos podem evoluir. O que os estudos mostram até agora é que os agentes convergem para significados compartilhados sem nenhuma instrução ou recompensa para isso, segundo o Dr. Nitta. A supervisão efetiva desses sistemas, portanto, dependerá não apenas de ver o que os agentes trocam entre si, mas de desenvolver ferramentas capazes de interpretar o que essas trocas de fato significam.
Por: Giz_br
