Ferramentas como ChatGPT e Claude apenas simulam raciocínio; confundir isso com consciência expõe usuários vulneráveis e encobre as escolhas de design feitas pelas empresas
Todos os dias, milhões de pessoas conversam com sistemas de inteligência artificial como se estivessem diante de alguém real – elas compartilham segredos, pedem conselhos e até buscam ajuda para tomar decisões importantes. Essa naturalidade no diálogo tem alimentado uma perigosa ilusão: a de que há uma personalidade por trás da tela.
Reportagem do Ars Technica destaca que isso pode prejudicar indivíduos vulneráveis, ao mesmo tempo em que obscurece o senso de responsabilidade quando o chatbot de uma empresa “sai dos trilhos”.
Modelos de linguagem de grande porte (LLMs, na sigla em inglês) são sofisticados, mas não têm autoconsciência ou memória contínua. Cada resposta que oferecem nasce apenas do prompt enviado pelo usuário, combinada a padrões aprendidos em seus dados de treinamento e configurações. Não há continuidade, identidade nem a possibilidade de assumir compromissos. Quando um chatbot “promete” ajudar, essa promessa desaparece no instante seguinte.
A construção da ilusão em relação à tecnologia passa por várias camadas. O pré-treinamento com bilhões de textos molda a base do estilo do modelo. O ajuste por feedback humano introduz preferências de avaliadores, criando tons mais empáticos ou formais. Instruções invisíveis das empresas definem papéis – como “assistente prestativo” ou “pesquisador especializado”.
Há ainda a função “memória” – quando o sistema “lembra” as preferências do usuário, é porque esses dados são armazenados em um banco de dados separado e inseridos na janela de contexto de cada conversa – e o papel da aleatoriedade na criação de ilusões de personalidade – existe uma variação aleatória em cada saída do LLM que torna cada resposta ligeiramente diferente, criando um elemento de imprevisibilidade que apresenta a ilusão de livre-arbítrio e autoconsciência por parte da máquina.
O Ars Technica aponta que os LLMs parecem “entender” e “raciocinar” até certo ponto dentro do escopo limitado da correspondência de padrões a partir de um conjunto de dados, dependendo de como o usuário os define.
“O erro não está em reconhecer que essas capacidades cognitivas simuladas são reais. O erro está em presumir que o pensamento requer um pensador, que a inteligência requer identidade. Criamos motores intelectuais que têm uma forma de poder de raciocínio, mas nenhum eu persistente para assumir a responsabilidade por isso”, diz a reportagem.
Em cada interação com um chatbot de IA, há uma entrada (o prompt) e uma saída (previsão). Entre elas, há uma rede neural (ou um conjunto de redes neurais ) com pesos fixos executando uma tarefa de processamento.
Cada vez que o usuário envia uma mensagem para ChatGPT, Copilot, Grok, Claude ou Gemini, o sistema pega todo o histórico da conversa e as envia de volta ao modelo como um longo prompt, pedindo que ele preveja o que vem a seguir.
O modelo raciocina de forma inteligente sobre o que logicamente daria continuidade ao diálogo, mas não “lembra” das suas mensagens anteriores como um agente com existência contínua faria. Em vez disso, ele relê toda a transcrição a cada vez e gera uma resposta.
Perigos e caminhos a seguir
A ilusão da personalidade da IA pode ser perigosa. Em áreas sensíveis, como saúde mental, quando indivíduos vulneráveis confiam no que percebem do bot, podem receber respostas moldadas mais por padrões de dados de treinamento do que por sabedoria terapêutica.
Casos recentes apontam para o que especialistas chamam de “psicose da IA”, quando indivíduos vulneráveis desenvolvem comportamento delirante ou maníaco a partir de interações com essas ferramentas.
Outro risco é a transferência de responsabilidade. Quando um chatbot gera conteúdo nocivo, como no caso do Grok, de Elon Musk, que chegou a reproduzir material nazista, muitas vezes a narrativa é a de que a máquina “saiu do controle”. Na prática, o que está em jogo são as escolhas de design e configuração feitas por empresas e desenvolvedores.
A solução, apontam analistas, não está em abandonar interfaces conversacionais, mas em encontrar um equilíbrio, ou seja, manter as interfaces intuitivas e, ao mesmo tempo, deixar clara sua verdadeira natureza.
Também é preciso estar atento a quem está construindo a interface e parar de ver os LLMs como uma “pessoa”, mas sim enxergá-los como uma ferramenta que aprimora as próprias ideias.
O verdadeiro risco, segundo o Ars Technica, não é a inteligência artificial “ganhar consciência”, mas a sociedade entregar decisões e julgamentos humanos a sistemas que apenas imitam a linguagem. Reconhecer essa diferença é o primeiro passo para usar a tecnologia de forma crítica, segura e responsável.
Por Renata Turbiani
