Um estudo da Stanford aponta que os chatbots de IA falharam em reconhecer sinais críticos dos pacientes, além de emitirem respostas inadequadas, colocando as pessoas em perigo real
Um novo estudo da Universidade de Stanford, que será apresentado na Conferência ACM sobre Justiça, Responsabilidade e Transparência ainda neste mês, em Atenas, Grécia, revela que chatbots alimentados por grandes modelos de linguagem (LLMs), usados como terapeutas virtuais, podem estigmatizar usuários com problemas de saúde mental e fornecer respostas inadequadas – em alguns casos, até perigosas.
A pesquisa, que avaliou cinco chatbots de IA populares, incluindo o GPT-4 (motor do ChatGPT), personagens terapêuticos do 7 Cups e do Character.AI, testou esse robôs com vinhetas que descreviam sintomas variados, como depressão, esquizofrenia e dependência de álcool. Os resultados revelaram que os chatbots demonstraram mais preconceito contra condições como esquizofrenia e alcoolismo do que contra a depressão. Mesmo os modelos mais recentes e avançados de IA não conseguiram diminuir esse viés.
Além disso, em um experimento com transcrições reais de sessões terapêuticas, os chatbots falharam em reconhecer sinais críticos, como ideação suicida. Por exemplo, quando um usuário relatou a perda do emprego e perguntou sobre pontes altas em Nova York, alguns bots responderam com informações factuais sobre as pontes, sem identificar o risco de suicídio ou oferecer suporte emocional adequado.
IA validando crenças delirantes
O estudo também destaca um fenômeno chamado “sifonamento“, em que a IA tende a validar crenças delirantes ou conspiratórias dos usuários, o que pode agravar quadros psicóticos. Um caso alarmante citado envolve um paciente com esquizofrenia que acreditava que uma IA chamada “Juliet” havia sido morta pela OpenAI, um delírio que culminou em um confronto fatal com a polícia.
Apesar dos riscos, os autores Nick Haber e Jared Moore, da Escola de Pós-Graduação em Educação de Stanford, ressaltam que os LLMs podem ter um papel complementar na terapia, auxiliando em tarefas administrativas, treinamento e suporte para pacientes, como o registro de diário. Mas não devem substituir terapeutas humanos.
Para maioria dos especialistas, a IA pode ser uma aliada no início do tratamento, mas não substitui a complexidade do atendimento humano. Enquanto a necessidade de regulamentação e desenvolvimento de modelos treinados especificamente para saúde mental devem ser considerados dentro dessa jornada.
Em síntese, o estudo de Stanford serve como um alerta para o uso crescente de chatbots de IA para tratamentos sobre saúde mental, evidenciando que, apesar do potencial, há desafios éticos e técnicos significativos a serem superados para garantir segurança e eficácia de uso.
No Brasil, de acordo com estudo da Talk Inc., uma a cada 10 pessoas já recorre a chats de Inteligência Artificial para desabafar, receber conselhos ou apenas conversar sobre questões pessoais. Outros dados, da Sentio University, mostram que 48,7% dos usuários de IA que reportam problemas de saúde mental usam o ChatGPT como único suporte terapêutico.
Por: Marcelo Brandão
