Pesquisadores identificam um efeito chamado “colapso de simulador”, em que modelos de inteligência artificial aprendem a explorar padrões previsíveis de um único simulador e perdem capacidade de adaptação quando encontram usuários reais
Uma prática comum no treinamento de assistentes de inteligência artificial pode estar produzindo agentes mais frágeis do que se imaginava.
Segundo um artigo produzido por pesquisadores de universidades como Stanford, Berkeley, Northeastern e Washington, sistemas treinados por reforço usando apenas um simulador de usuário tendem a aprender estratégias excessivamente especializadas, que funcionam bem durante o treinamento, mas falham quando são colocadas diante de pessoas reais ou de novos contextos.
O problema foi batizado de colapso do simulador (“simulator collapse”, do original). Para desenvolver assistentes conversacionais, como testar sistemas com pessoas reais é caro, lento e difícil de escalar, empresas e laboratórios costumam recorrer a modelos de linguagem capazes de simular usuários humanos. O estudo argumenta, porém, que esses simuladores frequentemente apresentam comportamentos repetitivos e pouco diversos.
Segundo os autores, quando um agente interage milhares de vezes com o mesmo simulador, ele aprende a identificar e explorar os padrões mais comuns daquele ambiente. Em vez de desenvolver habilidades amplas de comunicação e resolução de problemas, ele passa a seguir roteiros específicos que maximizam seu desempenho contra aquele “usuário” virtual. O resultado é semelhante ao de um estudante que decora as respostas de uma prova específica sem realmente compreender o conteúdo.
O estudo mostra que esse processo faz com que a diversidade de respostas produzidas pela própria IA diminua ao longo do treinamento. À medida que o agente encontra uma estratégia vencedora contra o simulador, ele passa a repeti-la cada vez mais, tornando suas interações menos flexíveis e menos adaptáveis.
Experimentando cenários
Para demonstrar o fenômeno, os pesquisadores testaram agentes em três tipos de tarefas: atendimento ao cliente, conversas persuasivas voltadas para doações e colaboração entre agentes de IA em tarefas de programação.
Em todos os casos, foi observado um padrão semelhante: o desempenho durante o treinamento continuava aumentando, mas a capacidade de generalizar para novos usuários ou simuladores começava a cair após determinado ponto.
A descoberta é relevante porque a indústria de IA vem investindo pesadamente em técnicas de aprendizado por reforço, método em que modelos recebem recompensas por comportamentos considerados desejáveis. Grande parte dos avanços recentes em agentes autônomos e assistentes conversacionais depende justamente desse tipo de treinamento.
Encontrando soluções
Para enfrentar o problema, os autores propõem duas abordagens. A primeira, chamada Amostragem Verbalizada (“Verbalized Sampling”), busca ampliar a variedade de respostas do simulador. Em vez de produzir uma única reação a uma mensagem, o sistema gera várias possibilidades e atribui probabilidades a cada uma delas. Dessa forma, o agente é exposto a comportamentos mais diversos enquanto aprende.
A segunda estratégia é mais ambiciosa. Batizada de Treinamento Conjunto (“Co-Training”), ela abandona a ideia de um simulador congelado: tanto o agente quanto o simulador evoluem simultaneamente durante o treinamento. Como o comportamento do usuário virtual muda ao longo do processo, o agente não consegue memorizar uma única fórmula de sucesso e precisa desenvolver estratégias mais gerais.
Os resultados sugerem que a mudança faz diferença. Em um dos principais benchmarks de atendimento ao cliente avaliados pelos pesquisadores, a taxa de sucesso passou de 46,1% com o método tradicional para 55,5% usando a Amostragem Verbalizada. O índice chegou a 60,5% com o Treinamento Conjunto, enquanto uma versão baseada em múltiplos simuladores em constante evolução atingiu 62,2%.
O grupo também realizou experimentos com participantes humanos. Nesse cenário, os modelos treinados com maior diversidade de simuladores obtiveram melhores resultados em tarefas de atendimento e produziram conversas consideradas mais naturais pelos usuários.
Recomendações
Além dos números, o trabalho traz uma mensagem mais ampla para o setor. Nos últimos anos, a maior parte dos esforços para melhorar sistemas de IA se concentrou nos próprios modelos: aumentar parâmetros, ampliar bases de dados ou aperfeiçoar algoritmos de treinamento.
O estudo, no entanto, sugere que o ambiente em que esses agentes aprendem pode ser tão importante quanto o modelo em si.
Se a conclusão estiver correta, o desafio para a próxima geração de assistentes virtuais não será apenas construir inteligências mais poderosas, mas também criar ambientes de treinamento mais ricos e diversos.
*Com supervisão de Daniel Pinheiro
Por: Felipe Medeiros*
