O Copilot Studio aprendeu a “enxergar” e “manipular” os elementos da tela, como um usuário real

Imagine um assistente virtual da Microsoft que além de responder a comandos, também navega por páginas da web, preenche formulários e executa tarefas em outros softwares, tudo sem precisar de intervenção humana.

Essa é a promessa de uma nova ferramentas disponível no Copilot Studio, que transforma a IA em um instrumento poderoso para empresas e usuários convencionais.

IA no controle do seu computador

De acordo com Charles Lamanna, vice-presidente corporativo da divisão Copilot, o sistema utiliza uma tecnologia avançada para simular a interação humana com a interface do computador.

“O uso do computador permite que os agentes interajam com sites e aplicativos de desktop clicando em botões, selecionando menus e digitando em campos na tela”, explica Lamanna. “Isso permite que os agentes realizem tarefas mesmo quando não há uma API disponível para se conectar diretamente ao sistema. Se uma pessoa pode usar o aplicativo, o agente também pode.”

Novidade permite que agentes de IA interajam com sites e aplicativos de desktop, automatizando tarefas complexas. (Imagem: Microsoft)

Em outras palavras, o Copilot Studio aprende a “enxergar” e “manipular” os elementos da tela, como um usuário real. Essa capacidade abre um leque de possibilidades para a automação de processos, desde a entrada de dados em planilhas até a realização de pesquisas de mercado e o processamento de faturas.

Aplicações na prática

  • A nova ferramenta do Copilot Studio pode revolucionar como interagimos com os computadores.
  • Um agente de IA pode monitorar os preços de produtos online e fazer compras automaticamente quando atingem um determinado valor, por exemplo, ou preencher formulários complexos sem erros.
  • Além disso, a capacidade de adaptação do Copilot Studio a mudanças na interface de aplicativos e sites garante que a automação continue funcionando sem interrupções.

O Copilot Studio não é a única iniciativa da Microsoft nesse sentido. Recentemente, a empresa adicionou o recurso “Ações” ao Copilot para o consumidor, permitindo a automação de tarefas como reservas de restaurantes e compras online.

No entanto, o Copilot Studio se destaca por sua capacidade de operar em uma gama maior de sites e aplicativos, abrindo caminho para uma automação mais abrangente e personalizada.

O que é o Copilot Studio?

O Copilot Studio é uma ferramenta da Microsoft que permite criar e personalizar agentes de IA para automatizar tarefas em aplicativos e sites, como se fossem assistentes digitais sob medida para cada necessidade.

Por: Gabriel Sérvio