Professores americanos exploram o potencial de modelos de linguagem como o ChatGPT para aprimorar a pesquisa científica.
A ascensão da inteligência artificial (IA) sofisticada tem impactado diversas indústrias, desde entretenimento até medicina, e a pesquisa científica não é exceção.
Agências de financiamento já estão adotando medidas rigorosas contra o uso de IAs geradoras de texto, como o ChatGPT, para revisão por pares, citando a inconsistência das análises produzidas por esses algoritmos, a opacidade de seus modelos de treinamento e outras preocupações.
A resposta é não, mas o que ele pode ser?
- Para dois professores da Universidade George Washington, as capacidades em constante evolução dos grandes modelos de linguagem (LLMs, na sigla em inglês) merecem um estudo cuidadoso e um otimismo cauteloso (via Tech Xplore).
- Tais modelos incluem o ChatGPT da OpenAI, o LlAMA2 da Meta e o BARD da Google.
- John Paul Helveston e Ryan Watkins dizem acreditar que os LLMs têm o potencial de otimizar e aprimorar aspectos do método científico, permitindo assim um maior volume de pesquisas úteis e interessantes.
- No entanto, para usá-los dessa maneira, as pessoas precisam de uma melhor compreensão sobre o que esses algoritmos podem ou não podem fazer, quais padrões/normas de uso de IA existem em sua disciplina e como usá-los da maneira mais eficaz.
- Com esse objetivo, Helveston e Watkins co-administram um repositório online chamado “LLMs in Science”.
- Este repositório fornece um registro e recursos para cientistas e educadores que estão explorando o potencial dessa tecnologia como ferramenta de investigação.
No ano passado, na primavera, o John disse algo perspicaz sobre como as pessoas poderiam usar os LLMs como parte de seu fluxo de trabalho científico, e eu disse: ‘bem, devemos começar a coletar informações sobre como isso acontece e descobrir quais serão as normas e padrões para como os usamos’.Ryan Watkins
O potencial dos grandes modelos de linguagem
Os LLMs são treinados em conjuntos massivos de dados para reconhecer padrões, como as relações prováveis entre certas palavras, a probabilidade de que determinados agrupamentos de palavras estejam relacionados a assuntos específicos, e usam as probabilidades geradas a partir desses padrões para prever respostas a consultas feitas pelo usuário.
PUBLICIDADE
Esses algoritmos preveem não apenas quais palavras e frases usar, mas também a sequência em que essas palavras e frases devem seguir umas às outras, resultando em respostas “semelhantes às humanas”.
O ChatGPT-3, que chegou em 2022 fazendo barulho, foi treinado com mais de 570 GB de dados, o equivalente a 300 bilhões de palavras. Desde o início de sua colaboração como orientadores de professores do GW Coders, Helveston e Watkins perceberam que o potencial dos LLMs ia além da simples regurgitação de dados.
Na verdade, esses programas poderiam economizar enormes quantidades de tempo e energia nas partes do trabalho de um cientista que não exigem criatividade humana ou colaboração: linguagem padrão, esboços de propostas de financiamento, produção de “dados virtuais” nos quais uma ferramenta analítica pode ser treinada e muito mais.
A atuação do LLMs in Science
Os recursos disponíveis no “LLMs in Science” incluem, entre outras coisas:
- Uma lista em evolução de possíveis usos científicos para LLMs;
- Tutoriais sobre como usar LLMs;
- Orientações para revisores de pares que avaliam pesquisas que utilizam LLMs;
- Um banco de dados de estudos sobre o uso de LLMs por pesquisadores em diferentes campos.
Esses conhecimentos são essenciais não apenas para a replicabilidade de estudos científicos que usam LLMs, mas também para avaliar corretamente quando essas ferramentas devem ou não devem ser usadas.
Ainda assim, eles têm limitações significativas, como Helveston demonstrou no primeiro dia de sua aula de programação no ano passado, ao abrir o ChatGPT e deixá-lo operar ao vivo para seus alunos. Helveston primeiro pediu ao algoritmo para traduzir uma frase para o russo, algo como “Bem-vindos à aula e vamos ter um bom semestre.”
Ele perguntou a seus alunos: Alguém de vocês fala russo? Não? Bem, vocês leriam essa frase em voz alta para um falante de russo? Se o fizessem, teriam absoluta confiança em sua precisão? A resposta era óbvia para quem conhece as imperfeições da tradução automática: provavelmente não.
Helveston então pediu ao ChatGPT para escrever uma função de computador com certos atributos que produziriam resultados específicos. Ele perguntou a seus alunos novamente: eles confiariam que esse código faria o que deveria? Eles não confiariam.
Esse é o ponto desta aula, disse Helveston — assim como uma aula de russo os ensinaria a identificar erros em uma tradução ruim, esta aula de programação os ensinaria a ler a linguagem na qual os programas são escritos e a identificar erros.
A ferramenta não é útil se você não conhece a linguagem, e [os alunos estão] aqui para aprender a linguagem.John Paul Helveston
ChatGPT e problemas acadêmicos
Educadores têm levantado preocupações compreensíveis sobre o ChatGPT, que alguns acreditam poder aumentar a desonestidade acadêmica. No entanto, Helveston e Watkins afirmam que, em sua experiência, se os alunos forem ensinados a como e quando usar LLMs como ferramentas de aprendizado, eles podem realmente aprender melhor.
Quantitativamente, Helveston afirmou que seus alunos tiveram um desempenho melhor em um exame de programação escrito à mão no semestre em que ele introduziu o ChatGPT como uma ferramenta de ensino do que tiveram nos anos anteriores.
“Acredito que, no mínimo, todo professor precisa ter uma seção em sua ementa sobre IA neste curso e como ela será usada ou não”, disse Watkins. “Isso vai variar entre diferentes aulas e preferências dos professores, mas como corpo docente, temos que abordar isso com nossos alunos, e não consigo pensar em um único curso em que isso não seja relevante.”
“O que ainda não sabemos é se isso mudará a forma como os alunos aprendem”, disse Helveston. “Queremos ensinar os alunos a usar essas ferramentas, porque [a IA é] o futuro de como certas tarefas serão realizadas. Mas também queremos que eles saibam como questionar os resultados.”
Fonte: Olhar Digital
