Os erros do ChatGPT também podem ter sido um fator contribuinte. O chatbot só respondeu aos problemas de matemática corretamente metade das vezes. Seus cálculos aritméticos estavam errados 8% das vezes, mas o maior problema era que sua abordagem passo a passo para resolver um problema estava errada 42% das vezes. A versão de tutoria do ChatGPT foi alimentada diretamente com as soluções corretas e esses erros foram minimizados.
UM rascunho do artigo sobre o experimento foi publicado no site da SSRN, anteriormente conhecida como Social Science Research Network, em julho de 2024. O artigo ainda não foi publicado em um periódico revisado por pares e ainda pode ser revisado.
Este é apenas um experimento em outro país, e mais estudos serão necessários para confirmar suas descobertas. Mas este experimento foi grande, envolvendo quase mil alunos do nono ao décimo primeiro ano durante o outono de 2023. Os professores primeiro revisaram uma lição ensinada anteriormente com toda a sala de aula e, em seguida, suas salas de aula foram designadas aleatoriamente para praticar a matemática de uma das três maneiras: com acesso ao ChatGPT, com acesso a um tutor de IA alimentado pelo ChatGPT ou sem nenhum auxílio de alta tecnologia. Os alunos de cada série receberam os mesmos problemas de prática com ou sem IA. Depois, eles fizeram um teste para ver o quão bem aprenderam o conceito. Os pesquisadores conduziram quatro ciclos disso, dando aos alunos quatro sessões de 90 minutos de tempo de prática em quatro tópicos de matemática diferentes para entender se a IA tende a ajudar, prejudicar ou não fazer nada.
O ChatGPT também parece produzir excesso de confiança. Em pesquisas que acompanharam o experimento, os alunos disseram que não achavam que o ChatGPT os fez aprender menos, embora tivessem aprendido. Os alunos com o tutor de IA achavam que tinham se saído significativamente melhor no teste, embora não tivessem. (É também outro bom lembrete para todos nós de que nosso percepções de quanto aprendemos muitas vezes estão erradas.)
Os autores compararam o problema de aprender com o ChatGPT ao piloto automático. Eles relataram como uma dependência excessiva do piloto automático levou a Administração Federal de Aviação a recomendar que os pilotos minimizassem o uso dessa tecnologia. Os reguladores queriam ter certeza de que os pilotos ainda soubessem como voar quando o piloto automático não funcionasse corretamente.
O ChatGPT não é a primeira tecnologia a apresentar uma compensação na educação. Máquinas de escrever e computadores reduzem a necessidade de escrita à mão. Calculadoras reduzem a necessidade de aritmética. Quando os alunos têm acesso ao ChatGPT, eles podem responder mais problemas corretamente, mas aprendem menos. Obter o resultado certo para um problema não os ajudará com o próximo.
Esta história sobre o uso ChatGPT para praticar matemática foi escrito por Jill Barshay e produzido por O Relatório Hechingeruma organização de notícias independente e sem fins lucrativos focada na desigualdade e inovação na educação. Inscreva-se para Pontos de prova e outros Boletins informativos Hechinger.
