ChatGPT vence alunos nas provas, mas apenas nos primeiros anos
Os pesquisadores conduziram um experimento que mostrou que a IA é capaz de passar com êxito nos exames universitários, permanecendo sem ser detectada por programas especiais. As provas do ChatGPT receberam notas mais altas do que as provas dos alunos, escreve Ars Technica.
Fonte da imagem: Progresso/Unsplash
Uma equipe de cientistas da Universidade de Reading, na Inglaterra, liderada por Peter Scarfe, conduziu um experimento em grande escala para testar a eficácia com que os sistemas modernos de inteligência artificial podem lidar com os exames universitários. Os pesquisadores criaram mais de 30 contas fictícias de estudantes de psicologia e as usaram para fazer exames usando respostas geradas pelo ChatGPT. O experimento abrangeu cinco módulos de graduação em psicologia, incluindo tarefas para todos os três anos de estudo.
Os resultados foram impressionantes: 94% dos artigos gerados por IA passaram despercebidos pelos examinadores. Além disso, quase 84% desses trabalhos receberam notas mais altas do que os trabalhos dos alunos humanos, uma média de meio ponto a mais. “Os examinadores ficaram bastante surpresos com os resultados“Scarfe observou. Além disso, é interessante que alguns trabalhos de IA tenham sido descobertos não porque fossem robóticos, mas porque sua qualidade era muito alta.
A experiência também revelou as limitações dos sistemas existentes para detecção de conteúdo gerado por IA. Ferramentas como o GPTZero da Open AI e o sistema Turnitin funcionam bem no laboratório, mas sua eficácia cai significativamente em uma situação da vida real, diz Scarfe. No entanto, nem todos os resultados foram a favor da IA. No curso final, que exigiu compreensão mais profunda e habilidades analíticas complexas, os alunos humanos tiveram melhor desempenho do que o ChatGPT.
Scarfe sublinhou que com a IA em constante melhoria e a falta de formas fiáveis de detectar a sua utilização, as universidades terão de adaptar e integrar a IA no processo educativo. “O papel da universidade moderna é preparar os alunos para carreiras profissionais, e a realidade é que após a formatura eles sem dúvida utilizarão diversas ferramentas de inteligência artificial“, concluiu o investigador. Esta experiência, de facto, levanta um problema que hoje exige uma revisão dos métodos de ensino e de exame existentes.
Se você notar um erro, selecione-o com o mouse e pressione CTRL+ENTER.