Dot.lib

A chegada de plataformas de Inteligência Artificial Generativa (GenAI), como o ChatGPT, transformou o cenário educacional. Uma das maiores preocupações de educadores é o uso dessas ferramentas em avaliações, o que pode ameaçar a integridade acadêmica. Mas será que os professores realmente conseguem identificar quando um texto foi escrito com a ajuda de uma IA?

Um novo estudo publicado no periódico Innovation and Education, de nossa parceira De Gruyter Brill, investigou a precisão dos julgamentos humanos nessa tarefa. Pesquisadores convidaram 16 avaliadores experientes de um programa de graduação em psicologia no Reino Unido para corrigir quatro redações: duas escritas exclusivamente por alunos e duas produzidas com a assistência do ChatGPT 3.5. Todo o processo foi feito "às cegas", sem que os professores soubessem a origem dos textos.

Os Resultados da Avaliação

Os dados revelaram que a capacidade de detecção humana sem o auxílio de softwares é falha e inconsistente:

• A precisão geral é modesta: No geral, os avaliadores classificaram corretamente apenas 62,5% das redações.
  
  
• É mais fácil reconhecer o toque humano: Os professores foram significativamente melhores em identificar redações escritas por alunos (71,9% de precisão) do que em detectar as assistidas por IA (53,1% de precisão).
  
  
• Notas e confiança não mudam: Não houve diferença significativa nas notas atribuídas ou no nível de confiança dos professores ao avaliar os dois tipos de texto.

Contradições e Falsas Pistas

Por meio de uma análise qualitativa, o estudo também explorou quais "pistas" os professores utilizavam para tentar descobrir o uso de IA. Os avaliadores relataram buscar sinais na qualidade estrutural da escrita e na integridade da pesquisa. No entanto, a aplicação dessas regras foi cheia de contradições e equívocos.

Por exemplo, uma seleção ruim de literatura foi frequentemente associada ao uso de IA, enquanto boas escolhas literárias foram ligadas aos alunos. Porém, esses julgamentos foram aplicados de forma incorreta em muitos casos. A escrita fraca ora era atribuída à IA, ora ao aluno, e o mesmo acontecia com textos excelentes. Até mesmo o plágio gerou confusão, sendo considerado por alguns como um sinal de uso de IA e por outros como a prova de que o texto era puramente humano.

Um Novo Modelo de Avaliação

Esses achados destacam a dificuldade de detectar o uso de GenAI de forma não assistida. Os autores do estudo sugerem que, em vez de focar excessivamente na detecção, as instituições devem adotar métodos de avaliação mais autênticos e voltados para o processo. Avaliações que priorizem o raciocínio de ordem superior e exijam transparência no uso de ferramentas de IA podem promover um aprendizado mais profundo e inibir a desonestidade acadêmica.

Para ler a metodologia completa e os detalhes da pesquisa qualitativa, acesse o artigo original.

Sobre a De Gruyter Brill

Com um catálogo diversificado e internacionalmente reconhecido em áreas que vão desde humanidades, artes, arquitetura e ciências sociais até ciência, tecnologia e medicina, a De Gruyter Brill oferece aos bibliotecários, especialistas e acadêmicos um portfólio robusto de conteúdos que impulsionam o ensino, a pesquisa e a tomada de decisão baseada em evidências.

Se você deseja conhecer melhor o portfólio da De Gruyter Brill para a sua instituição, entre em contato pelo info@dotlib.com ou preencha nosso formulário. Aproveite e acompanhe nosso blog, siga nossas redes sociais e se inscreva na Dotlib TV, nosso canal oficial no YouTube.