Dot.lib

La llegada de plataformas de Inteligencia Artificial Generativa (GenAI), como ChatGPT, ha transformado el panorama educativo. Una de las mayores preocupaciones de los educadores es el uso de estas herramientas en las evaluaciones, lo que puede amenazar la integridad académica. Pero, ¿realmente los profesores pueden identificar cuándo un texto fue escrito con la ayuda de una IA?

Un nuevo estudio publicado en la revista Innovation and Education, de nuestra aliada De Gruyter Brill, investigó la precisión de los juicios humanos en esta tarea. Los investigadores invitaron a 16 evaluadores experimentados de un programa de pregrado en psicología en el Reino Unido para calificar cuatro ensayos: dos escritos exclusivamente por estudiantes y dos producidos con la asistencia de ChatGPT 3.5. Todo el proceso se realizó "a ciegas", sin que los profesores conocieran el origen de los textos.

Los Resultados de la Evaluación

Los datos revelaron que la capacidad de detección humana sin la ayuda de software es defectuosa e inconsistente:

• La precisión general es modesta: En general, los evaluadores clasificaron correctamente solo el 62.5% de los ensayos.
  
  
• Es más fácil reconocer el toque humano: Los profesores fueron significativamente mejores para identificar ensayos escritos por estudiantes (71.9% de precisión) que para detectar los asistidos por IA (53.1% de precisión).
  
  
• Las calificaciones y la confianza no cambian: No hubo una diferencia significativa en las calificaciones asignadas ni en el nivel de confianza de los profesores al evaluar los dos tipos de texto.

Contradicciones y Falsas Pistas

A través de un análisis cualitativo, el estudio también exploró qué "pistas" utilizaban los profesores para intentar descubrir el uso de la IA. Los evaluadores informaron que buscaban señales en la calidad estructural de la escritura y en la integridad de la investigación. Sin embargo, la aplicación de estas reglas estuvo llena de contradicciones y conceptos erróneos.

Por ejemplo, una mala selección de literatura se asoció frecuentemente con el uso de IA, mientras que las buenas elecciones literarias se vincularon a los estudiantes. Sin embargo, estos juicios se aplicaron incorrectamente en muchos casos. La escritura deficiente a veces se atribuía a la IA y otras al estudiante, y lo mismo ocurría con los textos excelentes. Incluso el plagio generó confusión, siendo considerado por algunos como una señal de uso de IA y por otros como la prueba de que el texto era puramente humano.

Un Nuevo Modelo de Evaluación

Estos hallazgos resaltan la dificultad de detectar el uso de GenAI de forma no asistida. Los autores del estudio sugieren que, en lugar de centrarse excesivamente en la detección, las instituciones deberían adoptar métodos de evaluación más auténticos y centrados en el proceso. Las evaluaciones que priorizan el pensamiento de orden superior y exigen transparencia en el uso de herramientas de IA pueden promover un aprendizaje más profundo e inhibir la deshonestidad académica.

Para leer la metodología completa y los detalles de la investigación cualitativa, acceda al artículo original.

Sobre De Gruyter Brill

Con un catálogo diversificado y reconocido internacionalmente en áreas que van desde las humanidades, las artes, la arquitectura y las ciencias sociales hasta la ciencia, la tecnología y la medicina, De Gruyter Brill ofrece a bibliotecarios, especialistas y académicos una sólida cartera de contenidos que impulsan la enseñanza, la investigación y la toma de decisiones basada en pruebas.

Si desea obtener más información sobre la cartera de De Gruyter Brill para su institución, póngase en contacto con info@dotlib.com o complete nuestro formulario. Aproveche la oportunidad para mantenerse al día con nuestro blog, seguir nuestras redes sociales y suscribirse a Dotlib TV, nuestro canal oficial de YouTube.