Las preguntas de selección múltiple son ampliamente usadas, tanto en pruebas construidas por docentes como en pruebas estandarizadas y su calidad es un tema crucial en evaluación educativa. Ya sea se trate de pruebas para la educación básica, media o superior, estas preguntas a veces presentan defectos de construcción, como encabezados con demasiada información, interrogantes no claras o preguntas con varias posibles respuestas. Sin embargo, no existe ningún sistema automatizado de revisión de ítems de este tipo de pruebas. Por ello, un equipo de investigadores del CIAE de la U. de Chile está desarrollando un sistema automatizado de revisión de ítems, en base a un algoritmo y usando el principio de machine learning, que detectará automáticamente las imperfecciones de ítems en las pruebas.
“Siempre hay imperfecciones. En pruebas estandarizadas, en general, son muy pocas; en pruebas elaboradas a mano, hay más. Pero las hay. Hay procesos en la construcción de pruebas que han sido automatizados en el pasado, pero no existe ningún proceso para automatizar la revisión de ítems. En la actualidad, estas revisiones se hacen a mano y demandan mucho tiempo”, explica Severin Lions, investigador postdoctoral del CIAE y subdirector del proyecto.
“Como estas imperfecciones afectan negativamente las propiedades psicométricas de los ítems y tests, es decir, ser un obstáculo a la información que se saca de estas pruebas, mejorar su calidad es una meta prioritaria para los sistemas educativos, en particular cuando se trata de aplicar pruebas masivas de altas consecuencias como las pruebas de admisión a la educación superior”, añade Pablo Dartnell, investigador del CIAE y director del proyecto. Sin embargo, también sus ventajas son aplicables a pruebas estandarizadas como es el Diagnóstico Integral de los Aprendizajes (DIA) que aplica la Agencia de la Calidad de la Educación.
Por eso el instrumento, llamado SARI, tiene el apoyo financiero de FONDEF y se está realizando en colaboración con el DEMRE, la Agencia de la Calidad de la Educación, la Subsecretaría de Educación Superior y la Universidad de Toulouse.
El trabajo de SARI se basa principalmente en el reconocimiento de propiedades del texto, tales como la presencia de ciertas palabras claves o el recuento de caracteres, y en el análisis semántico y sintáctico de los distractores por técnicas de Procesamiento de Lenguaje Natural. “Estos algoritmos necesitan ser entrenados para aprender a reconocer las imperfecciones. Para esto necesitamos tener acceso a un gran banco de preguntas y para lograr este fin trabajamos con dos instituciones asociadas que administran grandes pruebas: DEMRE, la Subsecretaría de Educación Superior y la Agencia de Calidad de la Educación (DIA). Esperamos que, al final del proyecto, SARI pueda asistir a los constructores y revisores de ítems de ambas instituciones”, explica Dartnell.
“La elaboración de ítems es un proceso complejo, que debe conjugar múltiples miradas (disciplinaria, curricular, de evaluación, de imparcialidad, psicométrica)”, explica Carla Barrios, profesional de la División de Evaluación de Logros de Aprendizaje de la Agencia de Calidad de la Educación. Agrega que el proceso de construcción de pruebas DIA pasa por 4 etapas: diseño, ítems, pruebas y validación. “Después de cada proceso de evaluación se hace un chequeo para hacer un análisis estadístico y volver a mirar las preguntas y mejorarlas. Para el caso de las pruebas DIA, siempre nos aseguramos que cada pregunta entregue información relevante para los docentes. Un sistema automatizado como SARI podría optimizar los tiempos para lograr la calidad requerida”, explica.
Juan Bravo, secretario ejecutivo de la Agencia, agrega que hay “muchas expectativas sobre el aporte que este proyecto puede generar en la calidad de nuestras pruebas que tienen valor pedagógico de aporte a la mejora en las prácticas”.
En el caso de las pruebas de admisión a la universidad, la directora del DEMRE, Leonor Varas, argumenta que “la construcción de las preguntas de la pruebas es un camino largo, con muchas revisiones y muchas etapas”. Por ejemplo, los ítemes se elaboran y revisan varias veces y se prueban después en un gran pilotaje, del cual salen las preguntas que se incluyen en las pruebas finales algunos años después. Esas revisiones incluyen el comportamiento diferenciado de las preguntas, por ejemplo, que no tengan algún sesgo en algunas poblaciones específicas. “En todas estas revisiones lo que se busca es que no haya ningún problema. Y, sin embargo, siempre puede quedar algo. Por eso, SARI va a significar una ayuda enorme para revisar, filtrar y chequear automáticamente para asegurarnos aún más de la calidad de las pruebas”, agrega.
SARI estará disponible online y entregará información en tiempo real, será personalizable a cada usuario del programa. El proyecto partió en diciembre del año pasado y hasta fines de año se encuentra en etapa de desarrollo y validación de los algoritmos. El próximo año, el equipo de investigadores se centrarán en el estudio de eficiencia y de utilidad para tener un producto y listo para funcionar.
La directora del CIAE, Alejandra Mizala, indicó que “el proyecto es parte de la línea de investigación de cognición del CIAE que partió en 2019. A través de estos años esta línea de investigación ha ido creciendo y gracias a alianza con el DEMRE y a nivel internacional con Laboratorio de Cognición lenguas de la Universidad de Toulouse”.