Calibración de ítems mediante juicio de expertos utilizando técnicas de ingeniería dirigida por modelos, workflows y sistemas de gestión de aprendizaje

Abstract

La evaluación mediante test es un aspecto esencial del aprendizaje y tanto los sistemas de aprendizaje a distancia como la evaluación profesional utilizan bancos de ítems calibrados para llevar a cabo esta tarea. En este contexto, un banco de ítems no es más que una colección de preguntas cuyo objeto es evaluar sobre un determinado tema. Por su parte, calibrar un banco de ítems mediante el juicio de expertos es un proceso integral que consiste en establecer en una métrica común la dificultad de cada ítem que lo compone y que consta de dos fases sucesivas: (1) recoger una muestra de datos que contenga estimaciones subjetivas de varios individuos especialistas en ese tema, los expertos, sobre el nivel de dificultad de cada uno de los ítems y (2) establecer un único valor consensuado para la dificultad de cada ítem a partir del análisis de esa muestra. La presente tesis detalla la especificación de este proceso integral de calibración mediante el juicio de expertos, junto con el diseño, implementación y validación de un sistema inteligente de ayuda, denominado CALLIE, que automatiza dicho proceso y guía al responsable de la calibración en su toma de decisiones. Para ello, se proponen distintos modelos y artefactos software que comprenden la utilización de estándares e-learning como IMS, de plataformas LMS como Moodle para gestionar la recogida de la muestra de datos y de diversos workflows para analizar los datos recopilados y obtener la estimación final de la dificultad de cada ítem a partir de ellos.