Psychometric and psychological effects of review on computerized fixed and adaptive tests

Abstract

Two computerized versions of an English vocabulary test for Spanish speakers (an adaptive and a fixed one) were applied in a Spanish sample of first-year psychology undergraduate students. The effects of test type (computer-adaptive vs. computerized-fixed) and review condition (allowed vs. not allowed) on several psychological variables were examined. Withinsubject variables were measured both before and after review to study the effects of review on the psychological and psychometric variables for the review condition in both tests. Two major results were obtained after review: a) a significant increase of correct responses and estimated ability, and b) a decrease of the state-anxiety level. The differences were not significant for measurement error. Interaction effects (test type by moment) were not significant. These and other results concerning the assessment conditions established in this and previous papers are discussed. Finally, the implications that the results may have to establish review conditions in computerized adaptive tests are commented

Se aplicaron dos versiones informatizadas de un test de vocabulario inglés para hispanohablantes (uno fijo y otro adaptativo) a una muestra de estudiantes españoles de primer curso de Psicología. Se estudiaron los efectos del tipo de test (fijo versus adaptativo) y de la condición de revisión (permitida versus no permitida) sobre diversas variables psicológicas. Se analizaron los efectos de la revisión en ambos tests (diferencias antes-después) en una serie de variables psicológicas y psicométricas. Después de la revisión, dos fueron los resultados más destacables: a) un incremento significativo del número de aciertos y de la habilidad media estimada, y b) un descenso significativo del nivel de ansiedad estado de los evaluandos. No se obtuvieron diferencias significativas en precisión. Tampoco resultó significativo el efecto de la interacción entre el tipo de test y el momento (antes versus después de la revisión). Se discuten estos resultados y otros relativos a las condiciones de evaluación establecidas en el presente trabajo y en otros realizados previamente. Finalmente, se comentan las implicaciones que los resultados pueden tener para permitir la revisión en la aplicación real de tests adaptativos informatizados