Development, psychometric properties and new validity evidences of the web-based computerized adaptive test of English eCat

Abstract

Se describe la construcción del test eCat y se informa de las consecuencias que su funcionamiento ha tenido en sus propiedades psicométricas. Los resultados obtenidos en una muestra de 3224 estudiantes mostraron que el banco tiene una adecuada fiabilidad y validez convergente en relación a los autoinformes de dominio del inglés. Las simulaciones realizadas mostraron que las estimaciones carecían de sesgo y que el test ha de tener al menos 15 ítems para alcanzar una precisión razonable. A partir de las 7254 aplicaciones del test disponibles, se han vuelto a obtener las propiedades psicométricas y se han comparado con las previstas antes de la aplicación. Se aportan nuevas evidencias de validez

This paper describes the process of constructing the eCat test and provides information on the effects its normal operation had on its psychometric properties. Results obtained from 3224 students revealed that the 225 item pool has adequate reliability and good convergent validity with respect to self-reported English proficiency. Simulations showed that ability estimations are essentially unbiased and that a stopping criterion of over 15 items is required to achieve a reasonable level of precision. From 7254 eCat administrations the test psychometric properties have been computed again and compared with those of the preoperational eCat. Additional validity evidences are also presented