Detection of Q-matrix misspecification using two criteria for validation of cognitive structures under the Least Squares Distance Model

Abstract

Cognitive Diagnostic Models (CDMs) aim to provide information about the degree to which individuals have mastered specific attributes that underlie the success of these individuals on test items. The Q-matrix is a key element in the application of CDMs, because contains links item-attributes representing the cognitive structure proposed for solve the test. Using a simulation study we investigated the performance of two model-fit statistics (MAD and LSD) to detect misspecifications in the Q-matrix within the least squares distance modeling framework. The manipulated test design factors included the number of respondents (300, 500, 1000), attributes (1, 2, 3, 4), and type of model (conjunctive vs disjunctive). We investigated MAD and LSD behavior under correct Q-matrix specification, with Qmisspecifications and in a real data application. The results shows that the two model-fit indexes were sensitive to Q-misspecifications, consequently, cut points were proposed to use in applied context.

Detección de errores de especificación en la matriz Q utilizando dos criterios de validación de estructuras cognitivas con el Modelo de las Distancias Mínimo Cuadráticas (LSDM). Los Modelos de Diagnóstico Cognitivo (MDC) tienen por objeto proporcionar información sobre el grado en que los individuos dominan atributos específicos para resolver correctamente los items de un test. La matriz Q es un elemento clave en la aplicación de los MDC porque contiene vínculos entre items y atributos que representan la estructura cognitiva propuesta para resolver la prueba. Por medio de un estudio de simulación, se determinó el rendimiento de dos estadísticos de ajuste (MAD y LSD) para detectar errores de especificación en la matriz Q dentro del marco del modelo de la distancia mínimo cuadrática. Los factores manipulados en el diseño del test incluyen: número de encuestados (300, 500, 1000), número de atributos (1, 2, 3, 4), y el tipo de modelo (conjuntivo vs. disyuntivo). Se investigó el comportamiento de los valores MAD y LSD bajo una correcta especificación de Q, con errores de especificación en Q y en una aplicación de datos reales. Los resultados muestran que los dos índices son sensibles a los errores de especificación de Q, por este motivo se proponen puntos de corte para usar en aplicaciones del modelo.