Comparing methods for modeling acquiescence in multidimensional partially balanced scales

Abstract

Background: The inclusion of direct and reversed items in scales is a commonly-used strategy to control acquiescence bias. However, this is not enough to avoid the distortions produced by this response style in the structure of covariances and means of the scale in question. This simulation study provides evidence on the performance of two different procedures for modelling the influence of acquiescence bias on partially balanced multidimensional scales: a method based on exploratory factor analysis (EFA) with target rotation, and a method based on random intercept factor analysis (RIFA). Method: The independent variables analyzed in a simulation study were sample size, number of items per factor, balance of substantive loadings of direct and reversed items, size and heterogeneity of acquiescence loadings, and inter-factor correlation. Results: The RIFA method had better performance over most of the conditions, especially for the balanced conditions, although the variance of acquiescence factor loadings had a certain impact. In relation to the EFA method, it was severely affected by a low degree of balance. Conclusions: RIFA seems the most robust approach, but EFA also remains a good alternative for medium and fully balanced scales.

Antecedentes: la inclusión de ítems directos e inversos en escalas es una estrategia comúnmente utilizada para controlar el sesgo de aquiescencia. No obstante, esto es insufi ciente para evitar las distorsiones producidas por este estilo de respuesta en la estructura de covarianzas y medias de la escala. El presente estudio de simulación aporta evidencia sobre el rendimiento de dos procedimientos para controlar la infl uencia del sesgo de aquiescencia en escalas multidimensionales parcialmente balanceadas: un método basado en análisis factorial exploratorio con rotación target (EFA), y un método basado en el análisis factorial confi rmatorio con intercepto aleatorio (RIFA). Método: las variables independientes del estudio de simulación fueron: tamaño muestral, número de ítems por factor, balanceo de los pesos sustantivos de los ítems directos e inversos, tamaño y heterogeneidad de los pesos en aquiescencia, y correlación entre factores. Resultados: el método RIFA tiene mejor funcionamiento en general, especialmente para las condiciones balanceadas, aunque la varianza de los pesos de aquiescencia tuvo impacto en su rendimiento. El método EFA se ve principalmente afectado en la situación de bajo balanceo. Conclusiones: el RIFA parece la aproximación más robusta, aunque el EFA se mantiene como una alternativa a considerar para escalas con balanceo medio o completo