About the effects of combining Latent Semantic Analysis with natural language processing techniques for free-text assessment
Title (trans.)
Sobre los efectos de combinar Análisis Semántico Latente con otras técnicas de procesamiento de lenguaje natural para la evaluación de preguntas abiertasEntity
UAM. Departamento de Ingeniería InformáticaPublisher
Pontificia Universidad Católica de Valparaíso: Instituto de Literatura y Ciencias del LenguajeDate
2005Citation
10.4067/S0718-09342005000300004
Revista Signos 59 (2005): 325-343
ISSN
0035-0451 (print); 0718-0934 (online)DOI
10.4067/S0718-09342005000300004Editor's Version
http://dx.doi.org/10.4067/S0718-09342005000300004Subjects
LSA; Free-text assessment; Computer assisted assessment; E-learning; Preguntas abiertas; Evaluación asistida por ordenador; InformáticaEsta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.
Abstract
Este artículo presenta la combinación de Análisis Semántico Latente (LSA) con otras técnicas de procesamiento del lenguaje natural (lematización, eliminación de palabras funcionales y desambiguación de sentidos) para mejorar la evaluación automática de respuestas en texto libre. El sistema de evaluación de respuestas en texto libre llamado Atenea (Alfonseca & Pérez, 2004) ha servido de marco experimental para probar el esquema combinacional. Atenea es un sistema capaz de realizar preguntas, escogidas aleatoriamente o bien conforme al perfil del estudiante, y asignarles una calificación numérica. Los resultados de los experimentos demuestran que para todos los conjuntos de datos en los que las técnicas de PLN se han combinado con LSA la correlación de Pearson entre las notas dadas por Atenea y las notas dadas por los profesores para el mismo conjunto de preguntas mejora. La causa puede encontrarse en la complementariedad entre LSA, que trabaja a un nivel semántico superficial, y el resto de las técnicas NLP usadas en Atenea, que están más centradas en los niveles léxico y sintáctico. This article presents the combination of Latent Semantic Analysis (LSA) with other natural language processing techniques (stemming, removal of closed-class words and word sense disambiguation) to improve the automatic assessment of students' free-text answers. The combinational schema has been tested in the experimental framework provided by the free-text Computer Assisted Assessment (CAA) system called Atenea (Alfonseca & Pérez, 2004). This system is able to ask randomly or according to the students' profile an open-ended question to the student and then, assign a score to it. The results prove that for all datasets, when the NLP techniques are combined with LSA, the Pearson correlation between the scores given by Atenea and the scores given by the teachers for the same dataset of questions improves. We believe that this is due to the complementarity between LSA, which works more at a shallow semantic level, and the rest of the NLP techniques used in Atenea, which are more focused on the lexical and syntactical levels.
Files in this item
Google Scholar:Pérez Marín, Diana
-
Alfonseca Cubero, Enrique
-
Rodríguez Marín, Pilar
-
Gliozzo, Alfio
-
Strapparava, Carlo
-
Magnini, Bernardo
This item appears in the following Collection(s)
Related items
Showing items related by title, author, creator and subject.