About the effects of combining Latent Semantic Analysis with natural language processing techniques for free-text assessment

Biblos-e Archivo/Manakin Repository

Show simple item record

dc.contributor.author Pérez Marín, Diana
dc.contributor.author Alfonseca Cubero, Enrique
dc.contributor.author Rodríguez Marín, Pilar
dc.contributor.author Gliozzo, Alfio
dc.contributor.author Strapparava, Carlo
dc.contributor.author Magnini, Bernardo
dc.contributor.other UAM. Departamento de Ingeniería Informática es_ES
dc.date.accessioned 2015-02-10T15:46:45Z
dc.date.available 2015-02-10T15:46:45Z
dc.date.issued 2005
dc.identifier.citation Revista Signos 59 (2005): 325-343 es_ES
dc.identifier.issn 0035-0451 (print) en_US
dc.identifier.issn 0718-0934 (online) en_US
dc.identifier.uri http://hdl.handle.net/10486/663718
dc.description.abstract Este artículo presenta la combinación de Análisis Semántico Latente (LSA) con otras técnicas de procesamiento del lenguaje natural (lematización, eliminación de palabras funcionales y desambiguación de sentidos) para mejorar la evaluación automática de respuestas en texto libre. El sistema de evaluación de respuestas en texto libre llamado Atenea (Alfonseca & Pérez, 2004) ha servido de marco experimental para probar el esquema combinacional. Atenea es un sistema capaz de realizar preguntas, escogidas aleatoriamente o bien conforme al perfil del estudiante, y asignarles una calificación numérica. Los resultados de los experimentos demuestran que para todos los conjuntos de datos en los que las técnicas de PLN se han combinado con LSA la correlación de Pearson entre las notas dadas por Atenea y las notas dadas por los profesores para el mismo conjunto de preguntas mejora. La causa puede encontrarse en la complementariedad entre LSA, que trabaja a un nivel semántico superficial, y el resto de las técnicas NLP usadas en Atenea, que están más centradas en los niveles léxico y sintáctico. es_ES
dc.description.abstract This article presents the combination of Latent Semantic Analysis (LSA) with other natural language processing techniques (stemming, removal of closed-class words and word sense disambiguation) to improve the automatic assessment of students' free-text answers. The combinational schema has been tested in the experimental framework provided by the free-text Computer Assisted Assessment (CAA) system called Atenea (Alfonseca & Pérez, 2004). This system is able to ask randomly or according to the students' profile an open-ended question to the student and then, assign a score to it. The results prove that for all datasets, when the NLP techniques are combined with LSA, the Pearson correlation between the scores given by Atenea and the scores given by the teachers for the same dataset of questions improves. We believe that this is due to the complementarity between LSA, which works more at a shallow semantic level, and the rest of the NLP techniques used in Atenea, which are more focused on the lexical and syntactical levels. en_US
dc.format.extent 13 pág. es_ES
dc.format.mimetype application/pdf en
dc.language.iso eng en
dc.publisher Pontificia Universidad Católica de Valparaíso: Instituto de Literatura y Ciencias del Lenguaje es_ES
dc.relation.ispartof Revista Signos es_ES
dc.subject.other LSA en_US
dc.subject.other Free-text assessment en_US
dc.subject.other Computer assisted assessment en_US
dc.subject.other E-learning en_US
dc.subject.other Preguntas abiertas es_ES
dc.subject.other Evaluación asistida por ordenador es_ES
dc.title About the effects of combining Latent Semantic Analysis with natural language processing techniques for free-text assessment en_US
dc.title.alternative Sobre los efectos de combinar Análisis Semántico Latente con otras técnicas de procesamiento de lenguaje natural para la evaluación de preguntas abiertas es_ES
dc.type article en_US
dc.subject.eciencia Informática es_ES
dc.relation.publisherversion http://dx.doi.org/10.4067/S0718-09342005000300004
dc.identifier.doi 10.4067/S0718-09342005000300004
dc.identifier.publicationfirstpage 325
dc.identifier.publicationissue 59
dc.identifier.publicationlastpage 343
dc.type.version info:eu-repo/semantics/publishedVersion en
dc.contributor.group Herramientas Interactivas Avanzadas (ING EPS-003) es_ES
dc.rights.cc Reconocimiento – NoComercial – SinObraDerivada es_ES
dc.rights.accessRights openAccess en
dc.authorUAM Pérez Marín, Diana Rosario (260499)
dc.authorUAM Rodríguez Marín, Pilar (259351)


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record