Evaluación empírica de la usabilidad de un chatbot
Author
Nevado Labrador, AndreaAdvisor
Acuña Castillo, Silvia TeresitaEntity
UAM. Departamento de Ingeniería InformáticaDate
2019-06Subjects
Usabilidad; Chatbot; Experimento; Informática; MatemáticasEsta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.
Abstract
Los chatbots, agentes de conversación basados en mensajería, han experimentado un gran crecimiento recientemente y están siendo utilizados en diferentes áreas por una amplia variedad de usuarios. Los chatbots están diseñados para hacer las interacciones con el usuario lo más naturales posibles.
Un aspecto crítico en los sistemas software interactivos es la usabilidad, necesaria para proporcionar una experiencia de usuario adecuada. La usabilidad de un chatbot puede ser evaluada a través de experimentos, sin embargo, son pocos los estudios encontrados en la literatura con este propósito.
El objetivo del presente trabajo es diseñar y realizar un experimento para evaluar la usabilidad del chatbot SOCIO, cuya funcionalidad es ayudar en la elaboración de diagramas de clases mediante la interpretación del lenguaje natural. Además, está integrado en las redes sociales Twitter y Telegram, por lo que permite trabajar de manera colaborativa. La evaluación de la usabilidad de SOCIO se realiza mediante la comparación con la usabilidad de otra herramienta que también permite la elaboración de diagramas de clases, la aplicación web Creately. La usabilidad es evaluada con respecto a la eficacia, la eficiencia y la satisfacción desde el punto de vista de usuarios con conocimientos en informática, a su vez se evalúa y compara la calidad de los diagramas de clases obtenidos al emplear dichas herramientas.
El experimento propuesto presenta un diseño crossover. En él, la mitad de los sujetos experimentales utilizan el chatbot SOCIO para realizar la primera tarea del experimento y Creately para llevar a cabo la segunda tarea. La otra mitad de los participantes aplica los tratamientos en el orden inverso, realizando la primera tarea con Creately y la segunda con SOCIO. Cada tarea consiste en la elaboración de un diagrama de clases en equipos de tres integrantes.
En el experimento han participado de manera voluntaria 30 estudiantes con conocimientos en Ingeniería Informática. El tamaño muestral se corresponde con el número de equipos formados durante el experimento, en este caso, 10 equipos.
Tras la ejecución del experimento, se analizan estadísticamente los datos recolectados. En primer lugar, se realiza un análisis descriptivo, mediante diagramas de caja, de los datos asociados a las métricas de la eficacia, eficiencia, satisfacción y calidad. En segundo lugar, se ajusta un modelo lineal mixto para cada métrica, y los resultados se complementan calculando el tamaño del efecto del tratamiento, a través del cálculo de la d de Cohen y su error estándar.
A partir de los resultados del análisis y su discusión, se concluye que el tamaño muestral del experimento parece insuficiente y ha podido causar la inexistencia de diferencias significativas producidas por las herramientas en las métricas asociadas a la eficacia, la eficiencia y la calidad. Sin embargo, en relación con la eficiencia, medida a través del tiempo y los mensajes de discusión, parece que el chatbot SOCIO es más eficiente que Creately, es decir, se requiere menor esfuerzo al utilizar SOCIO. Este hecho se refleja en los diagramas de caja asociados a dichas métricas. Estos diagramas muestran tiempos más bajos para el chatbot y un menor número de mensajes de discusión intercambiados. La variable satisfacción sí parece verse afectada por la herramienta utilizada, con resultados favorables para SOCIO. Finalmente, la tarea parece afectar a la satisfacción y a las métricas de la calidad, en concreto, la segunda tarea parece producir peores resultados. También, la secuencia (orden de aplicación) parece afectar a ciertas métricas de la calidad, implicando que la interacción entre la tarea y el tratamiento o los efectos de carryover se han materializado, lo cual supone una amenaza a la validez interna. Ante los resultados obtenidos, se requiere de réplicas del experimento base para consolidar los resultados de la investigación.
Files in this item
Google Scholar:Nevado Labrador, Andrea
This item appears in the following Collection(s)
Except where otherwise noted, this item's license is described as https://creativecommons.org/licenses/by-nc-nd/4.0/
Related items
Showing items related by title, author, creator and subject.
-
Réplica y agregación de resultados de un experimento sobre la usabilidad de un chatbot
Merlo Ballesteros, Gemma
2020-07 -
Evaluación de la plataforma virtual EPIC LMS como sistema de gestión de aprendizaje según estándares de calidad tecnológica y usabilidad
Vigo Montero, Mariana; Gómez Zermeño, Marcela Georgina; Ábrego Tijerina, Raúl Fernando
2015