Aplicación de técnicas de usabilidad sobre cursos MOOCs
Author
Martín Montero, CristinaAdvisor
Moreno llEntity
UAM. Departamento de Ingeniería InformáticaDate
2016-06Subjects
InformáticaNote
Máster en Investigación e Innovación en Tecnologías de la Información y las ComunicacionesEsta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.
Abstract
Los Massive Open Online Course (MOOC) son cursos masivos de aprendizaje en línea,
que cada vez son más populares por la ventaja que en ellos ven proveedores y
estudiantes. Al ser una modalidad nueva de enseñar, no existen muchos estudios de
usabilidad al respecto. Son evidentes varios problemas para estudiar tal característica en
un contexto de proveedores, plataformas y modelos de cursos heterogéneos, y de
usuarios diversos, dispersos y cambiantes. Una cuestión que parece fundamental es la
adaptación de las técnicas existentes para estudiar la usabilidad en este contexto.
El objetivo de este trabajo es integrar técnicas adecuadas de usabilidad propias de IPO
(Interacción Persona-Ordenador) para el desarrollo software en el proceso de desarrollo
de MOOCs, adaptándolas de forma apropiada al correspondiente contexto, con el fin de
evaluar y mejorar la usabilidad y tratar así de reducir la deserción de estudiantes que
actualmente caracteriza a dichos cursos. Se propone una aproximación para la solución
del problema, y se presenta un ejemplo de adaptación de técnicas de usabilidad a un
caso práctico de evaluación de MOOCs reales.
Analizando con una búsqueda sistemática la literatura actual existente sobre la
aceptación de la usabilidad de los MOOCs, se llega a la conclusión de que no existen
artículos relacionados con la temática de interés, por lo que se realizan búsquedas sobre
el tema en documentaciones de congresos y otras fuentes menos formales de Internet.
Los resultados obtenidos en estas segundas exploraciones fueron igual de infructuosas
que las primeras, por lo que se puede afirmar que no hay trabajos académicos ni otras
referencias sobre usabilidad y MOOC.
Una vez verificado que no hay literatura relacionada con la usabilidad de los MOOCs,
se plantea realizar un estudio de usabilidad sobre alguna de las plataformas existentes
más comunes, para lo que se analizan las características más importantes de las
plataformas MOOC existentes y las técnicas de usabilidad aplicables.
Para ello se seleccionan las plataformas más populares a la hora de realizar MOOCs. Se
lleva a cobo un análisis exhaustivo de los cursos impartidos y del número de estudiantes
en cada uno ellos, para compararlos después. Además, se establecen las características
que se tendrán en cuenta para el análisis de usabilidad posterior, generando una
caracterización de plataformas y cursos según una de las clasificaciones de MOOCs más
extendida, que considera dos tipos cMOOC y xMOOC.
En este trabajo, se han revisado también las técnicas de usabilidad para actividades IPO,
que se han clasificado teniendo en cuenta tipos genéricos de actividades de la disciplina
Ingeniería del Software (IS): ingeniería de requisitos, diseño y evaluación.
Posteriormente, se han seleccionado y propuesto adaptaciones a varias de esas técnicas
para poder aplicarlas sobre MOOCs, teniendo siempre en cuenta que se trata de cursos
masivos y realizados a través de internet. Las técnicas adaptadas de ingeniería de
requisitos son: card sorting, perfiles de usuario y Personas, brainstorming, prototipos
online. La técnica de usabilidad de diseño adaptada para MOOCs es: análisis de
impacto. Dentro de las técnicas de usabilidad de evaluación existen tres grandes grupos
de técnicas para evaluar la usabilidad: evaluación por expertos, pruebas de usabilidad y
estudios de seguimiento de los sistemas instalados. Las técnicas del último tipo que se
adaptado para MOOCs son: pensar en voz alta, grabación de vídeo y grabación de
audio, uso de registros, focus groups, evaluación a distancia, cuestionarios y encuestas.
Para probar la eficacia de algunas de las técnicas adaptadas, se han seleccionado dos
que se han aplicado en cinco cursos MOOC implementados e impartidos por la
Universidad Autónoma de Madrid a través de UAMx utilizando la plataforma de edX
durante el segundo cuatrimestre del curso académico 2015-2016. Los cursos sobre los
que se han aplicado las técnicas adaptada son: Equidad, Renal, Química, Idealismo y
Seguridad Alimentaria. Las técnicas de análisis de la usabilidad escogidas son la técnica
de cuestionario y la técnica de encuesta, en este caso la denominada SUS, dado que se
trata de técnica fáciles de adaptar y aplicar, cortas, claras, concisas y que se aplican
sobre sistemas instalados.
Considerando los resultados de la aplicación de las técnicas sobre los cursos MOOCs
mencionados, se comprueba que todos los cursos tienen una usabilidad aceptable,
aunque se identifican ciertas mejoras a realizar en futuras ediciones de los cursos
analizados. Estas mejoras se relacionan con el rediseño de la interfaz y con el diseño de
la interacción, y se manifiestan con independencia de las características de los usuarios
participantes. Según los resultados de la encuesta de evaluación de usabilidad realizada
a todos los estudiantes que llegaron hasta el final del curso y se prestaron a ello, los
valores promedios obtenidos son aceptables por lo que se considera que los todos los
cursos son usables.
Con todo ello se consigue el objetivo general de este TFM que es integrar técnicas de
usabilidad propias de IPO para el desarrollo software en el proceso de desarrollo de los
MOOCs, adaptándolas de forma adecuada al correspondiente contexto, con el fin de
evaluar y mejorar la usabilidad de tales cursos e intentar reducir con ello la deserción de
estudiantes que los caracterizan. De forma que para conseguirlo se ha: investigado el
estado del arte, los antecedentes y el estado actual respecto a MOOCs, Interacción
Persona-Ordenador y Usabilidad; analizado los tipos de MOOCs, plataformas para su
implementación y cursos ofrecidos desde ellas, caracterizando dichos cursos; estudiado
las técnicas de usabilidad aplicables al desarrollo de MOOCs; adaptado algunas de ella
para su utilización práctica; y aplicado algunas de las técnicas sobre cursos reales de ese
tipo. Massive Open Online Course (MOOC) are massive online learning courses, which are
becoming more popular by the advantage seen in them by suppliers and students. As a
new teaching mode, there are not many usability studies about it. Several problems are
evident to study such a feature in a context of vendors, platforms and heterogeneous
models courses and diverse, scattered and changing users. One issue that seems
fundamental is the adaptation of existing techniques to study the usability in this
context.
The aim of this work is to integrate appropriate techniques from HCI (Human Computer
Interaction) for software development in the MOOCs development process, adapting
appropriately to the right context, in order to assess and improve usability and so try to
reduce the dropout students that currently characterizes such courses. An approach to
solving the problem is proposed, and an example of adaptation of usability techniques
in a case study to evaluate real MOOCs.
Analysing with a systemic search the actual existing literature on the acceptance of
usability on MOOCs nowadays, we reach the conclusion that there are no studies
related with the subject that is being carried out, so searches about the subject were done
through congress documentations and other less formal sources on the Internet. The
results obtained in these second scans were as fruitless as the first, so we can say that
there are no academic papers or other references about usability and MOOC.
Once verified that there is no literature regarding the usability of MOOCs, we propose
to conduct a usability study on some of the most common existing platforms, for which
the most important features of existing MOOC platforms and usability techniques
applicable are analysed.
To do this, the most popular platforms to take MOOCs are selected. A thorough
analysis is done about the number of courses and the number of students in each one of
them, later to be compared. In addition, the features that will be considered for further
analysis of usability are established, generating a characterization of platforms and
courses according to the most extended MOOC classification, that considers two types
cMOOC and xMOOC.
In this work, we have also reviewed the usability techniques for IPO activities, which
have been fitted considering generic types of activities Software Engineering discipline
(SE): requirements engineering, design and evaluation. Later, the usability techniques
have been selected and proposed the following technical adjustments to be applied on
MOOCs, always taking into account that courses are massive and made through the
Internet. The modified techniques are engineering requirements: card sorting, user
profiles and Persona, brainstorming, online prototyping. The usability technique of
design adapted to MOOCs is: impact analysis. Within the usability evaluation
techniques there are three major groups of techniques to evaluate the usability: expert
evaluation, usability testing and follow-up studies of installed systems. The techniques
of the latter type, which have been adapted for MOOCs are: thinking aloud, video
recording and audio recording, use of records, focus groups, remote evaluation,
questionnaires and surveys.
To test the effectiveness of some of the techniques adapted, we selected two of them,
which have been implemented in five MOOC courses implemented and delivered by
UAM (Universidad Autónoma de Madrid) institution through UAMx using edX
platform during the second semester of the academic year 2015-2016. The courses on
which adapted techniques have been applied are: Equidad, Renal, Química, Idealismo
and Seguridad Alimentaria. The analysis techniques picked are questionnaire and
survey, in this case SUS, since they are easy to apply, short, clear, concise, and are
applied on installed systems.
Considering the results of the application of the aforementioned techniques MOOCs
courses, it is checked that all courses have an acceptable usability, although certain
improvements are identified to be made in future editions of related courses. These
improvements are related to the redesign of the interface and interaction design, and
manifest themselves regardless of the type of user. According to the results of the
evaluation survey conducted usability to all users that completed the course, the mean
values obtained are acceptable so it is considered that the courses are still usable.
Therefore, the general aim of this work is achieved, that is to integrate the usability
techniques proper of HCI software development in the process of MOOC development,
adapting them to the context in the right way, with the aim to evaluate an improve the
usability of the courses and reduce the abandon rates of this type of courses. To achieve
this: the state of the art about MOOCs, HCI and Usability has been investigated, the
MOOC types, platforms to implement them and courses offered have been analysed and
characterized; studying the usability techniques applicable to the development of
MOOCs, adapting some of them to use them in practice, and apply some of the
techniques on real courses of these type.
Files in this item
Google Scholar:Martín Montero, Cristina
This item appears in the following Collection(s)
Except where otherwise noted, this item's license is described as https://creativecommons.org/licenses/by-nc-nd/4.0/
Related items
Showing items related by title, author, creator and subject.
-
Integración de Técnicas de Usabilidad en un Proceso de Desarrollo de Open Source Software
Martín Montero, Cristina
2014-07 -
Desarrollo de una aplicación web mediante la técnica de usabilidad personaSE
Muñecas de Apellániz, Jesús
2011 -
Estudio empírico de la aplicación de técnicas de usabilidad adaptadas en OpenOffice Writer y LibreOffice Writer
Pizarro Mendoza, Roberto Andrés
2018-01