Desarrollo de una herramienta interactiva para la automatización del proceso de decomisionado de sistemas Datawarehouse

Abstract

En la actualidad son muchas las voces que afirman que nos encontramos en la era del “Big Data”. En el sector de las Tecnologías de la Información y la Comunicación (las ya más que famosas TICs) gran parte de las compañías se enfrentan a proyectos que tratan una cantidad de datos tan grande (y el volumen sigue creciendo constantemente) que supera la capacidad del software convencional para ser capturados, administrados y procesados en un tiempo razonable. La demanda de nuevos enfoques para tratar y resolver esta cuestión es lo que conocemos como Big Data. Las herramientas que engloban este ecosistema permiten el almacenamiento, proceso y tratamiento de los datos masivos de manera rápida y eficiente. Algunos ejemplos de este tipo de herramientas son HDFS (Hadoop Distributed File System), Hive (editor de bases de datos para HDFS), Sqoop (herramienta para la migración de datos) e incluso existen algunas otras herramientas de aprendizaje automático o “machine learning” que permiten realizar por ejemplo clasificaciones y predicciones sobre los datos que se están tratando que pueden resultar de gran utilidad para algunas entidades y compañías. Si bien es cierto que hay que tener cierta prudencia a la hora de implementar un sistema Big Data pues, si los volúmenes de datos que se van a tratar no son lo suficientemente grandes (aunque sea de manera potencial), es muy probable que no merezca la pena hacer uso de esta tecnología y sea más sensato no dejarse llevar por la “moda”. Este Trabajo Fin de Grado surge por la necesidad que existe en el desarrollo de algunos proyectos relacionados con Big Data de ahorrar costes en tiempo al realizar la migración de los datos desde una base de datos tradicional a un sistema Big Data. Este proceso actualmente se realiza de manera “manual” realizando el transvase de la información tabla por tabla, lo que conlleva como hemos dicho un coste en tiempo a tener en cuenta, este proyecto pretende por tanto automatizar de alguna manera ese proceso de decomisionado para realizarlo con mayor rapidez.

Currently, there are many voices that claim that we are in the era of "Big Data". In the Information and Communication Technologies sector (also commonly known as ICT), many companies are facing projects that deal with such a large amount of data (and the volume keep growing constantly) that exceeds the capacity of the Software to be captured, managed and processed in a reasonable time. The demand for new approaches to address and resolve this issue is what we call Big Data. The tools that encompass this ecosystem allow the storage, processing and management of massive data fast and efficiently. Some examples of such tools are HDFS (Hadoop Distributed File System), Hive (a database editor for HDFS), Sqoop (a tool for data migration). There are many other machine learning tools, which allow to perform, for example, classifications and predictions about the data being processed that can be very useful for some entities and companies. Whilst some caution should be exercised when implementing a Big Data system, mainly if the volumes of data to be processed are not large enough (even potentially), it is likely that it will not merit to make use of this technological ecosystem, being wiser do not get caught up by "trends".