Agrupamiento espacio-temporal de secuencias de vídeo mediante caracterización por la respuesta de redes convolucionales

Abstract

En este trabajo de fin de grado se establece como objetivo el estudio de la viabilidad de la tarea de agrupamiento espacio-temporal de los cuadros de un vídeo capturado por medio de un vehículo en movimiento o una persona caminando mediante las características visuales extraídas tras el desarrollo de entrenamientos de redes neuronales convolucionales. El objetivo último es el de dividir la trayectoria seguida por el vehículo en grupos, atendiendo a sus cambios de orientación o posición (cambio de manzana), basándose exclusivamente en el análisis visual de las imágenes capturadas por la cámara a bordo. Para ello se diseña una base de datos usando imágenes del repositorio de Google Street View. Esta base de datos estará compuesta por vídeos capturados por el vehículo mientras recorre trayectorias en diferentes lugares del mundo. Una vez obtenida la base de datos, se examina y eliminan las imágenes que presenten distancias muy próximas con su predecesora, lo que resultará en la obtención de trayectorias consistentes con imágenes que, en los entrenamientos no aporten información redundante. Creada la base de datos, se carga una red pre-entrenada para la tarea de clasificación de imágenes, GoogleNet. Para ajustar esta red a nuestra base de datos se realizan pruebas, barriendo distintos valores de hiperparámetros para establecer la mejor configuración de la red. Una vez encontrados se realizan varios entrenamientos para la clasificación automática de los vídeos, variando la permeabilidad al aprendizaje de sus capas, a fin de aprovechar parte de las características aprendidas en entrenamientos previos. Habiendo sido entrenadas las redes, se propone extraer características para cada cuadro del vídeo, mediante truncamiento de la red a diferentes niveles. Con estas características, se calculan distancias entre todos los cuadros de cada vídeo, obteniendo matrices de distancias. Por último, haciendo uso de las matrices de distancias, se realizan múltiples pruebas mediante el uso de distintos algoritmos de agrupamiento, métricas de evaluación de distancias y criterios para la obtención de agrupaciones. En dichas pruebas se evalúa mediante la ejecución de casos prospectivos, la viabilidad de las agrupaciones obtenidas para cada una de las trayectorias. Los resultados preliminares sugieren que el método diseñado es capaz de obtener agrupaciones espacio-temporales de los cuadros del vídeo que concuerdan aproximadamente con la trayectoria seguida por el vehículo