Control de sistemas dinámicos mediante procesos gaussianos

Abstract

Los problemas de control representan una categoría en el ámbito del aprendizaje automático especializada en el manejo de un sistema dinámico mediante distintas técnicas. La categoría más comúnmente utilizada para resolver este tipo de problemas es el aprendizaje por refuerzo, en el que se ajusta el aprendizaje en base a la calidad de las acciones que realiza el controlador, medida con una función de coste. Desde el planteamiento de este tipo de problemas, ha habido distintas aproximaciones para abordarlos, pero en la mayoría de casos se repetían los mismos problemas, mayormente derivados del número de intentos necesarios durante las simulaciones para que el controlador aprendiese, lo que significa una alta repercusión en el entorno y un tiempo elevado, imposibilitando su utilización en robots u otros aparatos de bajo coste o con una vida útil corta. Durante este TFG se desarrolla una idea planteada por Carld Edward Rasmussen y Marc Peter Deisenroth llamada PILCO. En ella se aborda la creación de un sistema que aprende a resolver problemas de control utilizando técnicas de aprendizaje automático poco comunes en este tipo de problemas, como los métodos basados en modelos. La mayor virtud de PILCO reside en la eficiencia de datos y la velocidad en la que el controlador aprende su tarea asignada. Esto es posible gracias al funcionamiento del sistema propuesto, por el cual se obtiene información del entorno con la que se crea una imitación del mismo en los aspectos que influyen en las dinámicas que sigue el objeto a controlar. Mediante este sistema, se puede simular de forma artificial el entorno, permitiéndonos obtener datos acerca del efecto de las acciones realizadas por el controlador con las que entrenarlo, reduciendo el número de datos necesarios del entorno y aumentando la velocidad de aprendizaje del controlador radicalmente. Este sistema utiliza Procesos Gaussianos para modelar el entorno, aprendiendo las dinámicas del sistema y sirviendo de guía al controlador durante su aprendizaje. También han sido utilizadas redes neuronales para representar el rol de controlador. Además, cabe destacar la utilización del framework TensorFlow durante toda la implementación del trabajo, ampliando la base recibida durante el grado con conocimientos directamente aplicables en otros tipos de problemas de aprendizaje automático