Calibración de clasificadores probabilísticos multiclase

Abstract

Actualmente las Redes Neuronales Profundas (DNNs) se emplean para numerosas tareas de clasificación, obteniendo un alto rendimiento en cuanto a precisión se refiere. En algunos casos se emplean clasificadores probabilísticos que asignan un valor de confianza a cada una de las predicciones realizadas. Para que estos sistemas lleven a cabo su función de manera óptima, deben estar bien calibrados, entendiendo la calibración como la concordancia entre la confianza reportada por el clasificador y la probabilidad real de acierto. Estudios recientes [1] han demostrado que los clasificadores probabilísticos actuales no están bien calibrados. Este Trabajo Fin de Grado tiene como objetivo el diseño y la implementación de nuevas estrategias de calibración en clasificadores probabilísticos multiclase, particularizando al caso de estudio de clasificadores de contenidos multimedia (audio, imagen), de tal manera que sirvan de alternativa a otros métodos aplicados actualmente que no desempeñan su función de forma apropiada en determinados casos. Para ello, se ha llevado a cabo un estudio de diversas técnicas de calibración con resultados de vanguardia (Matrix Scaling, Temperature Scaling, Gaussian Backend), evaluando su rendimiento tanto sobre conjuntos de datos sintéticos, como sobre las salidas proporcionadas por una red neuronal (EfficientNet-B0) entrenada con conjuntos de datos de imágenes (CIFAR-3, CIFAR-10, CIFAR-100). Una vez realizadas las pruebas sobre los distintos métodos de calibración, se han propuesto diversos algoritmos basados en Normalizing Flows para intentar superar las limitaciones encontradas en el estudio previo sin comprometer el rendimiento.