Combinación de DNN y audio fingerprinting para detección de ataques de reproducción acústica multidispositivo de passwords habladas

Abstract

En este Trabajo de Fin de Máster, se ha usado una combinación de sistemas DNN y audio fingerprinting para la detección de ataques de reproducción acústica multidispositivo de passwords habladas, con el fin de investigar la capacidad de detección de estos ataques, uno de los problemas de seguridad más graves de los sistemas de verificación de locutor. Para ello se ha implementado un sistema de audio fingerprinting a partir de un prototipo para la detección de anuncios en programas broadcast; y se han desarrollado varios sistemas basados en redes neuronales profundas, para reconocer patrones acústicos en los audios de ataques de reproducción provocados por los diferentes dispositivos de grabación y reproducción que pueden ser utilizados en estos ataques. El carácter multidispositivo de este problema, conlleva que los audios procedentes de estos ataques de reproducción puedan tener diferentes calidades, dependiendo de la fidelidad del dispositivo con el que se realice el ataque y las condiciones acústicas de grabación y reproducción. Los sistemas de audio fingerprinting y de reconocimiento de patrones, funcionan con diferente rendimiento según la calidad de estos audios, siendo los sistemas acústicos capaces de detectar mejor los ataques cuanto peor es la calidad, al reconocer los artefactos acústicos de diferente tipo provocados por la reproducción y grabación, que son más acuciados cuanto menor es la fidelidad del dispositivo. El sistema de audio fingerprinting, sin embargo, tendrá un mejor comportamiento cuanto más parecidos sean el audio del ataque y el audio original. La complementariedad de estas estrategias ha sido probada en este trabajo, realizando una combinación de los sistemas, mejorando con la fusión el rendimiento de cualquiera de los sistemas individuales.

In this final Master in Science Thesis, a combination of DNN and audio fingerprinting has been used, to be able to detect acoustic password replay attacks, on a multidevice environment, to assess the detection capabilities of this kind of attack, a major security problem on automatic speaker verification systems. In order to achieve this objective, an audio fingerprinting system has been implemented, based on a prototipe used for commercial detection on broadcast shows; and several neural network based system have been developped, in pursuance to recognize acoustic patterns in the replay attack audios, caused by the multiple replay devices that can be used on these attacks. In this multi-device environment, the sound recordings coming out from this attacks can have different qualities, depending on the device’s fidelity and the acoustic conditions at the attack’s time. The audio fingerprinting and the pattern recognition systems operate at different perfomances, depending on the quality of the audio. The acoustic systems have a better perfomence when the sound recording quality drops, being able to recognice acoustic patterns caused by the replay, which are more precise as the device’s fidelity lowers down. On the other hand, the audio fingerprinting system, has a better efficiency when the genuine and spoof audio are more similar. The complementarity of these strategies has been proved in this work, achieving with the system’s fusion a better perfomance than any of the individual systems by their own.