Combinación de DNN y audio fingerprinting para detección de ataques de reproducción acústica multidispositivo de passwords habladas
Author
Labrador Serrano, BeltránAdvisor
González Rodríguez, JoaquínEntity
UAM. Departamento de Tecnología Electrónica y de las ComunicacionesDate
2019-02Subjects
Redes neuronales profundas; Huella de audio; Reconocimiento de patrones; TelecomunicacionesNote
Máster Universitario en Ingeniería de TelecomunicacionesEsta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.
Abstract
En este Trabajo de Fin de Máster, se ha usado una combinación de sistemas DNN y audio
fingerprinting para la detección de ataques de reproducción acústica multidispositivo de passwords
habladas, con el fin de investigar la capacidad de detección de estos ataques, uno de los
problemas de seguridad más graves de los sistemas de verificación de locutor.
Para ello se ha implementado un sistema de audio fingerprinting a partir de un prototipo para
la detección de anuncios en programas broadcast; y se han desarrollado varios sistemas basados
en redes neuronales profundas, para reconocer patrones acústicos en los audios de ataques de
reproducción provocados por los diferentes dispositivos de grabación y reproducción que pueden
ser utilizados en estos ataques.
El carácter multidispositivo de este problema, conlleva que los audios procedentes de estos
ataques de reproducción puedan tener diferentes calidades, dependiendo de la fidelidad del dispositivo
con el que se realice el ataque y las condiciones acústicas de grabación y reproducción.
Los sistemas de audio fingerprinting y de reconocimiento de patrones, funcionan con diferente
rendimiento según la calidad de estos audios, siendo los sistemas acústicos capaces de detectar
mejor los ataques cuanto peor es la calidad, al reconocer los artefactos acústicos de diferente
tipo provocados por la reproducción y grabación, que son más acuciados cuanto menor es
la fidelidad del dispositivo. El sistema de audio fingerprinting, sin embargo, tendrá un mejor
comportamiento cuanto más parecidos sean el audio del ataque y el audio original.
La complementariedad de estas estrategias ha sido probada en este trabajo, realizando una
combinación de los sistemas, mejorando con la fusión el rendimiento de cualquiera de los sistemas
individuales. In this final Master in Science Thesis, a combination of DNN and audio fingerprinting has
been used, to be able to detect acoustic password replay attacks, on a multidevice environment,
to assess the detection capabilities of this kind of attack, a major security problem on automatic
speaker verification systems.
In order to achieve this objective, an audio fingerprinting system has been implemented,
based on a prototipe used for commercial detection on broadcast shows; and several neural
network based system have been developped, in pursuance to recognize acoustic patterns in the
replay attack audios, caused by the multiple replay devices that can be used on these attacks.
In this multi-device environment, the sound recordings coming out from this attacks can
have different qualities, depending on the device’s fidelity and the acoustic conditions at the
attack’s time. The audio fingerprinting and the pattern recognition systems operate at different
perfomances, depending on the quality of the audio. The acoustic systems have a better perfomence
when the sound recording quality drops, being able to recognice acoustic patterns caused
by the replay, which are more precise as the device’s fidelity lowers down. On the other hand,
the audio fingerprinting system, has a better efficiency when the genuine and spoof audio are
more similar.
The complementarity of these strategies has been proved in this work, achieving with the
system’s fusion a better perfomance than any of the individual systems by their own.
Files in this item
Google Scholar:Labrador Serrano, Beltrán
This item appears in the following Collection(s)
Except where otherwise noted, this item's license is described as https://creativecommons.org/licenses/by-nc-nd/4.0/
Related items
Showing items related by title, author, creator and subject.