Desarrollo de Karaoke (Minus One) basado en algoritmos de alineamiento y separación de señales musicales

Abstract

[ES] Este Trabajo de fin de Grado es una aplicación práctica de separación de fuentes sonoras, dentro del campo del procesado de señales de audio. Se desarrollará una aplicación interactiva de karaoke (Minus-One), capaz de eliminar una de las voces o instrumentos de la grabación de una pieza musical, para crear una versión de karaoke de la misma. Para la separación de las fuentes, informada mediante partitura, se empleará un algoritmo basado en el modelo Non-Negative Matrix Factorization (NMF), que será implementado en Matlab y C. Además, será complementado con modelos de instrumento, información temporal y espectral de la partitura, y técnicas de alineamiento audio-partitura, que permitirán lograr resultados de mayor calidad. Finalmente, este algoritmo será integrado en un prototipo de aplicación web que solo precisará de una grabación de audio y una partitura para obtener los resultados, que serán presentados de una forma sencilla de interpretar para el usuario.

[EN] In this dissertation, we propose a practical application of audio signal processing techniques for Sound Source Separation. Our aim is to develop an interactive karaoke application (Minus One) capable of removing a chosen instrument from a music mixture signal, in order to produce a karaoke version that musicians can use to practice. The proposed framework is based on a score-informed separation algorithm which uses the signal decomposition method Non-Negative Matrix Factorization (NMF) and will be programmed in Matlab and C. Our informed separation algorithm relies on instrument spectral models, temporal and spectral information extracted from the music score and audio-to-score alignment techniques, in order to achieve better results. Finally, the aforementioned algorithm will be integrated into a web application prototype that will only require an audio recording, along with the corresponding music score, to produce the outputs and present them to the user in a simple and easy-to-use interface.