DESARROLLO DE SISTEMA DE TRANSCRIPCIÓN MUSICAL BASADO EN DEEP LEARNING

Abstract

[ES] Como objetivo del proyecto se propone el diseño de un sistema de transcripción musical basado en Deep Learning. A modo de aplicación práctica de este sistema, se ha desarrollado una aplicación basada en transcripción musical capaz de sincronizar el audio de una pieza determinada con su partitura original. Para ello, se van a abarcar tecnologías de aprendizaje automático y aprendizaje profundo basadas en redes neuronales. También, será necesario herramientas de procesamiento y alineamiento de datos para adecuar lo mejor posible las señales al sistema propuesto, siendo todo esto desarrollado en Python. En cuanto a la representación dinámica de los resultados, se ha creado un reproductor web, desarrollado en este caso en HTML + CSS + JavaScript y además apoyado sobre un micro-framework para dar servicio a la aplicación llamado Flask, escrito en Python. Finalmente, se ha establecido conexión OSC entre el reproductor y MuseScore para observar la sincronización estimada. [EN] The objective of the project proposes the design of a music transcription system based on Deep Learning. As a practical application of this system, an application based on music transcription has been developed able to synchronize the audio of a given piece with its original score. Machine learning and deep learning technologies based on neural networks will be covered. Also, data processing and alignment tools will be needed to adapt the signals as well as posible to the proposed system, all of this being developed in Python. As a result, about the dynamic representation of the results has been created a web player, developed in this case in HTML + CSS + JavaScript and also supported on a micro-framework to service the application called Flask, written in Python. Finally, OSC connection has been established between the player and MuseScore to observe the estimated synchronization.