Sistema de generación de audio para paquetes perdidos en aplicaciones distribuidas de interpretación de música en tiempo real

Abstract

[ES] En las últimas décadas, el rápido desarrollo de aplicaciones de Networked Music Performance (NMP), ha llevado la comunicación sincronizada en línea un paso más allá en lo referido a la interpretación musical de forma conjunta. Recientemente, durante la pandemia provocada por el COVID-19, la tarea de garantizar la calidad del audio a través de Internet supuso un reto considerable y las tecnologías audiovisuales basadas en la web demostraron ser insuficientes en cuanto a restricciones de red tales como la latencia. Minimizar este parámetro es un compromiso que sacrifica la robustez en transmisión, lo que se traduce en la pérdida de paquetes. Aquí es donde entra en juego una solución complementaria de Packet Loss Concealment (PLC) desarrollada en el presente trabajo. El software "Audio_refiller" tiene como objetivo mitigar los huecos faltantes de información provocados por las pérdidas en la conexión antes de que los paquetes lleguen al receptor, previo a la ejecución del software NMP. Esto se ha logrado mediante la programación de varios modelos de complejidad computacional escalable basados en técnicas de autocorrelación y predicción lineal, así como una solución basada en el algoritmo “Matching Pursuits”. El continuo desarrollo en esta línea de trabajo podría resultar en posibles colaboraciones con desarrolladores e investigadores en el campo de NMP. Tras la culminación de la herramienta "Audio_refiller", el prospecto ha resultado favorable en la consecución de los objetivos propuestos.

[EN] For decades, the fast development of Networked Music Performance (NMP) has been taking synchronized online communication a step further when it comes to ensemble musical performance. In the context of the recent COVID-19 pandemic, ensuring audio quality through the Internet was no small task and web-based audiovisual technologies have proven insuficient in terms of tight network requirements, such as latency. Minimizing this parameter is a trade-off that sacrifices transmission robustness, which translates into packet loss. This is where a complementary Packet Loss Concealment solution developed in the present work comes into play. The software called “Audio_refiller” is meant to mitigate the information gaps due to loss before the packets arrive at the receiving end, previous to NMP software execution. This has been achieved programming several models that escalated in computational complexity, based on autocorrelation and linear prediction techniques, as well as a solution based in matching pursuits algorithm. Continuous development in this line of work could result in collaboration with NMP developers and researchers. At last, the prospect after the culmination of “Audio_refiller” tool has deemed to be favorable in the attainment of the proposed objectives.