Sistema de unmixing automático sobre señales multicanal para aplicaciones multimedia

Abstract

[es] El objetivo principal de este trabajo es desarrollar un sistema de unmixing automático que permita estimar las señales que componen una mezcla en sus fuentes individuales. Se estudiarán diferentes escenarios con un array de micrófonos compatible con tecnología Ambisonics. Dicho sistema está basado en técnicas de procesado de señal en el dominio de la transformada de Fourier esférica. De forma similar al diseño de filtros en frecuencia las propiedades de la transformada de Fourier esférica facilitan el diseño de filtros espaciales con propiedades directivas, análogas a las de patrones polares de micrófonos, permitiendo disgregar sonidos procedentes de distintas localizaciones espaciales. Las separaciones obtenidas con esta técnica son refinadas mediante un modelo de separación del estado del arte basado en inteligencia artificial. Finalmente, como demostrador, las separaciones se usarán en una aplicación multimedia que permite tanto hacer zoom acústico como eliminar (minus one) de la mezcla las señales separadas.

[en] The primary objective of this work is to develop an automatic unmixing system that estimates the individual source signals within a mixture. Various scenarios will be examined using a microphone array compatible with Ambisonics technology. The system is based on signal processing techniques in the spherical Fourier transform domain. Similar to frequency filter design, the spherical Fourier transform properties facilitate designing spatial filters with directive properties, analogous to microphone polar patterns, allowing the separation of sounds from different spatial locations. These separations are refined using a state-of-the-art artificial intelligence-based separation model. Finally, as a demonstrator, the separations will be used in a multimedia application enabling both acoustic zoom and the elimination (minus one) of separated signals from the mix.