Desarrollo de un sistema de monitorización de usuario con el robot NAO

Abstract

[ES] Este trabajo tiene como objetivo principal la detección de personas hablantes próximas al Robot, mediante el procesamiento de la información auditiva y visual de su entorno. Para tal fin, se ha realizado un estudio exhaustivo de un robot específico y sus herramientas de desarrollo, además de sus capacidades de integración con sistemas externos como OpenCV, API GOOGLE VISION, Wit.ai, etc. En relación a la detección facial se ha estudiado y comprendido dos herramientas pioneras en este campo, OpenCV y API GOOGLE VISION, siendo esta última herramienta la que se ha integrado en el proyecto para detectar las caras. Así se ha desarrollado una aplicación en Python, integrando módulos de audio, voz, video y movimiento. En particular, la interacción permite la detecion de hablantes y su rendimiento se ha probado en entornos reales en diferentes condiciones, lo que ha permitido la extracción de conclusiones sobre el uso de NAO para esta tarea. [EN] The main objective of this work is the detection of posible speakers placed close to the Robot, through the processing of auditory and visual information. To this end, an exhaustive study of a specific robot and its development tools has been carried out, as well as its integration capabilities with external systems such as OpenCV, API GOOGLE VISION, Wit.ai, etc. In relation to face detection, two nowadays tools in this field have been studied and understood, OpenCV and API GOOGLE VISION, the latter being the tool that has been integrated into the project to detect faces. Thus, an application has been developed in Python, integrating audio, voice, video and movement modules. In particular, the interaction allows the detection of speakers and its performance has been tested in real environments in different conditions, which has allowed the drawing of conclusions on the use of NAO for this task.