Descripción del proyecto
AUDIO ESPACIAL INTELIGENTE: SINTESIS Y PERSONALIZACION (ISLA-THESON) FORMA PARTE DEL PROYECTO COORDINADO ISLA (AUDIO ESPACIAL INTELIGENTE: SINTESIS Y MONITORIZACION ASISTIDA POR APRENDIZAJE MAQUINA), LA INDUSTRIA DEL SONIDO HA VENIDO EXPERIMENTANDO UNOS CAMBIOS PROFUNDOS EN LOS ULTIMOS AÑOS BAJO LA PERSPECTIVA DE 3 ENFOQUES COMPLEMENTARIOS: EL INDIVIDUO, EL GRUPO Y LOS CONTENIDOS,POR UN LADO, LA IRRUPCION DE LOS DISPOSITIVOS MOVILES HA MODIFICADO LA FORMA DE ESCUCHAR MUSICA, JUGAR E INTERACTUAR CON LAS MAQUINAS Y CON OTRAS PERSONAS, EL USO DE AURICULARES SE HA EXTENDIDO ENORMEMENTE, Y LA NECESIDAD DE REPRODUCIR SONIDO ESPACIAL DE ALTO REALISMO A TRAVES DE ELLOS ES UNA GRAN OPORTUNIDAD PARA LA INDUSTRIA, PARA UNA EXPERIENCIA MUY INMERSIVA, EL SONIDO DEBE PERSONALIZARSE PARA CADA INDIVIDUO EN BASE A SU ANATOMIA, EN PARTICULAR DE LA FORMA DE SU CABEZA Y OREJAS, LAS CUALES DEFINEN SU PARTICULAR HEAD-RELATED TRANSFER FUNCTION (HRTF), MEDIR LA HRTF DE UN SUJETO ES TODAVIA UN PROCESO COSTOSO QUE REQUIERE INSTALACIONES ESPECIALIZADAS Y SU ESTIMACION INDIRECTA SIGUE SIENDO UN PROBLEMA NO RESUELTO, A TRAVES DEL USO DE TECNICAS DE DEEP LEARNING, CON SIMPLES FOTOGRAFIAS DE LA OREJA/CABEZA, SE PRETENDE CONSEGUIR UNA PERSONALIZACION DE HRTF DE MEJOR CALIDAD QUE OTROS METODOS PROPUESTOS, ESTO PERMITIRA A SU VEZ QUE LOS DISPOSITIVOS MOVILES INCORPOREN RESPUESTAS PERSONALIZADAS PARA SU APLICACION DIRECTA EN SONIDO 3D, REALIDAD VIRTUAL Y AUMENTADA, VIDEOJUEGOS, ETC, POR OTRO LADO, LA INDUSTRIA DEL ENTRETENIMIENTO SE HA DIRIGIDO EN LOS ULTIMOS AÑOS A LOS GRANDES ESPECTACULOS EN DIRECTO, DONDE LA ESPACIALIZACION DEL SONIDO ES TODAVIA UN RETO Y UNA OPORTUNIDAD PARA LA UTILIZACION DE ALGORITMOS DE SINTESIS DE CAMPO SONORO Y RECREACION DE ESPACIOS VIRTUALES, SE DEBEN DESARROLLAR TECNICAS DE PROCESADO DE ARRAY QUE PERMITAN COMBINAR EL CONTROL DEL SONIDO EN DIFERENTES ZONAS DE ESCUCHA, A LA VEZ QUE SINTETICEN LOS DISTINTOS OBJETOS SONOROS DEL CONTENIDO EN DIRECTO (MUSICOS, ACTORES, PRESENTADORES, EFECTOS), ADAPTANDO LA SINTESIS DE CADA OBJETO A SU PROPIO MOVIMIENTO (QUE DEBE SER CAPTADO Y MONITORIZADO), CONSIGUIENDO UN MAYOR REALISMO EN TODA LA AUDIENCIA, ADEMAS, EXISTEN OTROS ESCENARIOS COMO MUSEOS, EXPOSICIONES, RESTAURANTES U HOGARES INTELIGENTES, QUE TAMBIEN SE VERIAN BENEFICIADOS CON LA CREACION DE ZONAS DE AUDIO INDEPENDIENTES O CON DISTINTAS NECESIDADES, EMPLEANDO PARA ELLO TECNICAS SIMILARES MEDIANTE ARRAYS DE ALTAVOCES Y SENSORES, POR ULTIMO, DESDE EL PUNTO DE VISTA DE LOS CONTENIDOS, EL ESPECTADOR DEMANDA CADA VEZ MAS UNA EXPERIENCIA AUDIOVISUAL COMPLETA E INTERACTIVA, DENTRO DE ESTA LINEA, ESTE SUBPROYECTO TRABAJARA EN DESARROLLAR NUEVOS METODOS PARA EL ANALISIS DEL AUDIO Y LA MUSICA BASADOS EN EL APRENDIZAJE, CON APLICACIONES A EFECTOS VISUALES SINCRONIZADOS Y A ENRIQUECER EVENTOS EN DIRECTO, SE PRETENDEN DESARROLLAR ALGORITMOS DE MACHINE LEARNING QUE EXTRAIGAN PARAMETROS DE LAS PIEZAS MUSICALES QUE PERMITAN LA SINCRONIZACION DE MATERIAL AUDIOVISUAL COMO ANIMACIONES 3D, LUCES O LASERES, ADEMAS DE TRABAJAR EN LA MEJORA DE ALGORITMOS DE EXTRACCION DE RITMO EN TIEMPO REAL Y BAJA LATENCIA, SE PRETENDE ABORDAR LA SEGMENTACION DE CANCIONES EN LAS DIFERENTES PARTES QUE LA COMPONEN PARA ENLAZAR ANIMACIONES A LAS MISMAS, ASI, TECNICAS DE MACHINE LEARNING ENTRENADAS A PARTIR DE CANCIONES ETIQUETADAS SE PERFILAN COMO UNA SOLUCION PARA LA SEGMENTACION DE CANCIONES EN TIEMPO REAL DE FORMA CAUSAL, PUDIENDO SER UTILIZADAS EN APLICACIONES EN DIRECTO PROCESADO DE AUDIO\SONIDO ESPACIAL\APRENDIZAJE PROFUNDO\DISEÑO DE FILTROS MULTICANAL