Hola,
¿eres nuevo aquí?

Registrate y conecta tu empresa con financiación pública, partners y proyectos.

PID2021-124719OB-I00

Financiado

LECTURA DE LABIOS EN ESPAÑOL EN ESCENARIOS REALISTAS

EL RECONOCIMIENTO DEL HABLA SE REALIZA HABITUALMENTE MEDIANTE EL PROCESAMIENTO DE LA SEÑAL DE AUDIO ASOCIADA. SIN EMBARGO, EL HABLA ES UN PROCESO FISICO COMPLEJO CON REALIZACIONES ARTICULADAS DEL APARATO FONADOR, MUCHAS DE LAS CUA... ver más

01/01/2021

UPV

40K€

Presupuesto del proyecto: 40K€

Líder del proyecto

UNIVERSITAT POLITÈCNICA DE VALÈNCIA No se ha especificado una descripción o un objeto social para esta compañía.

Total investigadores 683

Ver Participantes

Financiación concedida El organismo AGENCIA ESTATAL DE INVESTIGACIÓN notifico la concesión del proyecto el día 2021-01-01

0% 100%

Participantes

UPV

Lider

Proyectos interesantes

RTI2018-101372-B-I00 ANALISIS AUDIOVISUAL DE LOS CANALES DE COMUNICACION VERBAL Y... 123K€ Cerrado

TEC2010-21040-C02-01 RECONOCIMIENTO DE VOZ Y AUDIO PARA INTELIGENCIA AMBIENTAL 269K€ Cerrado

TIN2014-52072-P LEYENDO EN ENTORNOS NO CONTROLADOS: EXPLOTANDO EL CONTEXTO M... 109K€ Cerrado

PID2021-126061OB-C43 DESCUBRIENDO EL SIGNIFICADO Y LA INTENCION MAS ALLA DE LA PA... 152K€ Cerrado

TEC2012-38939-C03-01 INVESTIGACION AVANZADA EN TECNOLOGIAS DEL HABLA PARA APLICAC... 155K€ Cerrado

PCIN-2015-251 REPRESENTACION CONTINUA MULTI-MODAL Y MULTI-IDIOMA PARA LA C... 88K€ Cerrado

Últimas noticias

25-11-2024: ECE En las últimas 48 horas el Organismo ECE ha otorgado 52 concesiones

25-11-2024: CMVAMADRID En las últimas 48 horas el Organismo CMVAMADRID ha otorgado 1 concesiones

25-11-2024: FUNDACION-EOI En las últimas 48 horas el Organismo FUNDACION EOI ha otorgado 6 concesiones

Líder del proyecto

UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Total investigadores 683

Presupuesto del proyecto 40K€

Descripción del proyecto EL RECONOCIMIENTO DEL HABLA SE REALIZA HABITUALMENTE MEDIANTE EL PROCESAMIENTO DE LA SEÑAL DE AUDIO ASOCIADA. SIN EMBARGO, EL HABLA ES UN PROCESO FISICO COMPLEJO CON REALIZACIONES ARTICULADAS DEL APARATO FONADOR, MUCHAS DE LAS CUALES SON VISIBLES. EN ESTE SENTIDO, LA LECTURA DE LABIOS ES UNA FORMA ALTERNATIVA DE DECODIFICACION DEL HABLA QUE PUEDE TENER UN IMPACTO NOTABLE EN SU RECONOCIMIENTO Y COMPRENSION. ADEMAS,PARA MULTIPLES PERSONAS CON PROBLEMAS SEVEROS DE AUDICION, LA LECTURA DE LABIOS ES UNA FORMA FUNDAMENTAL DE DECODIFICAR Y ENTENDER EL HABLA DE OTRAS PERSONAS. EN ESTE SENTIDO, LA DECODIFICACION AUTOMATICA DEL HABLA POR PARTE DE UN SISTEMA INFORMATICO A PARTIR DE LAS IMAGENES DEL MOVIMIENTO DE LOS LABIOS RESULTA UNA TAREA DE ALTO INTERES, TANTO POR LAS APLICACIONES SOCIALES QUE PUEDE TENER (AYUDAR A ENTENDER EL HABLA A UNA PERSONA CON PROBLEMAS DE AUDICION, PERMITIR LA SINTESIS DE VOZ A PERSONAS QUE HAN PERDIDO LA FONACION, ...) COMO POR APLICACIONES PRACTICAS Y DE ENTRETENIMIENTO (MEJORA DE LOS PROCESOS DE RECONOCIMIENTO DE VOZ, USO DE CONTRASEÑAS VOCALES SILENCIOSAS, TRANSCRIPCION DE VIDEOS ANTIGUOS SIN SONIDO, ...).LA APROXIMACION PROPUESTA EN ESTE PROYECTO ESTA BASADA EN EL PARADIGMA DE APRENDIZAJE AUTOMATICO QUE HA TENIDO RECONOCIDO EXITO EN EL RECONOCIMIENTO DE HABLA DESDE LA SEÑAL DE AUDIO. EN ESTE PARADIGMA, LAS RELACIONES ENTRE EL OBJETO DE ENTRADA (AUDIO EN RECONOCIMIENTO DE HABLA HABITUAL, VIDEO EN CASO DE LECTURA DE LABIOS) Y EL OBJETO FINAL (SECUENCIA DE PALABRAS EMITIDA) VIENEN DADAS POR UN CONJUNTO DE MODELOS CUYOS PARAMETROS PUEDEN SER ESTIMADOS AUTOMATICAMENTE. ESTA ESTIMACION REQUIERE DEL USO DE EJEMPLOS QUE RELACIONE ESTAS ENTRADAS Y SALIDAS, ES DECIR, LOS AUDIOS O VIDEOS JUNTO CON SUS TRANSCRIPCIONES. EL USO DE CIERTOS ALGORITMOS BASADOS EN ESTADISTICA PERMITE LA ESTIMACION DE LOS PARAMETROS DE ESTOS MODELOS Y SU POSTERIOR USO FRENTE A SECUENCIAS DESCONOCIDAS, DE LAS QUE APORTARIAN UNA TRANSCRIPCION.EN ESTE SENTIDO, EN ESTE PROYECTO SE PROPONE LA GENERACION Y ANOTACION DE UN CONJUNTO DE VIDEOS EN ESPAÑOL CON SUS TRANSCRIPCIONES PARA FORMAR UN CONJUNTO DE DATOS QUE PERMITA LA ESTIMACION DE ESTOS MODELOS. LOS VIDEOS PUEDEN OBTENERSE DE DIVERSAS FUENTES QUE PRESENTEN ESCENARIOS REALISTAS Y SELECCIONARSE PARA OBTENER EL CONJUNTO DE SECUENCIAS MAS ADECUADO. POR OTRA PARTE, ESTOS DATOS DEBERAN SER ADECUADAMENTE PROCESADOS, PUES LA IMAGEN EN BRUTO CONTIENE UN EXCESO DE INFORMACION PARA LA TAREA. SE EXPERIMENTARAN DISTINTAS VARIANTES DE EXTRACCION DE INFORMACION RELEVANTE DE LOS DATOS DISPONIBLES, BUSCANDO LA ROBUSTEZ DE LAS MISMAS A CONDICIONES ADVERSAS DE ILUMINACION, FISIONOMIA, ENTORNO, ETC. EN PARALELO, SE ESTUDIARAN, IMPLEMENTARAN Y ESTIMARAN DIVERSAS OPCIONES DE MODELOS DE APRENDIZAJE AUTOMATICO, EVALUANDO SUS PRESTACIONES EN ESTE CONJUNTO DE DATOS. COMO ULTIMOS PASOS, SE ESTUDIARA Y REALIZARA LA POSIBILIDAD DE INTEGRAR EL RECONOCIMIENTO DE LECTURA DE LABIOS CON EL DE VOZ, Y SE IMPLEMENTARA UN SISTEMA QUE SEA CAPAZ DE HACER UN RECONOCIMIENTO DEL HABLA USANDO UNICAMENTE LECTURA DE LABIOS Y CON LA COMBINACION DE VOZ (SISTEMA AUDIOVISUAL). ECTURA DE LABIOS\MULTIMODALIDAD\RECONOCIMIENTO DEL HABLA\VISION POR COMPUTADOR

Conecta tu I+D

Entra hoy

Financiación

Empresas

CTIs/Universidades

Proyectos

Investigadores