Descripción del proyecto
EL CAMPO DEL APRENDIZAJE AUTOMATICO HA CRECIDO ENORMEMENTE EN LOS ULTIMOS AÑOS, LO QUE HA GENERADO NUMEROSOS ALGORITMOS AUTOMATICOS CAPACES DE RESOLVER TAREAS COMPLEJAS COMO LA CLASIFICACION O LA GENERACION DE DATOS ESTADISTICAMENTE SIMILARES A UN CONJUNTO DE DATOS. NUESTRO PROYECTO SE CENTRA EN ESTA SEGUNDA TAREA, EN LOS LLAMADOS MODELOS GENERATIVOS Y, MAS ESPECIFICAMENTE EN LOS MODELOS BASADOS EN ENERGIA (EBM). EN ELLOS, EL APRENDIZAJE PASA POR ASIGNAR UNA FUNCION DE ENERGIA AL CONJUNTO DE DATOS, DE MANERA QUE LA PROBABILIDAD DE CADA DATO VENGA DESCRITA POR LA DISTRIBUCION DE BOLTZMANN DEL MODELO. LAS MAQUINAS DE BOLTZMANN RESTRICTIVAS (RBM) SON UN EJEMPLO DE EBM QUE SE ESTUDIA DESDE HACE DECADAS PORQUE COMBINAN DOS PRECIADAS CARACTERISTICAS: SON MUY SIMPLES, ESPINES EN UNA RED BIPARTITA, Y AUN PUEDEN MODELIZAR CONJUNTOS DE DATOS COMPLEJOS. UN RENOVADO INTERES POR EL USO DE LAS REDES NEURONALES COMO SUSTITUTO DE ESTA ENERGIA HA DADO LUGAR A UN NUMERO CRECIENTE DE NUEVOS E INTERESANTES TRABAJOS. SIN EMBARGO, A PESAR DE QUE LAS EBMS SE CONOCEN DESDE HACE DECADAS, MUCHAS DE SUS CUESTIONES FUNDAMENTALES Y PRACTICAS SIGUEN SIN ESTAR RESUELTAS. PRIMERO, EL ENTRENAMIENTO DE ESTAS MAQUINAS ES UNA TAREA DELICADA. SEGUNDO, SUS PROPIEDADES CRITICAS SE HAN ESTUDIADO SOLO MUY RECIENTEMENTE Y SON AUN GRANDES DESCONOCIDAS. TERCERO, PRESENTAN UN ENORME POTENCIAL PARA LA EXTRACCION DE PATRONES, AUNQUE NO SIEMPRE ESTA CLARO COMO HACERLO. Y CUARTO, LA DINAMICA DE APRENDIZAJE PARECE SUFRIR UNA FUERTE RALENTIZACION TRAS LAS PRIMERAS FASES DE APRENDIZAJE. EN NUESTRO PROYECTO, PROPONEMOS VARIOS EJES PARA ABORDAR ESTOS DIFERENTES ASPECTOS. CON NUESTRO PROYECTO, SIMPLIFICAREMOS EL ENTRENAMIENTO DE ESTAS MAQUINAS Y LO HAREMOS MAS ACCESIBLE. PARA ELLO, EXPLORAREMOS DOS SOLUCIONES. LA PRIMERA, LA INCLUSION DE ALGORITMOS MONTE CARLO SESGADOS EN EL APRENDIZAJE PARA ESQUIVAR LOS CONSTANTES PROBLEMAS DE CONVERGENCIA DEL MODELO. EN LA SEGUNDA, EXPLOTAREMOS LOS EFECTOS DE NO-EQUILIBRIO CONSECUENCIA DE LA FALTA DE CONVERGENCIA A LA HORA DE CALCULAR EL GRADIENTE. ESTE ULTIMO EFECTO HA SIDO IDENTIFICADO RECIENTEMENTE, Y CREEMOS QUE GUARDA RELACION CON LOS LLAMADOS MODELOS DE DIFUSION, UNA NUEVA Y PROMETEDORA FAMILIA DE MODELOS GENERATIVOS. OTRO EJE FUNDAMENTAL DE NUESTRO PROYECTO SE CENTRA EN CARACTERIZAR LAS PROPIEDADES CRITICAS DE ESTAS MAQUINAS ASOCIADAS AL APRENDIZAJE DE LAS PROPIEDADES ESTADISTICAS DE UN CONJUNTO DE DATOS. EN ESTE CASO, PENSAMOS ESTUDIAR TANTO LA TRANSICION DE SEGUNDO ORDEN QUE SE PRODUCE AL PRINCIPIO DEL APRENDIZAJE, COMO LAS TRANSICIONES DE PRIMER ORDEN EN TEMPERATURA PREDICHAS EN ETAPAS AVANZADAS DEL APRENDIZAJE Y SU RELACION CON LA ESTRUCTURA DEL CONJUNTO DE DATOS CONSIDERADO. PARA COMPLETAR NUESTRA COMPRENSION DE LA MAQUINA, INVESTIGAMOS EL PROCESO DINAMICO QUE IMPULSA LA EVOLUCION DE LOS PARAMETROS DEL MODELO DURANTE EL ENTRENAMIENTO. RECIENTEMENTE, HEMOS OBSERVADO ESTE SE VE RALENTIZADO POR EFECTOS DE ENVEJECIMIENTO ANALOGOS A LOS QUE SUFREN LOS VIDRIOS, Y PENSAMOS ESTUDIAR SU ORIGEN. ESPERAMOS QUE ESTA COMPRENSION NOS AYUDE A PROPONER ALGORITMOS DE ENTRENAMIENTO DE EBMS MUCHO MAS EFICIENTES. FINALMENTE, LA ULTIMA PARTE DEL PROYECTO ESTA DEDICADA A LA APLICACION DE RBM CON EL OBJETIVO DE EXTRAER PATRONES EN PROBLEMAS CONCRETOS EN GENOMICA, INCLUYENDO EL MODELADO DE LAS PROPIEDADES ESTADISTICAS DE FAMILIAS DE PROTEINAS, SU CARACTERIZACION FUNCIONAL, LA EXTRACCION DE PAISAJES MUTACIONALES EN VIRUS O LA GENERACION DE GENOMAS ARTIFICIALES. ISICAA ESTADISTICA\GENOMICS\PROTEINAS\MAQUINAS DE BOLTZMANN RESTRICTIVAS\MODELOS BASADOS EN ENERGIA\MODELOS GENERATIVOS\APRENDIZAJE AUTOMATICO\SISTEMAS DESORDENADOS