Descripción del proyecto
ESTE PROYECTO DE INVESTIGACION ESTUDIA METODOS NUMERICOS PARA PROCESOS DE DECISION MARKOVIANOS (PDMS). EN CONCRETO, ESTAMOS INTERESADOS EN LA APROXIMACION NUMERICA DE LA FUNCION DE VALOR OPTIMO Y DE LOS CONTROLES OPTIMOS DE CIERTAS CLASES DE PDMS, CON Y SIN RESTRICCIONES. NUESTROS METODOS COMBINAN LA FORMULACION DE PROGRAMACION LINEAL (PL) DE UN PDM CON UNA TECNICA DE DISCRETIZACION (LLAMADA CUANTIZACION) DE UNA DISTRIBUCION DE PROBABILIDAD SUBYACENTE A LAS TRANSICIONES ALEATORIAS DEL SISTEMA DINAMICO. NOS INTERESAMOS POR CRITERIOS DE OPTIMALIDAD COMO LOS DE COSTE DESCONTADO Y COSTE PROMEDIO, ENTRE OTROS. DESDE EL PUNTO DE VISTA TEORICO, LOS PDMS HAN SIDO ESTUDIADOS CON MUCHA PROFUNDIDAD, Y EXISTEN DIVERSAS TECNICAS QUE PERMITEN ESTABLECER LA EXISTENCIA DE CONTROLES OPTIMOS, ASI COMO ANALIZAR LAS PRINCIPALES PROPIEDADES DE LA FUNCION DE VALOR OPTIMO. PODEMOS CITAR LA PROGRAMACION DINAMICA, EL PRINCIPIO DEL MAXIMO, O LA PROGRAMACION LINEAL, ENTRE OTRAS. ESTAS TECNICAS, SIN EMBARGO, NO DAN UNA SOLUCION EXPLICITA DEL PDM ESTUDIADO, NI PERMITEN OBTENER UNA APROXIMACION DE SU SOLUCION OPTIMA. POR EJEMPLO, EL METODO DE PROGRAMACION DINAMICA SUFRE DE LA LLAMADA MALDICION DE LA DIMENSIONALIDAD, MIENTRAS QUE LA FORMULACION DE PL LLEVA A PROBLEMAS EN ESPACIOS INFINITO-DIMENSIONALES DE MEDIDAS, QUE NO PUEDEN SER RESUELTOS EXPLICITAMENTE. POR TANTO, DESDE EL PUNTO DE VISTA DE LAS APLICACIONES, LA APROXIMACION EXPLICITA DEL VALOR OPTIMO Y DE LOS CONTROLES OPTIMOS SE VUELVE ESPECIALMENTE RELEVANTE. PARA TRATAR ESTE PROBLEMA, SE HAN PROPUESTO DIVERSOS ENFOQUES. POR EJEMPLO, PODEMOS CITAR PROCEDIMIENTOS DE AGREGACION O DISCRETIZACION DE ESTADOS, APRENDIZAJE REFORZADO, PROGRAMACION NEURO-DINAMICA, PROGRAMAS DINAMICOS APROXIMADOS BASADOS EN SIMULACION, ETC. LAS PRINCIPALES CARACTERISTICAS DE ESTAS TECNICAS ES QUE REQUIEREN QUE LOS ESPACIOS DE ESTADOS Y ACCIONES SEAN FINITOS O COMPACTOS, Y QUE LA FUNCION DE COSTE SEA ACOTADA. ADEMAS, TRATAN UNICAMENTE PROBLEMAS SIN RESTRICCIONES (PESE A QUE LOS PDMS CON RESTRICCIONES SURGEN DE MANERA NATURAL EN APLICACIONES IMPORTANTES). EN ESTE PROYECTO, PRETENDEMOS DESARROLLAR UNA NUEVA TECNICA PROPONIENDO UNA DISCRETIZACION DEL ESPACIO DE ESTADOS BASADA EN UN CRITERIO PROBABILISTICO (UTILIZANDO LA TECNICA DE CUANTIZACION), QUE NOS PERMITIRA TRATAR CON ESPACIOS DE ESTADOS NO COMPACTOS Y FUNCIONES DE COSTE NO ACOTADAS. NUESTRO ENFOQUE PARTE DE LA FORMULACION DE PL, ASI QUE PODREMOS UTILIZAR LOS POTENTES PAQUETES INFORMATICOS DISPONIBLES HOY EN DIA. PRECISAMENTE PORQUE USAMOS LA FORMULACION DE PL, INCORPORAREMOS FACILMENTE RESTRICCIONES AL PDM, MIENTRAS QUE EL TEMA DE LA APROXIMACION DE PDMS CON RESTRICCIONES NO HA SIDO, HASTA DONDE SABEMOS, TRATADO EN LA LITERATURA. ASI, NUESTRO OBJETIVO ES CONSTRUIR UNA METODOLOGIA GENERAL VALIDA PARA LA APROXIMACION DE LA SOLUCION OPTIMA DE UNA AMPLIA FAMILIA DE PDMS CON Y SIN RESTRICCIONES, CON UN ENFASIS ESPECIAL EN EL ASPECTO COMPUTACIONAL. NUESTRO PROPOSITO ES OBTENER RESULTADOS QUE SEAN CONSISTENTES DESDE EL PUNTO DE VISTA TEORICO Y, A LA VEZ, PRECISOS EN TERMINOS COMPUTACIONALES. POR TANTO, LOS RESULTADOS QUE SE OBTENGAN EN ESTE PROYECTO DE INVESTIGACION RESULTARAN DE INTERES PARA LAS COMUNIDADES DE INVESTIGADORES TEORICOS Y APLICADOS DEL AREA DE LOS PDMS. ADEMAS, ESTOS RESULTADOS TENDRIAN UNA APLICACION DIRECTA EN AREAS QUE UTILIZAN MODELOS DE CONTROL ESTOCASTICO, COMO LA ROBOTICA, REDES DE TELECOMUNICACION, SISTEMAS DE COLAS, ETC.