Novel evolutionary-based methods for the robust training of SVR and GMDH regressors

Resumen

Esta Tesis plantea nuevas mejoras sobre dos métodos del estado del arte en el área de Aprendizaje Máquina: Máquinas de Vectores Soporte para Regresión (SVR) y el algoritmo conocido como Group Method of Data Handling (GDMH). En el caso de las SVR, se ha desarrollado un nuevo algoritmo de tipo evolutivo para el entrenamiento con kernel multi-paramétrico. Este nuevo algoritmo tiene en cuenta un parámetro γ distinto, para cada una de las dimensiones del espacio de entradas. En este caso, debido al incremento del número de parámetros no puede utilizarse una búsqueda en grid clásica, debido al coste computacional que conllevaría. Por ello, en esta Tesis se propone la utilización de un algoritmo evolutivo para la obtención de los valores óptimos de los parámetros de la SVR. Respecto a las redes GMDH, esta Tesis propone un nuevo algoritmo de construcción de estas redes basado en un algoritmo de tipo hiper-heurístico. Esta aproximación es un concepto nuevo relacionado con la computación evolutiva, que codifica varios heurísticos que pueden ser utilizados de forma secuencial para resolver un problema de optimización. En nuestro caso particular, varios heurísticos básicos se codifican en un algoritmo evolutivo, para crear una solución hiper-heurística que permita construir redes GMDH robustas en problemas de regresión. Como contribución final de esta Tesis, se proponen nuevos métodos de validación que mejoren el rendimiento de las técnicas de regresión en problemas data-driven. La idea es obtener mejores modelos en la fase de entrenamiento del algoritmo, de tal forma que el desempeño con el conjunto de test mejore, principalmente en lo que a tiempo de entrenamiento se refiere y en el rendimiento general del sistema, con respecto a otros métodos de validación clásicos como son K-Fold cross validation, etc. Todas las propuestas y métodos desarrollados en esta Tesis han sido evaluados experimentalmente en problemas benchmark, así como en aplicaciones de regresión reales.