Levenberg-Marquardt With the Conjugate Gradient Method for Efficient Neural Network Training and Noisy Data

Abstract

El presente estudio tiene como objetivo proporcionar nuevas perspectivas sobre la implementación de métodos matriciales iterativos dentro de los algoritmos de entrenamiento para redes neuronales artificiales. Si bien existen algoritmos altamente desarrollados con buena aplicabilidad a problemas relativamente simples, como los algoritmos basados en los criterios de la segunda derivada, el costo computacional y otras características inherentes a la función de costo impiden su adopción en problemas más complejos. Es aquí donde los métodos iterativos para resolver sistemas matriciales pueden proporcionar mayor flexibilidad y eficiencia, dadas ciertas características de las matrices involucradas en el algoritmo bajo estudio y los criterios de parada del método.

El algoritmo de Levenberg-Marquardt ha sido seleccionado como el objeto de estudio debido a su capacidad y eficiencia para realizar cierta interpolación entre los criterios de la primera y la segunda derivada, lo que permite lograr resultados de entrenamiento superiores en comparación con otros. El gradiente conjugado fue elegido como el método iterativo para la solución de matrices debido a las características que comparte con la matriz de interés del algoritmo antes mencionado, además de otras capacidades que permiten explorar nuevas propuestas sobre las matrices involucradas.

Además de las características mencionadas anteriormente, es un tema recurrente que los algoritmos con métricas de entrenamiento sobresalientes generen un sobreajuste de los datos. Levenberg-Marquardt no es ajeno a este problema, y uno de los puntos analizados aquí es que los métodos iterativos pueden ayudar a mitigar este sobreajuste a través de sus criterios de parada.

Como tema final, es de interés analizar el impacto de la precisión numérica de punto flotante en el procesamiento de datos, y si esto afecta significativamente los resultados y las métricas de tiempo para los algoritmos y métodos antes mencionados.

Los estudios analizados involucran pruebas directas en matrices, problemas de entrenamiento para clasificación y regresión, y pruebas en problemas de regresión con ruido controlado para evaluar el sobreajuste.