Los métodos de Newton truncado , también conocidos como optimización sin hessian , [1] son una familia de algoritmos de optimización diseñados para optimizar funciones no lineales con un gran número de variables independientes . Un método de Newton truncado consiste en la aplicación repetida de un algoritmo de optimización iterativo para resolver aproximadamente las ecuaciones de Newton , para determinar una actualización de los parámetros de la función. El solucionador interno está truncado , es decir, se ejecuta solo para un número limitado de iteraciones. De ello se deduce que, para que funcionen los métodos de Newton truncados, el solucionador interno necesita producir una buena aproximación en un número finito de iteraciones; [2] gradiente conjugadose ha sugerido y evaluado como un bucle interno candidato. [1] Otro requisito previo es un buen preacondicionamiento del algoritmo interno. [3]
Referencias
- ↑ a b Martens, James (2010). Aprendizaje profundo a través de optimización sin arpillera (PDF) . Proc. Congreso Internacional de Machine Learning .
- ^ Nash, Stephen G. (2000). "Un estudio de los métodos de Newton truncado" . Revista de Matemática Computacional y Aplicada . 124 (1–2): 45–59. doi : 10.1016 / S0377-0427 (00) 00426-X .
- ^ Nash, Stephen G. (1985). "Preacondicionamiento de métodos de Newton truncado" (PDF) . SIAM J. Sci. Stat. Computación . 6 (3): 599–616.
Otras lecturas
- Grippo, L .; Lampariello, F .; Lucidi, S. (1989). "Un método de Newton truncado con búsqueda de líneas no monótonas para optimización ilimitada". J. Teoría y aplicaciones de optimización . 60 (3). CiteSeerX 10.1.1.455.7495 .
- Nash, Stephen G .; Nocedal, Jorge (1991). "Un estudio numérico del método BFGS de memoria limitada y el método de Newton truncado para la optimización a gran escala". SIAM J. Optim . 1 (3): 358–372. CiteSeerX 10.1.1.474.3400 .