El método de mínimos cuadrados reponderados iterativamente ( IRLS ) se utiliza para resolver ciertos problemas de optimización con funciones objetivas de la forma de una p -norm :
mediante un método iterativo en el que cada paso implica la resolución de un problema de mínimos cuadrados ponderados de la forma: [1]
IRLS se utiliza para encontrar las estimaciones de máxima verosimilitud de un modelo lineal generalizado , y en regresión robusta para encontrar un estimador M , como una forma de mitigar la influencia de valores atípicos en un conjunto de datos normalmente distribuido. Por ejemplo, minimizando los errores mínimos absolutos en lugar de los errores de mínimos cuadrados .
Una de las ventajas de IRLS sobre la programación lineal y la programación convexa es que se puede utilizar con los algoritmos numéricos de Gauss-Newton y Levenberg-Marquardt .
Ejemplos de
Minimización L 1 para escasa recuperación
IRLS se puede utilizar para minimizar ℓ 1 y minimizar ℓ p suavizado , p <1, en problemas de detección comprimida . Se ha demostrado que el algoritmo tiene una tasa de convergencia lineal para ℓ 1 norma y superlineal para ℓ t con t <1, bajo la propiedad de isometría restringida , que generalmente es una condición suficiente para soluciones dispersas. [2] [3] Sin embargo, en la mayoría de situaciones prácticas, la propiedad de isometría restringida no se satisface. [ cita requerida ]
Regresión lineal de la norma L p
Para encontrar los parámetros β = ( β 1 ,…, β k ) T que minimizan la norma L p para el problema de regresión lineal ,
el algoritmo IRLS en el paso t + 1 implica resolver el problema de mínimos cuadrados lineales ponderados : [4]
donde W ( t ) es la matriz diagonal de pesos, generalmente con todos los elementos configurados inicialmente en:
y actualizado después de cada iteración para:
En el caso p = 1, esto corresponde a la regresión de la desviación mínima absoluta (en este caso, el problema se abordaría mejor mediante el uso de métodos de programación lineal , [5] por lo que el resultado sería exacto) y la fórmula es:
Para evitar dividir por cero, se debe hacer una regularización , por lo que en la práctica la fórmula es:
dónde es un valor pequeño, como 0.0001. [5] Tenga en cuenta el uso deen la función de ponderación es equivalente a la función de pérdida de Huber en estimación robusta. [6]
Ver también
- Mínimos cuadrados generalizados factibles
- El algoritmo de Weiszfeld (para aproximar la mediana geométrica ), que puede verse como un caso especial de IRLS
Notas
- ↑ C. Sidney Burrus, Mínimos cuadrados repetidos iterativos
- ^ Chartrand, R .; Yin, W. (31 de marzo - 4 de abril de 2008). "Algoritmos repetidos iterativamente para la detección de compresión". Conferencia internacional IEEE sobre acústica, habla y procesamiento de señales (ICASSP), 2008 . págs. 3869–3872. doi : 10.1109 / ICASSP.2008.4518498 .
- ^ Daubechies, I .; Devore, R .; Fornasier, M .; Güntürk, CSN (2010). "Minimización de mínimos cuadrados repetidos iterativamente para una recuperación escasa". Comunicaciones sobre Matemática Pura y Aplicada . 63 : 1–38. arXiv : 0807.0575 . doi : 10.1002 / cpa.20303 .
- ^ Suave, James (2007). "6.8.1 Soluciones que Minimizan Otras Normas de los Residuales". Álgebra de matrices . Springer Texts in Statistics. Nueva York: Springer. doi : 10.1007 / 978-0-387-70873-7 . ISBN 978-0-387-70872-0.
- ^ a b William A. Pfeil, Ayudas didácticas estadísticas , tesis de licenciatura en ciencias, Instituto Politécnico de Worcester , 2006
- ^ Fox, J .; Weisberg, S. (2013), Regresión robusta , Notas del curso, Universidad de Minnesota
Referencias
- Métodos numéricos para problemas de mínimos cuadrados por Åke Björck (Capítulo 4: Problemas de mínimos cuadrados generalizados).
- Prácticos mínimos cuadrados para gráficos por computadora. Curso SIGGRAPH 11
enlaces externos
- Resolver iterativamente sistemas lineales subdeterminados