La regresión de crestas es un método para estimar los coeficientes de modelos de regresión múltiple en escenarios donde las variables independientes están altamente correlacionadas. [1] Tiene usos en campos como la econometría, la química y la ingeniería. [2]
La teoría fue introducida por primera vez por Hoerl y Kennard en 1970 en sus artículos de Technometrics " Regresiones RIDGE: estimación sesgada de problemas no ortogonales" y "Regresiones RIDGE: aplicaciones en problemas no ortogonales". [3] [4] [1] Este fue el resultado de diez años de investigación en el campo del análisis de crestas. [5]
La regresión de crestas se desarrolló como una posible solución a la imprecisión de los estimadores de mínimos cuadrados cuando los modelos de regresión lineal tienen algunas variables independientes multicolineales (altamente correlacionadas) mediante la creación de un estimador de regresión de crestas (RR). Esto proporciona una estimación de los parámetros de cresta más precisa, ya que su varianza y su estimador cuadrático medio suelen ser más pequeños que los estimadores de mínimos cuadrados obtenidos anteriormente. [6] [2]
Detalles matemáticos
Un vector de columna se proyectará en el espacio de la columna de la matriz de diseño (típicamente ) cuyas columnas están altamente correlacionadas. El estimador de mínimos cuadrados ordinarios de los coeficientes por el cual se multiplican las columnas para obtener la proyección ortogonal es
(dónde es la transposición de ). Por el contrario, el estimador de regresión de crestas es
dónde es el matriz de identidad y es pequeño.
Referencias
- ^ a b Empuñadura, Donald E .; Seegrist, Donald W. (1977). "Ridge, un programa informático para calcular estimaciones de regresión de crestas" .
- ^ a b Gruber, Marvin (26 de febrero de 1998). Mejora de la eficiencia por contracción: los estimadores de regresión de James-Stein y Ridge . ISBN 9780824701567.
- ^ Hoerl, Arthur E. y Robert W. Kennard. "Regresión de crestas: estimación sesgada para problemas no ortogonales". Technometrics , vol. 12, no. 1, 1970, págs. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Consultado el 13 de marzo de 2021.
- ^ Hoerl, Arthur E. y Robert W. Kennard. "Regresión de crestas: aplicaciones a problemas no ortogonales". Technometrics , volumen 12, número 1, 1970, págs. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Consultado el 13 de marzo de 2021.
- ^ Beck, James Vere; Arnold, Kenneth J. (1977). Estimación de parámetros en ingeniería y ciencia . ISBN 9780471061182.
- ^ Jolliffe, IT (9 de mayo de 2006). Análisis de componentes principales . ISBN 9780387224404.