En estadística , los mínimos cuadrados generalizados ( GLS ) es una técnica para estimar los parámetros desconocidos en un modelo de regresión lineal cuando existe un cierto grado de correlación entre los residuos en un modelo de regresión . En estos casos, mínimos cuadrados ordinarios y mínimos cuadrados ponderados pueden ser estadísticamente ineficaz , o incluso dar engañosas inferencias . El GLS fue descrito por primera vez por Alexander Aitken en 1936. [1]
Esquema del método
En modelos de regresión lineal estándar observamos datosen n unidades estadísticas . Los valores de respuesta se colocan en un vector, y los valores del predictor se colocan en la matriz de diseño. , dónde es un vector de las k variables predictoras (incluida una constante) para la i- ésima unidad. El modelo fuerza la media condicional de dado ser una función lineal de , y asume la varianza condicional del término de error dadoes una matriz de covarianza no singular conocida . Esto generalmente se escribe como
Aquí es un vector de constantes desconocidas (conocidas como “coeficientes de regresión”) que deben estimarse a partir de los datos.
Suponer es una estimación candidata para . Entonces el vector residual para estarán . Estimaciones del método de mínimos cuadrados generalizadosminimizando la longitud de Mahalanobis al cuadrado de este vector residual:
Dado que el objetivo es una forma cuadrática en , el estimador tiene una fórmula explícita:
Propiedades
El estimador GLS es insesgado , consistente , eficiente y asintóticamente normal con y . GLS es equivalente a aplicar mínimos cuadrados ordinarios a una versión transformada linealmente de los datos. Para ver esto, factor, por ejemplo utilizando la descomposición de Cholesky . Entonces, si pre-multiplicamos ambos lados de la ecuación por , obtenemos un modelo lineal equivalente dónde , , y . En este modelo, dónde es la matriz de identidad . Por lo tanto, podemos estimar de manera eficienteaplicando mínimos cuadrados ordinarios (MCO) a los datos transformados, lo que requiere minimizar
Esto tiene el efecto de estandarizar la escala de los errores y “descorrelacionarlos”. Dado que MCO se aplica a datos con errores homocedásticos, se aplica el teorema de Gauss-Markov y, por lo tanto, la estimación de GLS es el mejor estimador lineal insesgado para β .
Mínimos cuadrados ponderados
Un caso especial de GLS llamado mínimos cuadrados ponderados (WLS) ocurre cuando todas las entradas fuera de la diagonal de Ω son 0. Esta situación surge cuando las varianzas de los valores observados son desiguales (es decir, hay heterocedasticidad presente), pero donde no existen correlaciones entre las variaciones observadas. El peso de la unidad i es proporcional al recíproco de la varianza de la respuesta de la unidad i . [2]
Mínimos cuadrados generalizados factibles
Si la covarianza de los errores es desconocido, se puede obtener una estimación consistente de , decir , [3] utilizando una versión implementable de GLS conocida como estimador de mínimos cuadrados generalizados factibles ( FGLS ). En FGLS, el modelado procede en dos etapas: (1) el modelo es estimado por MCO u otro estimador consistente (pero ineficiente), y los residuales se usan para construir un estimador consistente de la matriz de covarianza de errores (para hacerlo, a menudo se necesita para examinar el modelo agregando restricciones adicionales, por ejemplo, si los errores siguen un proceso de series de tiempo, un estadístico generalmente necesita algunos supuestos teóricos sobre este proceso para asegurarse de que esté disponible un estimador consistente); y (2) utilizando el estimador consistente de la matriz de covarianza de los errores, se pueden implementar ideas GLS.
Mientras que GLS es más eficiente que OLS bajo heterocedasticidad o autocorrelación , esto no es cierto para FGLS. El estimador factible es, siempre que la matriz de covarianza de errores se calcule de manera consistente, asintóticamente más eficiente, pero para una muestra de tamaño pequeño o mediano, en realidad puede ser menos eficiente que MCO. Por eso, algunos autores prefieren utilizar MCO y reformular sus inferencias simplemente considerando un estimador alternativo para la varianza del estimador robusto a la heteroscedasticidad o autocorrelación en serie. Pero para muestras grandes, se prefiere FGLS sobre OLS bajo heterocedasticidad o correlación serial. [3] [4] Una nota de advertencia es que el estimador FGLS no siempre es consistente. Un caso en el que FGLS puede ser inconsistente es si hay efectos fijos específicos individuales. [5]
En general, este estimador tiene propiedades diferentes a GLS. Para muestras grandes (es decir, asintóticamente) todas las propiedades son (en condiciones apropiadas) comunes con respecto a GLS, pero para muestras finitas se desconocen las propiedades de los estimadores FGLS: varían dramáticamente con cada modelo en particular y, como regla general, sus distribuciones exactas. no se puede derivar analíticamente. Para muestras finitas, FGLS puede ser incluso menos eficiente que OLS en algunos casos. Por lo tanto, aunque GLS puede ser factible, no siempre es prudente aplicar este método cuando la muestra es pequeña. Un método que a veces se utiliza para mejorar la precisión de los estimadores en muestras finitas es iterar, es decir, tomar los residuales de FGLS para actualizar el estimador de covarianza de errores y luego actualizar la estimación de FGLS, aplicando la misma idea de manera iterativa hasta que los estimadores varíen menos que algunos. tolerancia. Pero este método no necesariamente mejora mucho la eficiencia del estimador si la muestra original era pequeña. Una opción razonable cuando las muestras no son demasiado grandes es aplicar MCO, pero descartando el estimador de varianza clásico
(que es inconsistente en este marco) y usando un estimador HAC (Heteroscedasticidad y Autocorrelación Consistente). Por ejemplo, en el contexto de autocorrelación podemos usar el estimador de Bartlett (a menudo conocido como estimador de Newey-West ya que estos autores popularizaron el uso de este estimador entre los econometristas en su artículo de Econometrica de 1987 ), y en el contexto heterocedástico podemos usar el estimador de Eicker-White . Este enfoque es mucho más seguro y es el camino apropiado a seguir, a menos que la muestra sea grande, y "grande" es a veces un problema resbaladizo (por ejemplo, si la distribución de errores es asimétrica, la muestra requerida sería mucho mayor).
El estimador de mínimos cuadrados ordinarios (MCO) se calcula como de costumbre mediante
y estimaciones de los residuos están construidos.
Para simplificar, considere el modelo de errores heterocedásticos. Suponga que la matriz de varianza-covarianzadel vector de error es diagonal, o de manera equivalente, que los errores de distintas observaciones no están correlacionados. Entonces, cada entrada diagonal puede ser estimada por los residuos ajustados entonces puede ser construido por
Es importante notar que los residuos cuadrados no se pueden usar en la expresión anterior; necesitamos un estimador de las varianzas de errores. Para ello, podemos utilizar un modelo de heterocedasticidad paramétrico o un estimador no paramétrico. Una vez cumplido este paso, podemos proceder:
Estimar utilizando usando [4] mínimos cuadrados ponderados
El procedimiento puede repetirse. La primera iteración viene dada por
Esta estimación de se puede iterar hasta la convergencia.
En condiciones de regularidad, cualquiera de los estimadores FGLS (o el de cualquiera de sus iteraciones, si iteramos un número finito de veces) se distribuye asintóticamente como
donde n es el tamaño de la muestra y
aquí p-lim significa límite de probabilidad
Ver también
Referencias
- ^ Aitken, AC (1936). "Sobre mínimos cuadrados y combinaciones lineales de observaciones". Actas de la Royal Society of Edinburgh . 55 : 42–48.
- ^ Strutz, T. (2016). Ajuste de datos e incertidumbre (una introducción práctica a los mínimos cuadrados ponderados y más) . Springer Vieweg. ISBN 978-3-658-11455-8., Capítulo 3
- ↑ a b Baltagi, BH (2008). Econometría (4ª ed.). Nueva York: Springer.
- ↑ a b Greene, WH (2003). Análisis econométrico (5ª ed.). Upper Saddle River, Nueva Jersey: Prentice Hall.
- ^ Hansen, Christian B. (2007). "Inferencia de mínimos cuadrados generalizada en modelos de panel y multinivel con correlación serial y efectos fijos". Revista de Econometría . 140 (2): 670–694. doi : 10.1016 / j.jeconom.2006.07.011 .
Otras lecturas
- Amemiya, Takeshi (1985). "Teoría de mínimos cuadrados generalizada" . Econometría avanzada . Prensa de la Universidad de Harvard. ISBN 0-674-00560-0.
- Johnston, John (1972). "Mínimos cuadrados generalizados" . Métodos econométricos (Segunda ed.). Nueva York: McGraw-Hill. págs. 208–242.
- Kmenta, Jan (1986). "Modelo de regresión lineal generalizada y sus aplicaciones" . Elements of Econometrics (Segunda ed.). Nueva York: Macmillan. págs. 607–650. ISBN 0-472-10886-7.