En las estadísticas , el teorema de Gauss-Markov (o simplemente teorema de Gauss para algunos autores) [1] establece que el de mínimos cuadrados ordinarios (MCO) tiene la más baja varianza del muestreo dentro de la clase de los lineales imparciales estimadores , si los errores en la regresión lineal Los modelos no están correlacionados , tienen varianzas iguales y un valor esperado de cero. [2] Los errores no necesitan ser normales , ni necesitan ser independientes y distribuidos de forma idéntica.(solo no correlacionado con media cero y homocedástico con varianza finita). El requisito de que el estimador sea insesgado no puede descartarse, ya que existen estimadores sesgados con menor varianza. Véase, por ejemplo, el estimador de James-Stein (que también reduce la linealidad), la regresión de crestas o simplemente cualquier estimador degenerado .
El teorema lleva el nombre de Carl Friedrich Gauss y Andrey Markov , aunque el trabajo de Gauss es significativamente anterior al de Markov. [3] Pero mientras Gauss obtuvo el resultado bajo el supuesto de independencia y normalidad, Markov redujo los supuestos a la forma indicada anteriormente. [4] Alexander Aitken dio una generalización adicional a los errores no esféricos . [5]
Declaración
Supongamos que tenemos en notación matricial,
expandiéndose a,
dónde son parámetros no aleatorios pero no observables, son no aleatorias y observables (denominadas "variables explicativas"), son aleatorios, y entonces son aleatorios. Las variables aleatoriasse denominan "perturbación", "ruido" o simplemente "error" (se contrastará con "residual" más adelante en el artículo; ver errores y residuales en las estadísticas ). Tenga en cuenta que para incluir una constante en el modelo anterior, se puede optar por introducir la constante como una variable con una última columna recién introducida de X que es la unidad, es decir, para todos . Tenga en cuenta que aunquecomo respuestas de muestra, son observables, las siguientes declaraciones y argumentos, incluidos supuestos, pruebas y los demás asumen bajo la única condición de saber pero no
Los supuestos de Gauss-Markov se refieren al conjunto de variables aleatorias de error,:
- Tienen media cero:
- Son homocedásticos , es decir, todos tienen la misma varianza finita: para todos y
- Los distintos términos de error no están correlacionados:
Un estimador lineal de es una combinación lineal
en el que los coeficientes no se les permite depender de los coeficientes subyacentes , ya que no son observables, pero se permite que dependan de los valores , ya que estos datos son observables. (La dependencia de los coeficientes de cadaes típicamente no lineal; el estimador es lineal en cada y por lo tanto en cada azar razón por la cual se trata de una regresión "lineal" ). Se dice que el estimador es insesgado si y solo si
independientemente de los valores de . Ahora dejaser una combinación lineal de los coeficientes. Entonces el error cuadrático medio de la estimación correspondiente es
en otras palabras, es la expectativa del cuadrado de la suma ponderada (entre parámetros) de las diferencias entre los estimadores y los parámetros correspondientes a estimar. (Dado que estamos considerando el caso en el que todas las estimaciones de los parámetros son insesgadas, este error cuadrático medio es el mismo que la varianza de la combinación lineal). El mejor estimador lineal insesgado (AZUL) del vector de parámetros es uno con el error cuadrático medio más pequeño para cada vector de parámetros de combinación lineal. Esto es equivalente a la condición de que
es una matriz semidefinida positiva para cualquier otro estimador lineal insesgado .
El estimador de mínimos cuadrados ordinarios (MCO) es la función
de y (dónde denota la transposición de) que minimiza la suma de cuadrados de los residuos (cantidades de predicción errónea):
El teorema ahora establece que el estimador MCO es AZUL. La idea principal de la prueba es que el estimador de mínimos cuadrados no está correlacionado con cada estimador lineal insesgado de cero, es decir, con cada combinación lineal. cuyos coeficientes no dependen de lo no observable pero cuyo valor esperado es siempre cero.
Observación
La prueba de que el MCO efectivamente MINIMIZA la suma de cuadrados de los residuos puede proceder de la siguiente manera con un cálculo de la matriz de Hesse y mostrando que es positiva definida.
La función MSE que queremos minimizar es
para un modelo de regresión múltiple con p variables. La primera derivada es
, donde X es la matriz de diseño
La matriz de Hesse de segundas derivadas es
Suponiendo que las columnas de son linealmente independientes de modo que es invertible, deja , luego
Ahora deja ser un vector propio de .
En términos de multiplicación de vectores, esto significa
dónde es el valor propio correspondiente a . Es más,
Finalmente, como vector propio fue arbitrario, significa todos los valores propios de son positivos, por lo tanto es positivo definido. Por lo tanto,
es de hecho un mínimo local.
Prueba
Dejar ser otro estimador lineal de con dónde es un matriz distinta de cero. Como nos restringimos a estimadores insesgados , el error cuadrático medio mínimo implica una varianza mínima. Por lo tanto, el objetivo es mostrar que dicho estimador tiene una varianza no menor que la deel estimador MCO. Calculamos:
Por tanto, dado que es la ONU observable, es imparcial si y solo si . Luego:
Dado que DD ' es una matriz semidefinita positiva, excede por una matriz semidefinida positiva.
Observaciones sobre la prueba
Como se ha dicho antes, la condición de es una matriz semidefinida positiva es equivalente a la propiedad de que el mejor estimador lineal insesgado de es (mejor en el sentido de que tiene una varianza mínima). Para ver esto, deja otro estimador lineal insesgado de .
Además, la igualdad es válida si y solo si . Calculamos
Esto prueba que la igualdad es válida si y solo si lo que da la unicidad del estimador MCO como AZUL.
Estimador de mínimos cuadrados generalizados
Los mínimos cuadrados generalizados (GLS), desarrollados por Aitken , [5] amplían el teorema de Gauss-Markov al caso donde el vector de error tiene una matriz de covarianza no escalar. [6] El estimador de Aitken también es AZUL.
Teorema de Gauss-Markov como se indica en econometría
En la mayoría de los tratamientos de MCO, los regresores (parámetros de interés) en la matriz de diseño se supone que se fijan en muestras repetidas. Este supuesto se considera inapropiado para una ciencia predominantemente no experimental como la econometría . [7] En cambio, los supuestos del teorema de Gauss-Markov están condicionados a.
Linealidad
Se supone que la variable dependiente es una función lineal de las variables especificadas en el modelo. La especificación debe ser lineal en sus parámetros. Esto no significa que deba haber una relación lineal entre las variables independientes y dependientes. Las variables independientes pueden adoptar formas no lineales siempre que los parámetros sean lineales. La ecuacion califica como lineal mientras se puede transformar para que sea lineal reemplazando por otro parámetro, digamos . Una ecuación con un parámetro dependiente de una variable independiente no califica como lineal, por ejemplo, dónde es una función de .
Las transformaciones de datos se utilizan a menudo para convertir una ecuación en una forma lineal. Por ejemplo, la función Cobb-Douglas, a menudo utilizada en economía, no es lineal:
Pero se puede expresar en forma lineal tomando el logaritmo natural de ambos lados: [8]
Esta suposición también cubre cuestiones de especificación: asumiendo que se ha seleccionado la forma funcional adecuada y no hay variables omitidas .
Sin embargo, se debe tener en cuenta que los parámetros que minimizan los residuos de la ecuación transformada no necesariamente minimizan los residuos de la ecuación original.
Exogeneidad estricta
Para todos observaciones, la expectativa, condicionada a los regresores, del término de error es cero: [9]
dónde es el vector de datos de regresores para la i- ésima observación, y en consecuencia es la matriz de datos o matriz de diseño.
Geométricamente, esta suposición implica que y son ortogonales entre sí, de modo que su producto interno (es decir, su momento transversal) es cero.
Este supuesto se viola si las variables explicativas son estocásticas, por ejemplo cuando se miden con error , o son endógenas . [10] La endogeneidad puede ser el resultado de la simultaneidad , donde la causalidad fluye hacia adelante y hacia atrás entre la variable dependiente y la independiente. Las técnicas de variables instrumentales se utilizan comúnmente para abordar este problema.
Rango completo
La matriz de datos de muestra debe tener rango de columna completo .
De lo contrario no es invertible y el estimador MCO no se puede calcular.
Una violación de este supuesto es la multicolinealidad perfecta , es decir, algunas variables explicativas son linealmente dependientes. Un escenario en el que esto ocurrirá se llama "trampa de variable ficticia", cuando no se omite una variable ficticia base, lo que resulta en una correlación perfecta entre las variables ficticias y el término constante. [11]
La multicolinealidad (siempre que no sea "perfecta") puede estar presente dando como resultado una estimación menos eficiente, pero aún insesgada. Las estimaciones serán menos precisas y muy sensibles a determinados conjuntos de datos. [12] La multicolinealidad se puede detectar a partir del número de condición o del factor de inflación de la varianza , entre otras pruebas.
Errores esféricos
El producto externo del vector de error debe ser esférico.
Esto implica que el término de error tiene una varianza uniforme ( homocedasticidad ) y ninguna dependencia serial. [13] Si se viola este supuesto, OLS sigue siendo imparcial, pero ineficiente. El término "errores esféricos" describirá la distribución normal multivariante: si en la densidad normal multivariante, entonces la ecuación es la fórmula para una bola centrada en μ con radio σ en un espacio n-dimensional. [14]
La heterocedasticidad ocurre cuando la cantidad de error se correlaciona con una variable independiente. Por ejemplo, en una regresión sobre gastos e ingresos en alimentos, el error se correlaciona con los ingresos. Las personas de bajos ingresos generalmente gastan una cantidad similar en alimentos, mientras que las personas de altos ingresos pueden gastar una cantidad muy grande o tan poco como lo que gastan las personas de bajos ingresos. La heterocedástica también puede ser causada por cambios en las prácticas de medición. Por ejemplo, a medida que las oficinas de estadística mejoran sus datos, el error de medición disminuye, por lo que el término de error disminuye con el tiempo.
Este supuesto se viola cuando hay autocorrelación . La autocorrelación se puede visualizar en un gráfico de datos cuando es más probable que una observación determinada se encuentre por encima de una línea ajustada si las observaciones adyacentes también se encuentran por encima de la línea de regresión ajustada. La autocorrelación es común en los datos de series de tiempo donde una serie de datos puede experimentar "inercia". Si una variable dependiente tarda un poco en absorber completamente un impacto. La autocorrelación espacial también puede ocurrir en áreas geográficas que probablemente tengan errores similares. La autocorrelación puede ser el resultado de una especificación incorrecta, como la elección de la forma funcional incorrecta. En estos casos, corregir la especificación es una forma posible de lidiar con la autocorrelación.
En presencia de errores esféricos, se puede demostrar que el estimador de mínimos cuadrados generalizados es AZUL. [6]
Ver también
- Variables aleatorias independientes e idénticamente distribuidas
- Regresión lineal
- Incertidumbre de medicion
Otras estadísticas no sesgadas
- Mejor predicción lineal insesgada (BLUP)
- Estimador insesgado de varianza mínima (MVUE)
Referencias
- ^ Véase el capítulo 7 de Johnson, RA; Wichern, DW (2002). Análisis estadístico multivariado aplicado . 5 . Prentice Hall.
- ^ Theil, Henri (1971). "Mejor predicción y estimación lineal imparcial". Principios de Econometría . Nueva York: John Wiley & Sons. pp. 119 -124. ISBN 0-471-85845-5.
- ^ Plackett, RL (1949). "Una nota histórica sobre el método de mínimos cuadrados". Biometrika . 36 (3/4): 458–460. doi : 10.2307 / 2332682 .
- ^ David, FN; Neyman, J. (1938). "Extensión del teorema de Markoff sobre mínimos cuadrados". Memorias de investigación estadística . 2 : 105-116. OCLC 4025782 .
- ^ a b Aitken, AC (1935). "En mínimos cuadrados y combinaciones lineales de observaciones". Actas de la Royal Society of Edinburgh . 55 : 42–48. doi : 10.1017 / S0370164600014346 .
- ^ a b Huang, David S. (1970). Métodos de regresión y econométricos . Nueva York: John Wiley & Sons. pp. 127 -147. ISBN 0-471-41754-8.
- ^ Hayashi, Fumio (2000). Econometría . Prensa de la Universidad de Princeton. pag. 13. ISBN 0-691-01018-8.
- ^ Walters, AA (1970). Introducción a la econometría . Nueva York: WW Norton. pag. 275. ISBN 0-393-09931-8.
- ^ Hayashi, Fumio (2000). Econometría . Prensa de la Universidad de Princeton. pag. 7. ISBN 0-691-01018-8.
- ^ Johnston, John (1972). Métodos econométricos (Segunda ed.). Nueva York: McGraw-Hill. págs. 267-291 . ISBN 0-07-032679-7.
- ^ Wooldridge, Jeffrey (2012). Econometría introductoria (Quinta ed. Internacional). Del suroeste. pag. 220 . ISBN 978-1-111-53439-4.
- ^ Johnston, John (1972). Métodos econométricos (Segunda ed.). Nueva York: McGraw-Hill. págs. 159-168 . ISBN 0-07-032679-7.
- ^ Hayashi, Fumio (2000). Econometría . Prensa de la Universidad de Princeton. pag. 10. ISBN 0-691-01018-8.
- ^ Ramanathan, Ramu (1993). "Perturbaciones no esféricas". Métodos estadísticos en econometría . Prensa académica. págs. 330 –351. ISBN 0-12-576830-3.
Otras lecturas
- Davidson, James (2000). "Análisis estadístico del modelo de regresión". Teoría econométrica . Oxford: Blackwell. págs. 17–36. ISBN 0-631-17837-6.
- Goldberger, Arthur (1991). "Regresión clásica". Un curso de econometría . Cambridge: Prensa de la Universidad de Harvard. pp. 160 -169. ISBN 0-674-17544-1.
- Theil, Henri (1971). "Mínimos cuadrados y el modelo lineal estándar". Principios de Econometría . Nueva York: John Wiley & Sons. pp. 101 -162. ISBN 0-471-85845-5.
enlaces externos
- Usos más antiguos conocidos de algunas de las palabras de las matemáticas: G (breve historia y explicación del nombre)
- Prueba del teorema de Gauss Markov para la regresión lineal múltiple (hace uso del álgebra matricial)
- Una prueba del teorema de Gauss Markov usando geometría