Estimador insesgado de varianza mínima

Estimador estadístico imparcial que minimiza la varianza

Este artículo necesita citas adicionales para su verificación . Por favor, ayuda a mejorar este artículo mediante la adición de citas de fuentes confiables . El material no obtenido puede ser cuestionado y eliminado. Encuentre fuentes:  "Estimador imparcial de varianza mínima"  -  noticias  · periódicos  · libros  · académico  · JSTOR ( noviembre de 2009 ) ( Aprenda cómo y cuándo eliminar este mensaje de plantilla )

En estadística, un estimador insesgado de varianza mínima (MVUE) o un estimador insesgado de varianza mínima uniforme (UMVUE) es un estimador insesgado que tiene una varianza más baja que cualquier otro estimador insesgado para todos los valores posibles del parámetro.

Para problemas de estadística práctica, es importante determinar el MVUE, si existe, ya que los procedimientos menos que óptimos se evitarían naturalmente, en igualdad de condiciones. Esto ha llevado a un desarrollo sustancial de la teoría estadística relacionada con el problema de la estimación óptima.

Si bien la combinación de la restricción del sesgo con la métrica de deseabilidad de la menor varianza conduce a buenos resultados en la mayoría de los entornos prácticos, lo que hace que MVUE sea un punto de partida natural para una amplia gama de análisis, una especificación dirigida puede funcionar mejor para un problema dado; por lo tanto, MVUE no siempre es el mejor punto de parada.

Definición

Considere la estimación de iid basada en datos de algún miembro de una familia de densidades , donde está el espacio de parámetros. Un estimador insesgado de es UMVUE si ,${\displaystyle g(\theta )}$${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle p_{\theta },\theta \in \Omega }$${\displaystyle \Omega }$${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$${\displaystyle g(\theta )}$${\displaystyle \forall \theta \in \Omega }$

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

para cualquier otro estimador insesgado ${\displaystyle {\tilde {\delta }}.}$

Si existe un estimador insesgado de , entonces se puede probar que existe un MVUE esencialmente único. ^[1] Utilizando el teorema de Rao-Blackwell también se puede probar que determinar el MVUE es simplemente una cuestión de encontrar una estadística suficiente completa para la familia y condicionar cualquier estimador insesgado en ella.${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

Además, según el teorema de Lehmann-Scheffé , un estimador insesgado que es función de una estadística completa y suficiente es el estimador UMVUE.

Dicho formalmente, suponga que no es sesgado para , y esa es una estadística suficiente completa para la familia de densidades. Luego${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$${\displaystyle g(\theta )}$${\displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

es el MVUE para ${\displaystyle g(\theta ).}$

Un análogo bayesiano es un estimador de Bayes , particularmente con error cuadrático medio mínimo (MMSE).

Selección de estimador

No es necesario que exista un estimador eficiente , pero si existe y si es insesgado, es el MVUE. Dado que el error cuadrático medio (MSE) de un estimador δ es

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$

el MVUE minimiza el MSE entre los estimadores insesgados . En algunos casos, los estimadores sesgados tienen un MSE más bajo porque tienen una varianza menor que cualquier estimador insesgado; ver sesgo del estimador .

Ejemplo

Considere los datos a ser una sola observación de una distribución absolutamente continua en con densidad${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

y deseamos encontrar el estimador UMVU de

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

Primero reconocemos que la densidad se puede escribir como

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Que es una familia exponencial con estadística suficiente . De hecho, esta es una familia exponencial de rango completo y, por lo tanto, es suficiente. Ver familia exponencial para una derivación que muestra${\displaystyle T=\log(1+e^{-x})}$${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

Por lo tanto,

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Aquí usamos el teorema de Lehmann-Scheffé para obtener el MVUE

Claramente es insesgado y es lo suficientemente completo, por lo que el estimador UMVU es${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Este ejemplo ilustra que una función insesgada del estadístico suficiente completo será UMVU, como establece el teorema de Lehmann-Scheffé .

Otros ejemplos

• Para una distribución normal con media y varianza desconocida, la media de la muestra y (imparcial) varianza de la muestra son los MVUEs para la población media y la varianza de la población.

  Sin embargo, la desviación estándar de la muestra no es insesgada para la desviación estándar de la población; consulte la estimación insesgada de la desviación estándar .

  Además, para otras distribuciones, la media muestral y la varianza muestral no son en general MVUE; para una distribución uniforme con límites superior e inferior desconocidos, el rango medio es el MVUE para la media poblacional.

• Si se eligen k ejemplares (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1, 2, ...,  N } con límite superior desconocido N , el MVUE para N es

${\displaystyle {\frac {k+1}{k}}m-1,}$

donde m es el máximo de la muestra . Esta es una transformada escalada y desplazada (tan insesgada) del máximo de la muestra, que es una estadística suficiente y completa. Consulte el problema del tanque alemán para obtener más detalles.

Ver también

• Mejor estimador lineal insesgado (AZUL)
• Compensación entre sesgo y varianza
• Teorema de Lehmann-Scheffé
• Estadística U

Análogos bayesianos

• Estimador de Bayes
• Error cuadrático medio mínimo (MMSE)

Referencias

1. Lee, AJ, 1946- (1990). Estadística U: teoría y práctica . Nueva York: M. Dekker. ISBN 0824782534. OCLC  21523971 .

• Keener, Robert W. (2006). Teoría estadística: apuntes para un curso de estadística teórica . Saltador. págs. 47–48, 57–58.
• Voinov VG, Nikulin MS (1993). Estimadores insesgados y sus aplicaciones, Vol.1: Caso univariante . Editores académicos de Kluwer. págs. 521 pág.