Estimador

Rule for calculating an estimate of a given quantity based on observed data

En estadística , un estimador es una regla para calcular una estimación de una cantidad dada basada en datos observados : así se distingue la regla (el estimador), la cantidad de interés (el estimado ) y su resultado (la estimación). ^[1] Por ejemplo, la media muestral es un estimador de la media poblacional que se utiliza habitualmente .

Hay estimadores puntuales e intervalos . Los estimadores puntuales producen resultados de un solo valor. Esto contrasta con un estimador de intervalo , donde el resultado sería un rango de valores plausibles. "Valor único" no significa necesariamente "número único", pero incluye estimadores con valores vectoriales o con valores de función.

La teoría de la estimación se ocupa de las propiedades de los estimadores; es decir, con propiedades definitorias que se pueden usar para comparar diferentes estimadores (diferentes reglas para crear estimaciones) para la misma cantidad, basados ​​en los mismos datos. Estas propiedades se pueden utilizar para determinar las mejores reglas a utilizar en determinadas circunstancias. Sin embargo, en estadísticas robustas , la teoría estadística pasa a considerar el equilibrio entre tener buenas propiedades, si se cumplen los supuestos estrictamente definidos, y tener propiedades menos buenas que se mantienen en condiciones más amplias.

Fondo

Un "estimador" o " estimación puntual " es una estadística (es decir, una función de los datos) que se utiliza para inferir el valor de un parámetro desconocido en un modelo estadístico . El parámetro que se estima a veces se denomina estimando . Puede ser de dimensión finita (en modelos paramétricos y semiparamétricos ) o de dimensión infinita ( modelos semiparamétricos y no paramétricos ). ^[2] Si se indica el parámetro, entonces el estimador se escribe tradicionalmente agregando un circunflejo sobre el símbolo:${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$. Al ser una función de los datos, el estimador es en sí mismo una variable aleatoria ; una realización particular de esta variable aleatoria se llama "estimación". A veces, las palabras "estimador" y "estimación" se utilizan indistintamente.

La definición prácticamente no impone restricciones sobre qué funciones de los datos pueden denominarse "estimadores". El atractivo de diferentes estimadores se puede juzgar observando sus propiedades, tales como insesgabilidad , error cuadrático medio , consistencia , distribución asintótica , etc. La construcción y comparación de estimadores son los temas de la teoría de la estimación . En el contexto de la teoría de la decisión , un estimador es un tipo de regla de decisión y su desempeño puede evaluarse mediante el uso de funciones de pérdida .

Cuando la palabra "estimador" se usa sin un calificador, generalmente se refiere a la estimación puntual. La estimación en este caso es un solo punto en el espacio de parámetros . También existe otro tipo de estimador: los estimadores de intervalo , donde las estimaciones son subconjuntos del espacio de parámetros.

El problema de la estimación de la densidad surge en dos aplicaciones. En primer lugar, al estimar las funciones de densidad de probabilidad de variables aleatorias y, en segundo lugar, al estimar la función de densidad espectral de una serie de tiempo . En estos problemas, las estimaciones son funciones que se pueden considerar como estimaciones puntuales en un espacio dimensional infinito, y existen problemas de estimación de intervalos correspondientes.

Definición

Suponga que es necesario estimar un parámetro fijo . Entonces, un "estimador" es una función que asigna el espacio muestral a un conjunto de estimaciones muestrales . Un estimador de generalmente se denota con el símbolo . A menudo es conveniente expresar la teoría usando el álgebra de variables aleatorias : por lo tanto, si se usa X para denotar una variable aleatoria correspondiente a los datos observados, el estimador (él mismo tratado como una variable aleatoria) se simboliza como una función de esa variable aleatoria. , . La estimación de un valor de datos observados en particular (es decir, para ) es entonces , que es un valor fijo. A menudo se utiliza una notación abreviada en la que${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle {\widehat {\theta }}(X)}$${\displaystyle x}$${\displaystyle X=x}$${\displaystyle {\widehat {\theta }}(x)}$${\displaystyle {\widehat {\theta }}}$se interpreta directamente como una variable aleatoria , pero esto puede causar confusión.

Propiedades cuantificadas

Las siguientes definiciones y atributos son relevantes. ^[3]

Error

Para una muestra dada , el " error " del estimador se define como${\displaystyle x}$${\displaystyle {\widehat {\theta }}}$

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$

donde es el parámetro que se estima. El error, e , depende no solo del estimador (la fórmula o procedimiento de estimación), sino también de la muestra.${\displaystyle \theta }$

Error medio cuadrado

El error cuadrático medio de se define como el valor esperado (promedio ponderado por probabilidad, sobre todas las muestras) de los errores cuadráticos; es decir,${\displaystyle {\widehat {\theta }}}$

${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$

Se utiliza para indicar qué tan lejos, en promedio, está la colección de estimaciones del único parámetro que se está estimando. Considere la siguiente analogía. Suponga que el parámetro es la diana de un objetivo, el estimador es el proceso de disparar flechas al objetivo y las flechas individuales son estimaciones (muestras). Entonces, MSE alto significa que la distancia promedio de las flechas desde la diana es alta, y MSE baja significa que la distancia promedio desde la diana es baja. Las flechas pueden estar agrupadas o no. Por ejemplo, incluso si todas las flechas dan en el mismo punto, pero fallan en gran medida en el objetivo, el MSE sigue siendo relativamente grande. Sin embargo, si el MSE es relativamente bajo, es probable que las flechas estén más agrupadas (que muy dispersas) alrededor del objetivo.

Desviación de muestreo

Para una muestra dada , la desviación muestral del estimador se define como${\displaystyle x}$${\displaystyle {\widehat {\theta }}}$

${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),}$

donde es el valor esperado del estimador. La desviación muestral, d , depende no solo del estimador, sino también de la muestra.${\displaystyle \operatorname {E} ({\widehat {\theta }}(X))}$

Diferencia

La varianza de es simplemente el valor esperado de las desviaciones de muestreo al cuadrado; es decir, . Se utiliza para indicar qué tan lejos, en promedio, la colección de estimaciones está del valor esperado de las estimaciones. (Note la diferencia entre MSE y varianza). Si el parámetro es el blanco de un objetivo y las flechas son estimaciones, entonces una varianza relativamente alta significa que las flechas están dispersas y una varianza relativamente baja significa que las flechas están agrupadas. Incluso si la varianza es baja, el grupo de flechas aún puede estar muy alejado del objetivo, e incluso si la varianza es alta, la colección difusa de flechas aún puede ser insesgada. Finalmente, incluso si todas las flechas fallan groseramente en el objetivo, si todas dan en el mismo punto, la varianza es cero.${\displaystyle {\widehat {\theta }}}$${\displaystyle \operatorname {var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$

Parcialidad

El sesgo de se define como . Es la distancia entre el promedio de la colección de estimaciones y el parámetro único que se estima. El sesgo de es una función del valor real de decir que el sesgo de es significa que para cada sesgo de es . ${\displaystyle {\widehat {\theta }}}$${\displaystyle B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle b}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle b}$

El estimador tiene dos tipos de sesgo. Uno es estimador sesgado y otro es estimador insesgado. Si el estimador está sesgado o no, puede identificarse mediante la relación entre y 0. ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta }$

Si , esta sesgado${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta \neq 0}$${\displaystyle {\widehat {\theta }}}$

Si , es imparcial${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$${\displaystyle {\widehat {\theta }}}$

El sesgo también es el valor esperado del error, ya que . Si el parámetro es la diana de un objetivo y las flechas son estimaciones, entonces un valor absoluto relativamente alto para el sesgo significa que la posición promedio de las flechas está fuera del objetivo, y un sesgo absoluto relativamente bajo significa la posición promedio de las flechas están en el blanco. Pueden estar dispersos o agrupados. La relación entre sesgo y varianza es análoga a la relación entre exactitud y precisión .${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )}$

El estimador es un estimador insesgado de si y solo si${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$ ${\displaystyle B({\widehat {\theta }})=0}$. El sesgo es una propiedad del estimador, no de la estimación. A menudo, las personas se refieren a una "estimación sesgada" o una "estimación no sesgada", pero en realidad se refieren a una "estimación de un estimador sesgado" o una "estimación de un estimador no sesgado". Además, la gente a menudo confunde el "error" de una sola estimación con el "sesgo" de un estimador. Que el error de una estimación sea grande no significa que el estimador esté sesgado. De hecho, incluso si todas las estimaciones tienen valores absolutos astronómicos para sus errores, si el valor esperado del error es cero, el estimador es insesgado. Además, el sesgo de un estimador no impide que el error de una estimación sea cero en un caso particular. La situación ideal es tener un estimador insesgado con baja varianza,y también trate de limitar el número de muestras donde el error es extremo (es decir, tiene pocos valores atípicos). Sin embargo, la imparcialidad no es esencial. A menudo, si se permite un pequeño sesgo, entonces se puede encontrar un estimador con un MSE más bajo y / o menos estimaciones de muestra atípicas.

Una alternativa a la versión anterior de "insesgado" es la "mediana insesgada", donde la mediana de la distribución de estimaciones coincide con el valor real; por lo tanto, a largo plazo, la mitad de las estimaciones serán demasiado bajas y la mitad demasiado altas. Si bien esto se aplica inmediatamente solo a los estimadores con valores escalares, se puede extender a cualquier medida de tendencia central de una distribución: ver estimadores de mediana insesgada .

En el problema práctico. siempre puede tener una relación de función con . Por ejemplo, una teoría genética establece que hay un tipo de hoja, verde almidonada, que ocurre con probabilidad , con .${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$${\displaystyle p1=1/4\cdot (\theta +2)}$${\displaystyle 0<\theta <1}$

Para n hojas, la variable aleatoria , el número de hojas verdes con almidón, se puede modelar con una distribución. El número puede ser utilizado para expresar el siguiente estimador para : . Demuestre que es un estimador insesgado de . La solución se muestra a continuación:${\displaystyle N1}$${\displaystyle Bin(n,p1)}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}=4/n\cdot N1-2}$${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$

${\displaystyle E[{\widehat {\theta }}]=E[4/n\cdot N1-2]}$

${\displaystyle =4/n\cdot E[N1]}$

${\displaystyle =4/n\cdot np1-2}$

${\displaystyle =4\cdot p1-2}$

${\displaystyle =4\cdot 1/4\cdot (\theta +2)-2}$

${\displaystyle =\theta +2-2}$

${\displaystyle =0}$

Como resultado, es el estimador insesgado de .${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$

Relaciones entre las cantidades

• El MSE, la varianza y el sesgo están relacionados: es decir, error cuadrático medio = varianza + cuadrado del sesgo. En particular, para un estimador insesgado, la varianza es igual al MSE.${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$
• La desviación estándar de un estimador de (la raíz cuadrada de la varianza), o una estimación de la desviación estándar de un estimador de , se denomina error estándar de .${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$
• La compensación de sesgo-varianza se utilizará en la complejidad del modelo, sobreajuste y desajuste. Se utiliza principalmente en el campo del aprendizaje supervisado y el modelado predictivo para diagnosticar el rendimiento de algoritmos.

Propiedades de comportamiento

Consistencia

Artículo principal: estimador consistente

Una secuencia consistente de estimadores es una secuencia de estimadores que convergen en probabilidad a la cantidad que se estima a medida que el índice (generalmente el tamaño de la muestra ) crece sin límite. En otras palabras, aumentar el tamaño de la muestra aumenta la probabilidad de que el estimador se acerque al parámetro de población.

Matemáticamente, una secuencia de estimadores { t _n ; n ≥ 0 } es un estimador consistente para el parámetro θ si y solo si, para todo ε > 0 , no importa cuán pequeño sea, tenemos

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1}$.

La consistencia definida anteriormente puede denominarse consistencia débil. La secuencia es muy consistente , si converge casi con seguridad al valor real.

Un estimador que converge a un múltiplo de un parámetro se puede convertir en un estimador consistente multiplicando el estimador por un factor de escala , es decir, el valor verdadero dividido por el valor asintótico del estimador. Esto ocurre con frecuencia en la estimación de parámetros de escala mediante medidas de dispersión estadística .

Normalidad asintótica

Artículo principal: normalidad asintótica

Un estimador asintóticamente normal es un estimador consistente cuya distribución alrededor del parámetro verdadero θ se acerca a una distribución normal con una desviación estándar que se reduce en proporción a medida que aumenta el tamaño de la muestra n . Utilizando para denotar la convergencia en la distribución , t _n es asintóticamente normal si${\displaystyle 1/{\sqrt {n}}}$${\displaystyle {\xrightarrow {D}}}$

${\displaystyle {\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),}$

para algunos V .

En esta formulación, V / n puede denominarse varianza asintótica del estimador. Sin embargo, algunos autores también llaman a V la varianza asintótica . Tenga en cuenta que la convergencia no necesariamente habrá ocurrido para cualquier "n" finito, por lo tanto, este valor es sólo una aproximación a la verdadera varianza del estimador, mientras que en el límite la varianza asintótica (V / n) es simplemente cero. Para ser más específicos, la distribución del estimador t _n converge débilmente a una función dirac delta centrada en .${\displaystyle \theta }$

El teorema del límite central implica la normalidad asintótica de la media muestral como estimador de la media verdadera. De manera más general, los estimadores de máxima verosimilitud son asintóticamente normales en condiciones de regularidad bastante débiles; consulte la sección de asintóticos del artículo de máxima verosimilitud. Sin embargo, no todos los estimadores son asintóticamente normales; los ejemplos más simples se encuentran cuando el valor real de un parámetro se encuentra en el límite de la región permitida del parámetro.${\displaystyle {\bar {X}}}$

Eficiencia

Artículo principal: Eficiencia (estadísticas)

La eficiencia de un estimador se utiliza para estimar la cantidad de interés de una manera de "error mínimo". El término de esta propiedad es estimador eficiente. En realidad, no existe un mejor estimador explícito. Solo puede haber un mejor estimador. Lo bueno o no de la eficiencia de un estimador se basa en la elección de una función de pérdida particular . Y se refleja en las dos propiedades naturales de los estimadores.

Dos propiedades naturalmente deseables de los estimadores son que sean insesgados y tengan un error cuadrático medio mínimo (MSE) . En general, estos dos factores no pueden satisfacerse simultáneamente: un estimador insesgado puede tener un error cuadrático medio (MSE) más bajo que cualquier estimador sesgado; ver sesgo del estimador .${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$

Existe una función que relaciona el error cuadrático medio (MSE) con el sesgo del estimador. ^[4]

${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=(\operatorname {E} ({\widehat {\theta }})-\theta )^{2}+Var(\theta )\ }$

El primer término representa el error cuadrático medio; el segundo término representa el cuadrado del sesgo del estimador; y el tercer término representa la varianza de la muestra. La calidad del estimador se puede identificar a partir de la comparación entre la varianza, el cuadrado del sesgo del estimador o el MSE. La varianza del estimador bueno (buena eficiencia) sería menor que la varianza del estimador malo (mala eficiencia). El cuadrado de un sesgo de estimador con un buen estimador sería menor que el sesgo de estimador con un mal estimador. El MSE de un buen estimador sería menor que el MSE de un mal estimador. Suponga que hay dos estimadores, es el estimador bueno y es el estimador malo. La relación anterior se puede expresar mediante las siguientes fórmulas.${\displaystyle \theta 1}$${\displaystyle \theta 2}$

${\displaystyle Var(\theta 1)<Var(\theta 2)}$

${\displaystyle |\operatorname {E} ({\theta }1)-\theta |<|\operatorname {E} ({\theta 2})-\theta |}$

${\displaystyle MSE(\theta 1)<MSE(\theta 2)}$

Además de utilizar la fórmula para identificar la eficiencia del estimador, también se puede identificar a través del gráfico. Si un estimador es eficiente, en el gráfico de frecuencia vs. valor, habrá una curva con alta frecuencia en el centro y baja frecuencia en los dos lados. Por ejemplo:

Si un estimador no es la eficiencia, el gráfico de frecuencia vs. valor, habrá una curva relativamente más suave.

Simplemente, el buen estimador tiene una curva estrecha, mientras que el mal estimador tiene una curva grande. Al poner estas dos curvas en un gráfico, la diferencia se vuelve más obvia.

Entre los estimadores insesgados, a menudo existe uno con la varianza más baja, llamado estimador insesgado de varianza mínima ( MVUE ). En algunos casos existe un estimador eficiente insesgado que, además de tener la varianza más baja entre los estimadores insesgados, satisface el límite de Cramér-Rao , que es un límite inferior absoluto de la varianza para las estadísticas de una variable.

Con respecto a estos "mejores estimadores insesgados", véase también el teorema de Cramér-Rao , el teorema de Gauss-Markov , el teorema de Lehmann-Scheffé , el teorema de Rao-Blackwell .

Solicitud

Robustez

Artículo principal: estimador robusto

Más información: regresión robusta

Ver también

• Mejor estimador lineal insesgado (AZUL)
• Estimador invariante
• Filtro de Kalman
• Cadena de Markov Monte Carlo (MCMC)
• Máximo a posteriori (MAP)
• Método de momentos , método generalizado de momentos
• Error cuadrático medio mínimo (MMSE)
• Filtro de partículas
• Criterio de cercanía de pitman
• Sensibilidad y especificidad
• Estimador de contracción
• Procesamiento de la señal
• Testimator
• Filtro de salchicha
• Estadística de buen comportamiento

Notas

1. Mosteller, F .; Tukey, JW (1987) [1968]. "Análisis de datos, incluidas las estadísticas" . Las obras completas de John W. Tukey: filosofía y principios del análisis de datos 1965-1986 . 4 . Prensa CRC. págs. 601–720 [pág. 633]. ISBN 0-534-05101-4- a través de Google Books .
2. Kosorok (2008), sección 3.1, págs. 35–39.
3. Jaynes (2007), p. 172.
4. Dekking, Frederik Michel; Kraaikamp, ​​Cornelis; Lopuhaä, Hendrik Paul; Meester, Ludolf Erwin (2005). "Una introducción moderna a la probabilidad y la estadística" . Springer Texts in Statistics . doi : 10.1007 / 1-84628-168-7 . ISSN 1431-875X . 

Referencias

• Bol'shev, Login Nikolaevich (2001) [1994], "Estimador estadístico" , Enciclopedia de matemáticas , EMS Press.
• Jaynes, ET (2007), Teoría de la probabilidad: la lógica de la ciencia (5 ed.), Cambridge University Press , ISBN 978-0-521-59271-0.
• Kosorok, Michael (2008). Introducción a los procesos empíricos y la inferencia semiparamétrica . Springer Series en Estadística. Springer . doi : 10.1007 / 978-0-387-74978-5 . ISBN 978-0-387-74978-5.
• Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2ª ed.). Springer . ISBN 0-387-98502-6.
• Shao, junio (1998), estadística matemática , Springer , ISBN 0-387-98674-X
• Una introducción moderna a la probabilidad y la estadística: comprender el por qué y el cómo, FM Dekking, C. Kraaikamp, ​​HP Lopuha ̈a, LE Meester, Springer-Verlag, Londres (2005).

enlaces externos

• Fundamentos de la teoría de la estimación