En la comparación de varios procedimientos estadísticos , la eficiencia es una medida de la calidad de un estimador , de un diseño experimental , [1] o de un procedimiento de prueba de hipótesis . [2] Esencialmente, un estimador, experimento o prueba más eficiente necesita menos observaciones que uno menos eficiente para lograr un desempeño dado. Este artículo trata principalmente de la eficiencia de los estimadores.
La eficiencia relativa de dos procedimientos es la proporción de sus eficiencias, aunque a menudo este concepto se utiliza cuando se hace la comparación entre un procedimiento dado y un procedimiento teórico "mejor posible". Las eficiencias y la eficiencia relativa de dos procedimientos dependen teóricamente del tamaño de muestra disponible para el procedimiento dado, pero a menudo es posible utilizar la eficiencia relativa asintótica (definida como el límite de las eficiencias relativas a medida que aumenta el tamaño de la muestra) como principal medida de comparación.
Un estimador eficiente se caracteriza por una pequeña varianza o error cuadrático medio , lo que indica que existe una pequeña desviación entre el valor estimado y el valor "verdadero". [1]
Estimadores
La eficiencia de un estimador insesgado , T , de un parámetro θ se define como [3]
dónde es la información de Fisher de la muestra. Por tanto, e ( T ) es la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite de Cramér-Rao se puede utilizar para demostrar que e ( T ) ≤ 1.
Estimadores eficientes
Un estimador eficiente es un estimador que estima la cantidad de interés de la "mejor manera posible". La noción de "lo mejor posible" se basa en la elección de una función de pérdida particular , la función que cuantifica el grado relativo de indeseabilidad de los errores de estimación de diferentes magnitudes. La elección más común de la función de pérdida es cuadrática , lo que da como resultado el criterio de optimización del error cuadrático medio . [4]
En general, la dispersión de un estimador alrededor del parámetro θ es una medida de la eficiencia y el rendimiento del estimador. Este rendimiento se puede calcular encontrando el error cuadrático medio:
Sea T un estimador del parámetro θ . El error cuadrático medio de T es el valor.
Aquí
Por lo tanto, un estimador T 1 funciona mejor que un estimador T 2 si. [5] 'Para un caso más específico, si T 1 y T' 2 son dos estimadores insesgados para el mismo parámetro θ , entonces la varianza se puede comparar para determinar el desempeño.
T 2 es más eficiente que T 1 si la varianza de T 2 es menor que la varianza de T 1 , es decirpara todos los valores de θ .
Esta relación se puede determinar simplificando el caso más general anterior para el error cuadrático medio. Dado que el valor esperado de un estimador insesgado es igual al valor del parámetro,.
Por lo tanto, como el término deja de ser igual a 0. [5]
Si un estimador insesgado de un parámetro θ alcanzapara todos los valores del parámetro, el estimador se llama eficiente. [3]
De manera equivalente, el estimador logra la igualdad en la desigualdad de Cramér-Rao para todos θ . El límite inferior de Cramér-Rao es un límite inferior de la varianza de un estimador insesgado, que representa lo "mejor" que puede ser un estimador insesgado.
Un estimador eficiente es también el estimador insesgado de varianza mínima (MVUE). Esto se debe a que un estimador eficiente mantiene la igualdad en la desigualdad de Cramér-Rao para todos los valores de los parámetros, lo que significa que alcanza la varianza mínima para todos los parámetros (la definición del MVUE). El estimador MVUE, incluso si existe, no es necesariamente eficiente, porque "mínimo" no significa que la igualdad se mantenga en la desigualdad de Cramér-Rao.
Por lo tanto, no es necesario que exista un estimador eficiente, pero si lo hace, es el MVUE.
Eficiencia de muestra finita
Suponga { P θ | θ ∈ Θ } es un modelo paramétrico y X = ( X 1 ,…, X n ) son los datos muestreados de este modelo. Sea T = T ( X ) un estimador del parámetro θ . Si este estimador es insesgado (es decir, E [ T ] = θ ), entonces la desigualdad de Cramér-Rao establece que la varianza de este estimador está acotada desde abajo:
dónde es la matriz de información de Fisher del modelo en el punto θ . Generalmente, la varianza mide el grado de dispersión de una variable aleatoria alrededor de su media. Así, los estimadores con pequeñas varianzas están más concentrados, estiman los parámetros con mayor precisión. Decimos que el estimador es un estimador eficiente de muestra finita (en la clase de estimadores insesgados) si alcanza el límite inferior en la desigualdad de Cramér-Rao anterior, para todo θ ∈ Θ . Los estimadores eficientes son siempre estimadores insesgados de mínima varianza . Sin embargo, lo contrario es falso: existen problemas de estimación puntual para los cuales el estimador insesgado de media de varianza mínima es ineficiente. [6]
Históricamente, la eficiencia de muestras finitas fue uno de los primeros criterios de optimización. Sin embargo, este criterio tiene algunas limitaciones:
- Los estimadores eficientes de muestras finitas son extremadamente raros. De hecho, se demostró que la estimación eficiente solo es posible en una familia exponencial y solo para los parámetros naturales de esa familia. [ cita requerida ]
- Esta noción de eficiencia a veces se restringe a la clase de estimadores insesgados . (A menudo no lo es. [7] ) Dado que no hay buenas razones teóricas para exigir que los estimadores sean insesgados, esta restricción es inconveniente. De hecho, si utilizamos el error cuadrático medio como criterio de selección, muchos estimadores sesgados superarán ligeramente a los "mejores" no sesgados. Por ejemplo, en las estadísticas multivariadas para la dimensión tres o más, el estimador de media insesgado, la media de la muestra , es inadmisible : independientemente del resultado, su rendimiento es peor que, por ejemplo, el estimador de James-Stein . [ cita requerida ]
- La eficiencia de la muestra finita se basa en la varianza, como criterio según el cual se juzgan los estimadores. Un enfoque más general es utilizar funciones de pérdida distintas de las cuadráticas, en cuyo caso ya no se puede formular la eficiencia de la muestra finita. [ cita requerida ] [ dudoso ]
A modo de ejemplo, entre los modelos encontrados en la práctica, existen estimadores eficientes para: la media μ de la distribución normal (pero no la varianza σ 2 ), el parámetro λ de la distribución de Poisson , la probabilidad p en la distribución binomial o multinomial .
Considere el modelo de una distribución normal con media desconocida pero varianza conocida: { P θ = N ( θ , σ 2 ) | θ ∈ R }. Los datos constan de n observaciones independientes e idénticamente distribuidas de este modelo: X = ( x 1 ,…, x n ) . Estimamos el parámetro θ utilizando la media muestral de todas las observaciones:
Este estimador tiene media θ y varianza de σ 2 / n , que es igual al recíproco de la información de Fisher de la muestra. Por tanto, la media muestral es un estimador eficiente de muestra finita para la media de la distribución normal.
Eficiencia asintótica
Algunos estimadores pueden alcanzar la eficiencia de forma asintótica y, por lo tanto, se denominan estimadores asintóticamente eficientes . Este puede ser el caso de algunos estimadores de máxima verosimilitud o de cualquier estimador que alcance la igualdad de la cota Cramér-Rao de forma asintótica.
Ejemplo: mediana
Considere una muestra de tamaño extraído de una distribución normal de la mediay varianza unitaria , es decir,
La media muestral ,, de la muestra , definido como
La varianza de la media, 1 / N (el cuadrado del error estándar ) es igual al recíproco de la información de Fisher de la muestra y, por lo tanto, por la desigualdad de Cramér-Rao , la media de la muestra es eficiente en el sentido de que su eficiencia es la unidad (100%).
Ahora considere la mediana de la muestra ,. Este es un estimador insesgado y consistente para. Para grandela mediana de la muestra se distribuye aproximadamente normalmente con la media y varianza [8]
La eficiencia de la mediana para grandes es así
En otras palabras, la varianza relativa de la mediana será , o 57% mayor que la varianza de la media - el error estándar de la mediana será un 25% mayor que el de la media. [9]
Tenga en cuenta que esta es la eficiencia asintótica , es decir, la eficiencia en el límite como tamaño de muestratiende al infinito. Para valores finitos dela eficiencia es mayor que esto (por ejemplo, un tamaño de muestra de 3 da una eficiencia de aproximadamente 74%). [ cita requerida ]
Por tanto, la media de la muestra es más eficiente que la mediana de la muestra en este ejemplo. Sin embargo, puede haber medidas mediante las cuales la mediana se desempeñe mejor. Por ejemplo, la mediana es mucho más robusta a los valores atípicos , de modo que si el modelo gaussiano es cuestionable o aproximado, puede haber ventajas al usar la mediana (consulte Estadísticas robustas ).
Estimadores dominantes
Si y son estimadores del parámetro , luego se dice que domina Si:
- su error cuadrático medio (MSE) es menor para al menos algún valor de
- el MSE no excede al de para cualquier valor de θ.
Formalmente, domina Si
se mantiene para todos , con una estricta desigualdad en alguna parte.
Eficiencia relativa
La eficiencia relativa de dos estimadores se define como [10]
Aunque es en general una función de , en muchos casos la dependencia desaparece; si esto es así, ser mayor que uno indicaría que es preferible, sea cual sea el verdadero valor de .
Una alternativa a la eficiencia relativa para comparar estimadores es el criterio de proximidad de Pitman . Esto reemplaza la comparación de errores cuadrados medios con la comparación de la frecuencia con la que un estimador produce estimaciones más cercanas al valor real que otro estimador.
Si y son estimadores del parámetro , luego se dice que domina Si:
- su error cuadrático medio (MSE) es menor para al menos algún valor de
- el MSE no excede al de para cualquier valor de θ.
Formalmente, domina Si
se mantiene para todos , con una estricta desigualdad en alguna parte.
Estimadores de la media de variables uid
Al estimar la media de variables distribuidas idénticamente no correlacionadas, podemos aprovechar el hecho de que la varianza de la suma es la suma de las varianzas . En este caso, la eficiencia se puede definir como el cuadrado del coeficiente de variación , es decir, [11]
Por tanto, la eficiencia relativa de dos de estos estimadores puede interpretarse como el tamaño de muestra relativo de uno necesario para lograr la certeza del otro. Prueba:
Ahora porque tenemos , por lo que la eficiencia relativa expresa el tamaño de muestra relativo del primer estimador necesario para igualar la varianza del segundo.
Robustez
La eficiencia de un estimador puede cambiar significativamente si cambia la distribución, a menudo disminuyendo. Ésta es una de las motivaciones de las estadísticas robustas : un estimador como la media muestral es un estimador eficiente de la media poblacional de una distribución normal, por ejemplo, pero puede ser un estimador ineficaz de una distribución mixta de dos distribuciones normales con la misma distribución. varianzas medias y diferentes. Por ejemplo, si una distribución es una combinación de 98% N ( μ, σ ) y 2% N ( μ, 10 σ ), la presencia de valores extremos de la última distribución (a menudo "valores atípicos contaminantes") reduce significativamente la eficiencia de la media muestral como estimador de μ. Por el contrario, la media recortada es menos eficiente para una distribución normal, pero es más robusta (menos afectada) por cambios en la distribución y, por lo tanto, puede ser más eficiente para una distribución mixta. De manera similar, la forma de una distribución, como la asimetría o las colas pesadas, puede reducir significativamente la eficiencia de los estimadores que asumen una distribución simétrica o colas delgadas.
Usos de estimadores ineficientes
Si bien la eficiencia es una cualidad deseable de un estimador, debe sopesarse con otras consideraciones, y un estimador que sea eficiente para ciertas distribuciones puede ser ineficaz para otras distribuciones. Más significativamente, los estimadores que son eficientes para datos limpios de una distribución simple, como la distribución normal (que es simétrica, unimodal y tiene colas delgadas) pueden no ser robustos a la contaminación por valores atípicos y pueden ser ineficientes para distribuciones más complicadas. En las estadísticas sólidas , se da más importancia a la solidez y aplicabilidad a una amplia variedad de distribuciones, en lugar de la eficiencia en una sola distribución. Los estimadores M son una clase general de soluciones motivadas por estas preocupaciones, que producen tanto robustez como alta eficiencia relativa, aunque posiblemente menor eficiencia que los estimadores tradicionales en algunos casos. Sin embargo, estos son potencialmente muy complicados computacionalmente.
Una alternativa más tradicional son los estimadores L , que son estadísticas muy simples que son fáciles de calcular e interpretar, en muchos casos robustos y, a menudo, lo suficientemente eficientes para las estimaciones iniciales. Consulte las aplicaciones de los estimadores L para obtener más información.
Eficiencia en estadística
La eficiencia en las estadísticas es importante porque permiten comparar el desempeño de varios estimadores. Aunque generalmente se prefiere un estimador insesgado sobre uno sesgado, un estimador sesgado más eficiente a veces puede ser más valioso que un estimador insesgado menos eficiente. Por ejemplo, esto puede ocurrir cuando los valores del estimador sesgado se juntan alrededor de un número más cercano al valor real. Por lo tanto, el desempeño del estimador se puede predecir fácilmente comparando sus errores cuadráticos medios o sus varianzas.
Pruebas de hipótesis
Para comparar pruebas de significancia , se puede definir una medida significativa de eficiencia basada en el tamaño de muestra requerido para que la prueba alcance una determinada capacidad de tarea . [12]
La eficiencia de Pitman [13] y la eficiencia de Bahadur (o eficiencia de Hodges-Lehmann ) [14] [15] se relacionan con la comparación del rendimiento de los procedimientos de prueba de hipótesis estadísticas . La Enciclopedia de Matemáticas ofrece una breve exposición de estos tres criterios.
Diseño experimental
Para los diseños experimentales, la eficiencia se relaciona con la capacidad de un diseño para lograr el objetivo del estudio con un gasto mínimo de recursos como tiempo y dinero. En casos simples, la eficiencia relativa de los diseños se puede expresar como la proporción de los tamaños de muestra necesarios para lograr un objetivo determinado. [dieciséis]
Ver también
- Estimador de Bayes
- Estimador consistente
- Estimador de Hodges
- Instrumentos óptimos
Notas
- ↑ a b Everitt , 2002 , p. 128. error sfn: múltiples objetivos (2 ×): CITEREFEveritt2002 ( ayuda )
- ^ Nikulin, MS (2001) [1994], "Eficiencia de un procedimiento estadístico" , Enciclopedia de matemáticas , EMS Press
- ^ a b Fisher, R (1921). "Sobre los fundamentos matemáticos de la estadística teórica". Philosophical Transactions de la Royal Society de Londres Una . 222 : 309–368. JSTOR 91208 .
- ^ Everitt, BS (2002). El Diccionario de Estadística de Cambridge (2ª ed.). Nueva York, Cambridge University Press. pag. 128 . ISBN 0-521-81099-X.
- ^ a b Dekking, FM (2007). Una introducción moderna a la probabilidad y la estadística: comprensión del por qué y el cómo . Saltador. pp. 303 -305. ISBN 978-1852338961.
- ^ Romano, Joseph P .; Siegel, Andrew F. (1986). Contraejemplos en probabilidad y estadística . Chapman y Hall. pag. 194.
- ^ DeGroot; Schervish (2002). Probabilidad y estadística (3ª ed.). págs. 440–441.
- ^ Williams, D. (2001). Sopesando las probabilidades . Prensa de la Universidad de Cambridge. pag. 165 . ISBN 052100618X.
- ^ Maindonald, John; Braun, W. John (6 de mayo de 2010). Análisis de datos y gráficos con R: un enfoque basado en ejemplos . Prensa de la Universidad de Cambridge. pag. 104. ISBN 978-1-139-48667-5.
- ^ Wackerly, Dennis D .; Mendenhall, William; Scheaffer, Richard L. (2008). Estadística matemática con aplicaciones (Séptima ed.). Belmont, CA: Thomson Brooks / Cole. pag. 445 . ISBN 9780495110811. OCLC 183886598 .
- ^ Grubbs, Frank (1965). Medidas estadísticas de precisión para fusileros e ingenieros de misiles . págs. 26-27.
- ^ Everitt 2002 , p. 321. Error sfn: múltiples objetivos (2 ×): CITEREFEveritt2002 ( ayuda )
- ^ Nikitin, Ya.Yu. (2001) [1994], "Eficiencia, asintótica" , Enciclopedia de Matemáticas , EMS Press
- ^ Arcones MA "eficiencia Bahadur de la prueba de razón de verosimilitud" preprint
- ^ Canay IA y Otsu, T. "Optimidad de Hodges-Lehmann para probar modelos de condición de momento"
- ^ Dodge, Y. (2006). Diccionario de términos estadísticos de Oxford . Prensa de la Universidad de Oxford. ISBN 0-19-920613-9.
Referencias
- Everitt, Brian S. (2002). El Diccionario de Estadística de Cambridge . Prensa de la Universidad de Cambridge. ISBN 0-521-81099-X.
- Lehmann, Erich L. (1998). Elementos de la teoría de muestras grandes . Nueva York: Springer Verlag. ISBN 978-0-387-98595-4.
Otras lecturas
- Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2ª ed.). Saltador. ISBN 0-387-98502-6.
- Pfanzagl, Johann ; con la ayuda de R. Hamböker (1994). Teoría estadística paramétrica . Berlín: Walter de Gruyter. ISBN 3-11-013863-8. Señor 1291393 .