Se dice que un estimador insesgado que alcanza este límite inferior es (completamente) eficiente . Esta solución logra el error cuadrático medio más bajo posible entre todos los métodos insesgados y, por lo tanto, es el estimador de varianza mínima insesgado (MVU). Sin embargo, en algunos casos, no existe una técnica imparcial que logre el límite. Esto puede ocurrir si para cualquier estimador insesgado, existe otro con una varianza estrictamente menor, o si existe un estimador MVU, pero su varianza es estrictamente mayor que la inversa de la información de Fisher.
La cota de Cramér-Rao también se puede utilizar para acotar la varianza de los estimadores sesgados de un sesgo dado. En algunos casos, un enfoque sesgado puede resultar en una varianza y un error cuadrático medio que están por debajo del límite inferior insesgado de Cramér-Rao; ver sesgo del estimador .
Declaración
El límite de Cramér-Rao se establece en esta sección para varios casos cada vez más generales, comenzando con el caso en el que el parámetro es un escalar y su estimador es insesgado . Todas las versiones del límite requieren ciertas condiciones de regularidad, que son válidas para la mayoría de las distribuciones con buen comportamiento. Estas condiciones se enumeran más adelante en esta sección .
Caso escalar imparcial
Suponer es un parámetro determinista desconocido que debe estimarse a partir de observaciones independientes (mediciones) de , cada uno de una distribución de acuerdo con alguna función de densidad de probabilidad. La varianza de cualquier imparcial estimador de luego está acotado por el recíproco de la información de Fisher:
donde la información de Fisher es definido por
y es el logaritmo natural de la función de verosimilitud para una sola muestra y denota el valor esperado con respecto a la densidad de . Sies dos veces diferenciable y se cumplen determinadas condiciones de regularidad, la información de Fisher también se puede definir de la siguiente manera: [8]
La eficiencia de un estimador insesgadomide qué tan cerca llega la varianza de este estimador a este límite inferior; La eficiencia del estimador se define como
o la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite inferior de Cramér-Rao da
.
Caso escalar general
Se puede obtener una forma más general del límite considerando un estimador sesgado , cuya expectativa no es pero una función de este parámetro, digamos, . Por eso no es generalmente igual a 0. En este caso, el límite está dado por
dónde es la derivada de (por ), y es la información de Fisher definida anteriormente.
Vinculado a la varianza de estimadores sesgados
Además de ser un límite en los estimadores de funciones del parámetro, este enfoque se puede utilizar para derivar un límite en la varianza de los estimadores sesgados con un sesgo dado, como sigue. Considere un estimador con sesgo , y deja . Según el resultado anterior, cualquier estimador insesgado cuya expectativa sea tiene una varianza mayor o igual a . Por tanto, cualquier estimador cuyo sesgo está dado por una función satisface
La versión no sesgada del límite es un caso especial de este resultado, con .
Es trivial tener una pequeña varianza: un "estimador" que es constante tiene una varianza de cero. Pero de la ecuación anterior encontramos que el error cuadrático medio de un estimador sesgado está acotado por
utilizando la descomposición estándar del MSE. Tenga en cuenta, sin embargo, que si este límite puede ser menor que el límite insesgado de Cramér-Rao . Por ejemplo, en el ejemplo de estimación de la varianza a continuación ,.
Caso multivariado
Extendiendo el enlace de Cramér – Rao a múltiples parámetros, defina un vector de columna de parámetro
Dejar ser un estimador de cualquier función vectorial de parámetros, y denotar su vector de expectativa por . El límite de Cramér-Rao establece que la matriz de covarianza de satisface
dónde
La desigualdad de la matriz se entiende que significa que la matriz es positivo semidefinito , y
Si es un estimador insesgado de (es decir, ), entonces el límite Cramér-Rao se reduce a
Si es inconveniente calcular el inverso de la matriz de información de Fisher , entonces se puede simplemente tomar el recíproco del elemento diagonal correspondiente para encontrar un límite inferior (posiblemente suelto). [9]
Condiciones de regularidad
El límite se basa en dos condiciones de regularidad débil en la función de densidad de probabilidad ,y el estimador :
La información de Fisher siempre está definida; de manera equivalente, para todos tal que ,
existe y es finito.
Las operaciones de integración con respecto a y diferenciación con respecto a se puede intercambiar con la expectativa de ; es decir,
siempre que el lado derecho sea finito.
Esta condición a menudo se puede confirmar utilizando el hecho de que la integración y la diferenciación se pueden intercambiar cuando se cumple cualquiera de los siguientes casos:
La función tiene apoyo acotado en , y los límites no dependen de ;
La función tiene soporte infinito, es continuamente diferenciable y la integral converge uniformemente para todos.
Prueba de un solo parámetro
La siguiente es una prueba del caso escalar general del límite de Cramér-Rao descrito anteriormente . Asumir que es un estimador con expectativa (basado en las observaciones ), es decir, que . El objetivo es demostrar que, para todos,
Dejar ser una variable aleatoria con función de densidad de probabilidad. Aquíes una estadística , que se utiliza como estimador de. Definircomo la partitura :
donde la regla de la cadena se usa en la igualdad final anterior. Entonces la expectativa de, escrito , es cero. Esto es porque:
donde la derivada integral y parcial se han intercambiado (justificado por la segunda condición de regularidad).
Si consideramos la covarianza de y , tenemos , porque . Ampliando esta expresión tenemos
nuevamente porque las operaciones de integración y diferenciación conmutan (segunda condición).
La desigualdad de Cauchy-Schwarz muestra que
por lo tanto
lo que prueba la proposición.
Ejemplos de
Distribución normal multivariante
Para el caso de una distribución normal d -variable
la matriz de información de Fisher tiene elementos [10]
donde "tr" es el rastro .
Por ejemplo, deja ser una muestra de observaciones independientes con media desconocida y varianza conocida .
Entonces la información de Fisher es un escalar dado por
por lo que el límite Cramér-Rao es
Varianza normal con media conocida
Suponga que X es una variable aleatoria distribuida normalmente con media conocida y varianza desconocida . Considere la siguiente estadística:
Entonces T es imparcial para, como . ¿Cuál es la varianza de T ?
(la segunda igualdad se deriva directamente de la definición de varianza). El primer término es el cuarto momento sobre la media y tiene valor; el segundo es el cuadrado de la varianza, o. Por lo tanto
Ahora bien, ¿cuál es la información de Fisher en la muestra? Recuerda que la partitura Se define como
dónde es la función de verosimilitud . Así, en este caso,
donde la segunda igualdad es de cálculo elemental. Por lo tanto, la información en una sola observación es simplemente menos la expectativa de la derivada de, o
Así, la información en una muestra de observaciones independientes es solo veces esto, o
El límite de Cramer-Rao establece que
En este caso, la desigualdad se satura (se logra la igualdad), lo que demuestra que el estimador es eficiente .
Sin embargo, podemos lograr un error cuadrático medio más bajo utilizando un estimador sesgado. El estimador
obviamente tiene una varianza menor, que de hecho es
Su sesgo es
por lo que su error cuadrático medio es
que es claramente menor que el límite de Cramér-Rao encontrado arriba.
Cuando no se conoce la media, la estimación del error cuadrático medio mínimo de la varianza de una muestra de la distribución gaussiana se obtiene dividiendo por , en vez de o .
Ver también
Con destino a Chapman-Robbins
La desigualdad de Kullback
Desigualdad de Brascamp-Lieb
Referencias y notas
^ Cramér, Harald (1946). Métodos matemáticos de estadística . Princeton, Nueva Jersey: Universidad de Princeton. Prensa. ISBN 0-691-08004-6. OCLC 185436716 .
^Rao, Calyampudi Radakrishna (1945). "Información y precisión alcanzable en la estimación de parámetros estadísticos". Boletín de la Sociedad Matemática de Calcuta . 37 : 81–89. Señor 0015748 .
^Rao, Calyampudi Radakrishna (1994). S. Das Gupta (ed.). Artículos seleccionados de CR Rao . Nueva York: Wiley. ISBN 978-0-470-22091-7. OCLC 174244259 .
^Fréchet, Maurice (1943). "Sur l'extension de certaines évaluations statistiques au cas de petits échantillons". Rev. Inst. En t. Estadista . 11 : 182-205.
^Darmois, Georges (1945). "Sur les limites de la dispersion de certaines estimations". Rev. Int. Inst. Estadista . 13 : 9-15.
^Aitken, AC; Silverstone, H. (1942). "Sobre la estimación de parámetros estadísticos". Actas de la Royal Society of Edinburgh . 61 (2): 186-194. doi : 10.1017 / s008045410000618x .
^Shenton, LR (1970). "La denominada desigualdad Cramer-Rao". El estadístico estadounidense . 24 (2): 36. JSTOR 2681931 .
^Suba Rao. "Conferencias sobre inferencia estadística" (PDF) .
^ Para el caso bayesiano, ver eqn. (11) de Bobrovsky; Mayer-Wolf; Zakai (1987). "Algunas clases de límites globales Cramer-Rao". Ana. Stat . 15 (4): 1421–38.
^Kay, SM (1993). Fundamentos del procesamiento estadístico de señales: teoría de la estimación . Prentice Hall. pag. 47. ISBN 0-13-042268-1.
Otras lecturas
Amemiya, Takeshi (1985). Econometría avanzada . Cambridge: Prensa de la Universidad de Harvard. pp. 14 -17. ISBN 0-674-00560-0.
Bos, Adriaan van den (2007). Estimación de parámetros para científicos e ingenieros . Hoboken: John Wiley & Sons. págs. 45–98. ISBN 0-470-14781-4.
Kay, Steven M. (1993). Fundamentos del procesamiento estadístico de señales, Volumen I: Teoría de la estimación . Prentice Hall. ISBN 0-13-345711-7.. Capítulo 3.
Shao, junio (1998). Estadística matemática . Nueva York: Springer. ISBN 0-387-98674-X.. Sección 3.1.3.
enlaces externos
FandPLimitTool es un software basado en GUI para calcular la información de Fisher y Cramer-Rao Lower Bound con aplicación a microscopía de una sola molécula.