En probabilidad bayesiana , el prior de Jeffreys , que lleva el nombre de Sir Harold Jeffreys , es una distribución a priori no informativa (objetiva) para un espacio de parámetros; su función de densidad es proporcional a la raíz cuadrada del determinante de la matriz de información de Fisher :
Tiene la característica clave de que es invariante bajo un cambio de coordenadas para el vector de parámetros. Es decir, la probabilidad relativa asignada a un volumen de un espacio de probabilidad utilizando un antecedente de Jeffreys será la misma independientemente de la parametrización utilizada para definir el antecedente de Jeffreys. Esto lo hace de especial interés para su uso con parámetros de escala . [1]
Reparametrización
Caso de un parámetro
Si y son dos posibles parametrizaciones de un modelo estadístico, y es una función continuamente diferenciable de, decimos que el anterior es "invariante" en una reparametrización si
es decir, si los priores y están relacionados por el teorema habitual del cambio de variables .
Dado que la información de Fisher se transforma bajo la reparametrización como
definiendo los priores como y nos da la "invariancia" deseada. [2]
Caso de varios parámetros
Análogamente al caso de un parámetro, dejemos y ser dos posibles parametrizaciones de un modelo estadístico, con una función continuamente diferenciable de . Llamamos al prior "invariante" en reparametrización si
dónde es la matriz jacobiana con entradas
Dado que la matriz de información de Fisher se transforma bajo reparametrización como
tenemos eso
y definiendo así los priores como y nos da la "invariancia" deseada.
Atributos
Desde un punto de vista práctico y matemático, una razón válida para utilizar este a priori no informativo en lugar de otros, como los obtenidos a través de un límite en familias conjugadas de distribuciones, es que la probabilidad relativa de un volumen del espacio de probabilidad no depende de el conjunto de variables de parámetro que se elige para describir el espacio de parámetros.
A veces, el antecedente de Jeffreys no se puede normalizar y, por tanto, es un antecedente inadecuado . Por ejemplo, el antecedente de Jeffreys para la media de la distribución es uniforme en toda la línea real en el caso de una distribución gaussiana de varianza conocida.
El uso del antecedente de Jeffreys viola la versión fuerte del principio de probabilidad , que es aceptado por muchos, pero no por todos, los estadísticos. Cuando se usa el Jeffrey anterior, las inferencias sobre Dependen no sólo de la probabilidad de los datos observados en función de , sino también en el universo de todos los resultados experimentales posibles, según lo determinado por el diseño experimental, porque la información de Fisher se calcula a partir de una expectativa sobre el universo elegido. En consecuencia, el antecedente de Jeffreys y, por tanto, las inferencias que se hacen con él, pueden ser diferentes para dos experimentos parámetro incluso cuando las funciones de verosimilitud para los dos experimentos son las mismas, una violación del principio de verosimilitud fuerte.
Longitud mínima de la descripción
En el enfoque estadístico de longitud mínima de descripción, el objetivo es describir los datos de la forma más compacta posible, donde la longitud de una descripción se mide en bits del código utilizado. Para una familia de distribuciones paramétricas, se compara un código con el mejor código en función de una de las distribuciones de la familia paramétrica. El resultado principal es que en familias exponenciales , asintóticamente para tamaños de muestra grandes, el código basado en la distribución que es una mezcla de los elementos de la familia exponencial con el anterior de Jeffreys es óptimo. Este resultado es válido si se restringe el conjunto de parámetros a un subconjunto compacto en el interior del espacio de parámetros completo [ cita requerida ] . Si se usa el parámetro completo, se debe usar una versión modificada del resultado.
Ejemplos de
El antecedente de Jeffreys para un parámetro (o un conjunto de parámetros) depende del modelo estadístico.
Distribución gaussiana con parámetro medio
Para la distribución gaussiana del valor real
con fijo, el Jeffrey antes de la media es
Es decir, el Jeffrey antes de no depende de ; es la distribución uniforme no normalizada en la línea real, la distribución que es 1 (o alguna otra constante fija) para todos los puntos. Este es un previo impropio , y es, hasta la elección de constante, la distribución única de traducción- invariante en los reales (la medida de Haar con respecto a la suma de reales), correspondiente a la media que es una medida de ubicación e invariancia de traducción correspondiente a ninguna información sobre la ubicación.
Distribución gaussiana con parámetro de desviación estándar
Para la distribución gaussiana del valor real
con fijo, el Jeffreys antes de la desviación estándar es
De manera equivalente, el Jeffrey antes de es la distribución uniforme no normalizada en la línea real y, por lo tanto, esta distribución también se conoce como logarítmico a priori . Del mismo modo, el Jeffrey antes detambién es uniforme. Es la única (hasta un múltiplo) anterior (en los reales positivos) que es invariante de escala (la medida de Haar con respecto a la multiplicación de reales positivos), correspondiente a la desviación estándar que es una medida de escala y la invariancia de escala correspondiente a ninguna información sobre la escala. Al igual que con la distribución uniforme de los reales, es un a priori impropio .
Distribución de Poisson con parámetro de tasa
Para la distribución de Poisson del entero no negativo,
el Jeffreys anterior para el parámetro de tasa es
De manera equivalente, el Jeffrey antes de es la distribución uniforme no normalizada en la línea real no negativa.
Juicio de Bernoulli
Para una moneda que tiene "cara" con probabilidad y es "colas" con probabilidad , para una dada la probabilidad es . El Jeffreys antes del parámetro es
Esta es la distribución de arcoseno y es una distribución beta con. Además, si luego
Es decir, el Jeffrey antes de es uniforme en el intervalo . Equivalentemente, es uniforme en todo el círculo .
Dado de N lados con probabilidades sesgadas
Del mismo modo, para un lanzamiento de un -Morre con probabilidades de resultado , cada uno no negativo y satisfactorio , el Jeffrey antes de es la distribución de Dirichlet con todos los parámetros (alfa) establecidos en la mitad. Esto equivale a utilizar un pseudocontento de la mitad para cada resultado posible.
De manera equivalente, si escribimos para cada , luego los Jeffreys antes de es uniforme en la esfera unitaria ( N - 1) -dimensional ( es decir , es uniforme en la superficie de una bola unitaria N -dimensional ).
Referencias
- ^ Jaynes, ET (1968) "Probabilidades previas", IEEE Trans. sobre ciencia de sistemas y cibernética , SSC-4 , 227 pdf .
- ^ Christian P. Robert; Nicolas Chopin; Judith Rousseau (2009). "Teoría de la probabilidad de Harold Jeffreys revisada" . Ciencia estadística . 24 (2). doi : 10.1214 / 09-STS284 .
Otras lecturas
- Jeffreys, H. (1946). "Una forma invariante para la probabilidad previa en problemas de estimación" . Actas de la Royal Society of London. Serie A, Ciencias Físicas y Matemáticas . 186 (1007): 453–461. doi : 10.1098 / rspa.1946.0056 . JSTOR 97883 . PMID 20998741 .
- Jeffreys, H. (1939). Teoría de la probabilidad . Prensa de la Universidad de Oxford.