La paradoja de Lindley es una situación contraintuitiva en estadística en la que los enfoques bayesiano y frecuentista de un problema de prueba de hipótesis dan resultados diferentes para ciertas elecciones de la distribución previa . El problema del desacuerdo entre los dos enfoques se discutió en el libro de texto de 1939 de Harold Jeffreys ; [1] se conoció como la paradoja de Lindley después de que Dennis Lindley calificara el desacuerdo como una paradoja en un artículo de 1957. [2]
Aunque se lo conoce como una paradoja , los resultados diferentes de los enfoques bayesiano y frecuentista pueden explicarse como su uso para responder a preguntas fundamentalmente diferentes, en lugar de un desacuerdo real entre los dos métodos.
Sin embargo, para una gran clase de antecedentes, las diferencias entre el enfoque frecuentista y el bayesiano son causadas por mantener fijo el nivel de significancia: como incluso Lindley reconoció, "la teoría no justifica la práctica de mantener fijo el nivel de significancia" e incluso "algunos Los cálculos del profesor Pearson en la discusión de ese documento enfatizaron cómo el nivel de significancia tendría que cambiar con el tamaño de la muestra, si las pérdidas y las probabilidades previas se mantuvieran fijas ''. [2] De hecho, si el valor crítico aumenta con el tamaño de la muestra adecuadamente rápido, entonces el desacuerdo entre los enfoques frecuentista y bayesiano se vuelve insignificante a medida que aumenta el tamaño de la muestra. [3]
Descripción de la paradoja
El resultado de algún experimento tiene dos posibles explicaciones, hipótesis y , y alguna distribución previa que representa la incertidumbre sobre qué hipótesis es más precisa antes de tener en cuenta .
La paradoja de Lindley ocurre cuando
- El resultado es "significativo" por una prueba frecuentista de , indicando evidencia suficiente para rechazar , digamos, al nivel del 5%, y
- La probabilidad posterior de dado es alto, lo que indica una fuerte evidencia de que está más de acuerdo con que .
Estos resultados pueden ocurrir al mismo tiempo cuando es muy específico, más difuso, y la distribución previa no favorece fuertemente a uno u otro, como se ve a continuación.
Ejemplo numérico
El siguiente ejemplo numérico ilustra la paradoja de Lindley. En una determinada ciudad han nacido 49.581 niños y 48.870 niñas durante un período de tiempo determinado. La proporción observadade nacimientos de varones es, por tanto, 49.581 / 98.451 ≈ 0,5036. Suponemos que la fracción de nacimientos de varones es una variable binomial con parámetro. Estamos interesados en probar sies 0,5 o algún otro valor. Es decir, nuestra hipótesis nula es y la alternativa es .
Enfoque frecuentista
El enfoque frecuentista de las pruebas es calcular un valor p , la probabilidad de observar una fracción de niños al menos tan grande como asumiendo es verdad. Debido a que el número de nacimientos es muy grande, podemos usar una aproximación normal para la fracción de nacimientos de varones, con y , computar
Nos hubiera sorprendido igualmente si hubiéramos visto 49.581 nacimientos de mujeres, es decir , por lo que un frecuentista normalmente realizaría una prueba de dos caras , para la cual el valor p sería. En ambos casos, el valor p es menor que el nivel de significancia, α, del 5%, por lo que el enfoque frecuentista rechaza ya que no está de acuerdo con los datos observados.
Enfoque bayesiano
Suponiendo que no hay razón para favorecer una hipótesis sobre la otra, el enfoque bayesiano sería asignar probabilidades previas y una distribución uniforme a debajo , y luego calcular la probabilidad posterior de usando el teorema de Bayes ,
Después de observar chicos fuera de nacimientos, podemos calcular la probabilidad posterior de cada hipótesis utilizando la función de masa de probabilidad para una variable binomial,
dónde es la función Beta .
A partir de estos valores, encontramos la probabilidad posterior de , que favorece fuertemente encima .
Los dos enfoques, el bayesiano y el frecuentista, parecen estar en conflicto, y esta es la "paradoja".
Conciliar los enfoques bayesiano y frecuentista
Sin embargo, al menos en el ejemplo de Lindley, si tomamos una secuencia de niveles de significancia, α n , tal que α n = n - r con r > 1/2 , entonces la probabilidad posterior del nulo converge a 0, lo cual es consistente con un rechazo de lo nulo. [3] En este ejemplo numérico, tomar r = 1/2 , da como resultado un nivel de significancia de 0.00318, por lo que el frecuentista no rechazaría la hipótesis nula, que está más o menos de acuerdo con el enfoque bayesiano.
Si usamos un a priori no informativo y probamos una hipótesis más similar a la del enfoque frecuentista, la paradoja desaparece.
Por ejemplo, si calculamos la distribución posterior , utilizando una distribución previa uniforme en (es decir ), encontramos
Si usamos esto para verificar la probabilidad de que un recién nacido tenga más probabilidades de ser un niño que una niña, es decir , encontramos
En otras palabras, es muy probable que la proporción de nacimientos de varones sea superior a 0,5.
Ninguno de los análisis da una estimación del tamaño del efecto , directamente, pero ambos podrían usarse para determinar, por ejemplo, si es probable que la fracción de nacimientos de niños esté por encima de algún umbral en particular.
La falta de una paradoja real
El aparente desacuerdo entre los dos enfoques se debe a una combinación de factores. Primero, el enfoque frecuentista anterior prueba sin referencia a . El enfoque bayesiano evalúa como alternativa a , y encuentra que el primero está más de acuerdo con las observaciones. Esto se debe a que la última hipótesis es mucho más difusa, ya que puede estar en cualquier lugar , lo que hace que tenga una probabilidad posterior muy baja. Para entender por qué, es útil considerar las dos hipótesis como generadoras de las observaciones:
- Debajo , nosotros elegimos y pregunte qué tan probable es ver 49.581 niños en 98.451 nacimientos.
- Debajo , nosotros elegimos aleatoriamente desde cualquier lugar dentro de 0 a 1, y haga la misma pregunta.
La mayoría de los valores posibles para debajo están muy mal respaldados por las observaciones. En esencia, el aparente desacuerdo entre los métodos no es un desacuerdo en absoluto, sino más bien dos declaraciones diferentes sobre cómo las hipótesis se relacionan con los datos:
- El frecuentista encuentra que es una mala explicación para la observación.
- El bayesiano descubre que es una explicación mucho mejor para la observación que .
La proporción del sexo de los recién nacidos es improbablemente 50/50 hombre / mujer, según la prueba frecuentista. Sin embargo, 50/50 es una mejor aproximación que la mayoría, pero no todas , las demás proporciones. La hipótesis se habría ajustado a la observación mucho mejor que casi todas las demás proporciones, incluidas .
Por ejemplo, esta elección de hipótesis y probabilidades previas implica el enunciado: "si > 0,49 y <0.51, entonces la probabilidad previa de siendo exactamente 0.5 es 0.50 / 0.51 98% ". Dada una preferencia tan fuerte por , es fácil ver por qué el enfoque bayesiano favorece en la cara de , aunque el valor observado de mentiras lejos de 0.5. La desviación de más de 2 sigma de se considera significativo en el enfoque frecuentista, pero su significado es anulado por el prior en el enfoque bayesiano.
Mirándolo de otra manera, podemos ver que la distribución anterior es esencialmente plana con una función delta en . Claramente esto es dudoso. De hecho, si imaginara los números reales como continuos, entonces sería más lógico suponer que sería imposible que cualquier número dado fuera exactamente el valor del parámetro, es decir, deberíamos asumir P (theta = 0.5) = 0.
Una distribución más realista para en la hipótesis alternativa produce un resultado menos sorprendente para la parte posterior de . Por ejemplo, si reemplazamos con , es decir, la estimación de máxima verosimilitud para, la probabilidad posterior de sería solo 0.07 en comparación con 0.93 para (Por supuesto, no se puede utilizar el MLE como parte de una distribución previa).
Discusión reciente
La paradoja sigue siendo una fuente de discusión activa. [3] [4] [5] [6]
Ver también
Notas
- ^ Jeffreys, Harold (1939). Teoría de la probabilidad . Prensa de la Universidad de Oxford . Señor 0000924 .
- ^ a b Lindley, DV (1957). "Una paradoja estadística". Biometrika . 44 (1-2): 187-192. doi : 10.1093 / biomet / 44.1-2.187 . JSTOR 2333251 .
- ^ a b c Naamán, Michael (1 de enero de 2016). "Prueba de hipótesis casi segura y una resolución de la paradoja de Jeffreys-Lindley" . Revista Electrónica de Estadística . 10 (1): 1526-1550. doi : 10.1214 / 16-EJS1146 . ISSN 1935-7524 .
- ^ Spanos, Aris (2013). "¿Quién debería tener miedo de la paradoja de Jeffreys-Lindley?". Filosofía de la ciencia . 80.1 : 73–93. doi : 10.1086 / 668875 .
- ^ Sprenger, enero (2013). "Prueba de una hipótesis nula precisa: el caso de la paradoja de Lindley" (PDF) . Filosofía de la ciencia . 80 : 733–744. doi : 10.1086 / 673730 . hdl : 2318/1657960 .
- ^ Robert, Christian P. (2014). "Sobre la paradoja de Jeffreys-Lindley". Filosofía de la ciencia . 81.2 : 216–232. arXiv : 1303.5973 . doi : 10.1086 / 675729 .
Otras lecturas
- Shafer, Glenn (1982). "Paradoja de Lindley". Revista de la Asociación Estadounidense de Estadística . 77 (378): 325–334. doi : 10.2307 / 2287244 . JSTOR 2287244 . Señor 0664677 .