El valor p medio armónico [1] [2] [3] (HMP) es una técnica estadística para abordar el problema de las comparaciones múltiples que controla la tasa de error familiar en sentido estricto . [2] Mejora el poder de la corrección de Bonferroni realizando pruebas combinadas, es decir, probando si los grupos de valores p son estadísticamente significativos, como el método de Fisher . [4] Sin embargo, evita la suposición restrictiva de que los valores p son independientes, a diferencia del método de Fisher. [2] [3] En consecuencia, controla la tasa de falsos positivos cuando las pruebas son dependientes, a expensas de una menor potencia (es decir, una tasa de falsos negativos más alta ) cuando las pruebas son independientes. [2] Además de proporcionar una alternativa a enfoques como la corrección de Bonferroni que controla la estricta tasa de error familiar , también proporciona una alternativa al procedimiento Benjamini-Hochberg (BH) ampliamente utilizado para controlar la tasa menos estricta de falsos descubrimientos . [5] Esto se debe a que el poder del HMP para detectar grupos significativos de hipótesis es mayor que el poder del BH para detectar hipótesis individuales significativas . [2]
Hay dos versiones de la técnica: (i) interpretación directa del HMP como un valor p aproximado y (ii) un procedimiento para transformar el HMP en un valor p asintóticamente exacto . El enfoque proporciona un procedimiento de prueba multinivel en el que se pueden buscar los grupos más pequeños de valores p que sean estadísticamente significativos.
Interpretación directa del valor p medio armónico
La media armónica ponderada de los valores p Se define como
En general, interpretar el HMP directamente como un valor p es anti-conservador, lo que significa que la tasa de falsos positivos es más alta de lo esperado. Sin embargo, a medida que el HMP se vuelve más pequeño, bajo ciertos supuestos, la discrepancia disminuye, de modo que la interpretación directa de la significancia logra una tasa de falsos positivos cercana a la implícita para valores suficientemente pequeños (p.). [2]
El HMP nunca es anti-conservador en más de un factor de Para pequeños , o para grande . [3] Sin embargo, estos límites representan los peores escenarios bajo dependencia arbitraria que probablemente sean conservadores en la práctica. En lugar de aplicar estos límites, se pueden producir valores p asintóticamente exactos transformando el HMP.
Procedimiento de valor p de media armónica asintóticamente exacta
El teorema del límite central generalizado muestra que un valor p asintóticamente exacto ,, se puede calcular a partir del HMP, , usando la fórmula [2]
p.hmp
comando del harmonicmeanp
paquete R ; hay un tutorial disponible en línea. De manera equivalente, se puede comparar el HMP con una tabla de valores críticos (Tabla 1). La tabla ilustra que cuanto menor es la tasa de falsos positivos y menor el número de pruebas, más cerca está el valor crítico de la tasa de falsos positivos.
10 | 0.040 | 0,0094 | 0,00099 |
100 | 0,036 | 0,0092 | 0,00099 |
1.000 | 0,034 | 0,0090 | 0,00099 |
10,000 | 0,031 | 0,0088 | 0,00098 |
100.000 | 0,029 | 0,0086 | 0,00098 |
1,000,000 | 0,027 | 0,0084 | 0,00098 |
10,000,000 | 0,026 | 0,0083 | 0,00098 |
100.000.000 | 0,024 | 0,0081 | 0,00098 |
1.000.000.000 | 0.023 | 0,0080 | 0,00097 |
Pruebas múltiples a través del procedimiento de prueba multinivel
Si el HMP es significativo en algún nivel para un grupo de p -valores, uno puede buscar todos los subconjuntos de la p -valores para el grupo significativo más pequeño, mientras se mantiene la tasa de error familiar de sentido fuerte. [2] Formalmente, esto constituye un procedimiento de prueba cerrado . [6]
Cuándo es pequeño (p. ej. ), la siguiente prueba multinivel basada en la interpretación directa del HMP controla la tasa de error familiar de sentido fuerte a un nivel aproximadamente
- Definir el HMP de cualquier subconjunto de El p -valores a ser
- Rechace la hipótesis nula de que ninguno de los valores p en el subconjunto son importantes si , dónde . (Recuerde que, por definición,.)
Una versión asintóticamente exacta de lo anterior reemplaza en el paso 2 con
Dado que la interpretación directa del HMP es más rápida, se puede usar un procedimiento de dos pasos para identificar subconjuntos de valores p que probablemente sean significativos usando interpretación directa, sujeto a confirmación usando la fórmula asintóticamente exacta.
Propiedades del HMP
El HMP tiene una variedad de propiedades que surgen del teorema del límite central generalizado. [2] Es:
- Dependencia de robusta a positiva entre los valores p .
- Insensible al número exacto de pruebas, L .
- Robusto a la distribución de pesos, w .
- Más influenciado por los valores p más pequeños .
Cuando el HMP no es significativo, tampoco lo es ningún subconjunto de las pruebas constitutivas. Por el contrario, cuando la prueba multinivel considera que un subconjunto de valores p es significativo, es probable que el HMP para todos los valores p combinados sea significativo; esto es cierto cuando el HMP se interpreta directamente. Cuando el objetivo es evaluar la importancia de los valores p individuales , de modo que las pruebas combinadas relativas a grupos de valores p no sean de interés, el HMP es equivalente al procedimiento de Bonferroni pero sujeto al umbral de significancia más estricto. (Tabla 1).
El HMP supone que los valores p individuales tienen distribuciones uniformes estándar (no necesariamente independientes) cuando sus hipótesis nulas son verdaderas. Por lo tanto, un gran número de pruebas con poca potencia pueden dañar la potencia del HMP.
Si bien la elección de los pesos no es importante para la validez del HMP bajo la hipótesis nula, los pesos influyen en la potencia del procedimiento. Los métodos suplementarios §5C de [2] y un tutorial en línea consideran el tema con más detalle.
Interpretaciones bayesianas del HMP
El HMP fue concebido por analogía con el promedio del modelo bayesiano y puede interpretarse como inversamente proporcional a un factor de Bayes promediado por el modelo cuando se combinan los valores p de las pruebas de razón de verosimilitud . [1] [2]
La regla empírica de la media armónica
IJ Good informó una relación empírica entre el factor de Bayes y el valor p de una prueba de razón de verosimilitud. [1] Para una hipótesis nula anidado en una hipótesis alternativa más general observó que a menudo,
Calibración bayesiana de valores p
Si las distribuciones de los valores p bajo las hipótesis alternativas siguen distribuciones Beta con parámetros, una forma considerada por Sellke, Bayarri y Berger, [13] entonces la proporcionalidad inversa entre el factor de Bayes promediado por el modelo y el HMP puede formalizarse como [2] [14]
- es la probabilidad previa de hipótesis alternativa tal que
- es el valor esperado de bajo hipótesis alternativa
- es el peso atribuido al valor p
- incorpora las probabilidades y potencias del modelo anterior en las ponderaciones, y
- normaliza los pesos.
La aproximación funciona mejor para pruebas con buena potencia ().
El valor p medio armónico como un límite en el factor de Bayes
Para las pruebas de razón de verosimilitud con exactamente dos grados de libertad, el teorema de Wilks implica que, dónde es la razón de verosimilitud maximizada a favor de la hipótesis alternativa y por lo tanto , dónde es la razón de probabilidad maximizada media ponderada, utilizando ponderaciones Desde es un límite superior en el factor de Bayes, , luego es un límite superior en el factor de Bayes promediado por el modelo:
Bajo el supuesto de que las distribuciones de los valores p bajo las hipótesis alternativas siguen distribuciones Beta con parámetros y que los pesos el HMP proporciona un límite superior más estricto en el factor de Bayes promediado por el modelo:
Referencias
- ^ a b c Bueno, IJ (1958). "Pruebas de significancia en paralelo y en serie". Revista de la Asociación Estadounidense de Estadística . 53 (284): 799–813. doi : 10.1080 / 01621459.1958.10501480 . JSTOR 2281953 .
- ^ a b c d e f g h yo j k l m n Wilson, DJ (2019). "El valor p medio armónico para combinar pruebas dependientes" . Actas de la Academia Nacional de Ciencias de EE . UU . 116 (4): 1195-1200. doi : 10.1073 / pnas.1814092116 . PMC 6347718 . PMID 30610179 .
- ^ a b c Vovk, Vladimir; Wang, Ruodu (25 de abril de 2019). "Combinación de valores p mediante promediado" (PDF) . Aprendizaje algorítmico en un mundo aleatorio .
- ^ Fisher, RA (1934). Métodos estadísticos para investigadores (5ª ed.). Edimburgo, Reino Unido: Oliver y Boyd.
- ^ Benjamini Y, Hochberg Y (1995). "Control de la tasa de falsos descubrimientos: un enfoque práctico y poderoso para múltiples pruebas". Revista de la Royal Statistical Society. Serie B (Metodológica) . 57 (1): 289–300. doi : 10.1111 / j.2517-6161.1995.tb02031.x . JSTOR 2346101 .
- ^ Marcus R, Eric P, Gabriel KR (1976). "Sobre procedimientos de prueba cerrados con especial referencia al análisis ordenado de varianza". Biometrika . 63 (3): 655–660. doi : 10.1093 / biomet / 63.3.655 . JSTOR 2335748 .
- ^ Wilson, Daniel J (17 de agosto de 2019). "Corrección actualizada a" El valor p medio armónico para combinar pruebas independientes " " (PDF) .
- ^ Bien, IJ (1984). "C192. Una cola frente a dos colas, y la regla de la media armónica". Revista de Computación y Simulación Estadística . 19 (2): 174-176. doi : 10.1080 / 00949658408810727 .
- ^ Bien, IJ (1984). "C193. Comparaciones emparejadas versus no emparejadas y la regla de la media armónica". Revista de Computación y Simulación Estadística . 19 (2): 176-177. doi : 10.1080 / 00949658408810728 .
- ^ Bien, IJ (1984). "C213. Un perfeccionamiento de la regla de oro de la media armónica para combinar pruebas" en paralelo " ". Revista de Computación y Simulación Estadística . 20 (2): 173-176. doi : 10.1080 / 00949658408810770 .
- ^ Bien, IJ (1984). "C214. La regla empírica de la media armónica: algunas clases de aplicaciones". Revista de Computación y Simulación Estadística . 20 (2): 176-179. doi : 10.1080 / 00949658408810771 .
- ^ Bien, Irving John. (2009). Buen pensamiento: los fundamentos de la probabilidad y sus aplicaciones . Publicaciones de Dover. ISBN 9780486474380. OCLC 319491702 .
- ^ Sellke, Thomas; Bayarri, M. J; Berger, James O (2001). "Calibración de valores p para probar hipótesis nulas precisas". El estadístico estadounidense . 55 (1): 62–71. doi : 10.1198 / 000313001300339950 . ISSN 0003-1305 .
- ^ Wilson, DJ (2019). "Respuesta a Held: ¿Cuándo es un valor p medio armónico un factor de Bayes?" (PDF) . Actas de la Academia Nacional de Ciencias de EE . UU . 116 (13): 5857–5858. doi : 10.1073 / pnas.1902157116 . PMC 6442550 . PMID 30890643 .
- ^ Celebrada, L (2019). "Sobre la interpretación bayesiana del valor p de la media armónica " . Actas de la Academia Nacional de Ciencias de EE . UU . 116 (13): 5855–5856. doi : 10.1073 / pnas.1900671116 . PMID 30890644 .