En estadística , la tasa de descubrimiento falso ( FDR ) es un método para conceptualizar la tasa de errores de tipo I en las pruebas de hipótesis nulas al realizar comparaciones múltiples . Los procedimientos de control de FDR están diseñados para controlar la proporción esperada de "descubrimientos" ( hipótesis nulas rechazadas ) que son falsas (rechazos incorrectos de la nula). [1] Los procedimientos de control de FDR proporcionan un control menos estricto de los errores de Tipo I en comparación con los procedimientos de control de la tasa de error familiar (FWER) (como la corrección de Bonferroni ), que controlan la probabilidad deal menos un error de tipo I. Por lo tanto, los procedimientos de control de FDR tienen mayor poder , a costa de un mayor número de errores de Tipo I. [2]
Historia
Motivaciones tecnológicas
Se cree que el uso generalizado moderno del FDR se deriva y está motivado por el desarrollo de tecnologías que permitieron la recopilación y el análisis de una gran cantidad de variables distintas en varios individuos (p. Ej., El nivel de expresión de cada uno de 10,000 genes diferentes en 100 personas diferentes). [3] A finales de los años 80 y 90, el desarrollo de las ciencias de "alto rendimiento", como la genómica , permitió una rápida adquisición de datos. Esto, junto con el crecimiento de la potencia informática, hizo posible realizar sin problemas cientos y miles de pruebas estadísticas en un conjunto de datos determinado. La tecnología de microarrays fue un ejemplo prototípico, ya que permitió probar simultáneamente miles de genes para determinar la expresión diferencial entre dos condiciones biológicas. [4]
A medida que las tecnologías de alto rendimiento se volvieron comunes, las limitaciones tecnológicas y / o financieras llevaron a los investigadores a recopilar conjuntos de datos con tamaños de muestra relativamente pequeños (p. Ej., Pocos individuos sometidos a prueba) y un gran número de variables medidas por muestra (p. Ej., Miles de niveles de expresión genética). En estos conjuntos de datos, muy pocas de las variables medidas mostraron significancia estadística después de la corrección clásica para múltiples pruebas con procedimientos estándar de comparación múltiple . Esto creó una necesidad dentro de muchas comunidades científicas de abandonar FWER y pruebas de hipótesis múltiples no ajustadas para otras formas de resaltar y clasificar en las publicaciones aquellas variables que muestran efectos marcados en individuos o tratamientos que de otro modo serían descartados como no significativos después de la corrección estándar para múltiples pruebas. En respuesta a esto, se han propuesto una variedad de tasas de error, que se utilizan comúnmente en las publicaciones, que son menos conservadoras que FWER para señalar observaciones posiblemente dignas de mención.
Literatura
El concepto FDR fue descrito formalmente por Yoav Benjamini y Yosef Hochberg en 1995 [1] ( procedimiento BH ) como un enfoque menos conservador y posiblemente más apropiado para identificar los pocos importantes de los muchos efectos triviales probados. El FDR ha sido particularmente influyente, ya que fue la primera alternativa al FWER en obtener una amplia aceptación en muchos campos científicos (especialmente en las ciencias de la vida, desde la genética hasta la bioquímica, la oncología y las ciencias de las plantas). [3] En 2005, el artículo de Benjamini y Hochberg de 1995 fue identificado como uno de los 25 artículos estadísticos más citados. [5]
Antes de la introducción en 1995 del concepto FDR, en la literatura estadística se habían considerado varias ideas precursoras. En 1979, Holm propuso el procedimiento de Holm , [6] un algoritmo escalonado para controlar el FWER que es al menos tan poderoso como el conocido ajuste de Bonferroni . Este algoritmo escalonado ordena los valores p y rechaza secuencialmente las hipótesis a partir de los valores p más pequeños .
Benjamini (2010) [3] dijo que la tasa de falsos descubrimientos, y el artículo Benjamini y Hochberg (1995), tienen su origen en dos artículos relacionados con las pruebas múltiples:
- El primer artículo es de Schweder y Spjotvoll (1982) [7], quienes sugirieron graficar los valores p clasificados y evaluar el número de hipótesis nulas verdaderas () a través de una línea ajustada a los ojos a partir de los valores p más grandes . Los valores p que se desvían de esta línea recta deben corresponder a las hipótesis nulas falsas. Esta idea se desarrolló más tarde en un algoritmo e incorporó la estimación deen procedimientos como Bonferroni, Holm o Hochberg. [8] Esta idea está estrechamente relacionada con la interpretación gráfica del procedimiento BH.
- El segundo artículo es de Branko Soric (1989) [9], que introdujo la terminología de "descubrimiento" en el contexto de pruebas de hipótesis múltiples. Soric usó el número esperado de falsos descubrimientos dividido por el número de descubrimientoscomo advertencia de que "una gran parte de los descubrimientos estadísticos pueden estar equivocados". Esto llevó a Benjamini y Hochberg a la idea de que una tasa de error similar, en lugar de ser simplemente una advertencia, puede servir como un objetivo digno de controlar.
Benjamini y Hochberg demostraron en 1995 que el procedimiento BH controla el FDR para pruebas independientes. [1] En 1986, RJ Simes ofreció el mismo procedimiento que el " procedimiento de Simes ", para controlar el FWER en sentido débil (bajo la hipótesis nula de intersección) cuando las estadísticas son independientes. [10]
Definiciones
Con base en las definiciones siguientes, podemos definir Q como la proporción de descubrimientos falsos entre los descubrimientos (rechazos de la hipótesis nula):
- .
dónde es el número de falsos descubrimientos y es el número de verdaderos descubrimientos.
La tasa de falso descubrimiento ( FDR ) es entonces simplemente: [1]
dónde es el valor esperado de. El objetivo es mantener FDR por debajo de un umbral determinado q . Para evitar la división por cero , se define como 0 cuando . Formalmente,. [1]
Clasificación de pruebas de hipótesis múltiples
La siguiente tabla define los posibles resultados al probar múltiples hipótesis nulas. Supongamos que tenemos un número m de hipótesis nulas, denotadas por: H 1 , H 2 , ..., H m . Utilizando una prueba estadística , rechazamos la hipótesis nula si la prueba se declara significativa. No rechazamos la hipótesis nula si la prueba no es significativa. La suma de cada tipo de resultado sobre todo H i produce las siguientes variables aleatorias:
La hipótesis nula es verdadera (H 0 ) | La hipótesis alternativa es verdadera (H A ) | Total | |
---|---|---|---|
La prueba se declara significativa | V | S | R |
La prueba se declara no significativa | U | T | |
Total | metro |
- m es el número total de hipótesis probadas
- es el número de hipótesis nulas verdaderas , un parámetro desconocido
- es el número de hipótesis alternativas verdaderas
- V es el número de falsos positivos (error de tipo I) (también llamado "falsos descubrimientos")
- S es el número de verdaderos positivos (también llamado "verdaderos descubrimientos")
- T es el número de falsos negativos (error de tipo II)
- U es el número de verdaderos negativos
- es el número de hipótesis nulas rechazadas (también llamadas "descubrimientos", verdaderas o falsas)
En m pruebas de hipótesis de las cualesson verdaderas hipótesis nulas, R es una variable aleatoria observable y S , T , U y V son variables aleatorias no observables .
Procedimientos de control
La configuración de muchos procedimientos es tal que tenemos hipótesis nulas probadas y sus valores p correspondientes . Enumeramos estos valores p en orden ascendente y los denotamos por. Un procedimiento que va de un valor p pequeño a uno grande se denominará procedimiento progresivo. De manera similar, en un procedimiento de "reducción" pasamos de un estadístico de prueba correspondiente grande a uno más pequeño.
Procedimiento Benjamini-Hochberg
El procedimiento Benjamini-Hochberg ( procedimiento escalonado BH) controla el FDR a nivel. [1] Funciona de la siguiente manera:
- Para una dada , encuentre el k más grande tal que (es decir, ).
- Rechazar la hipótesis nula (es decir, declarar descubrimientos) para todos por .
Geométricamente, esto corresponde a graficar vs. k (en la Y y x ejes respectivamente), dibujar la línea a través del origen con pendiente y declarar descubrimientos para todos los puntos de la izquierda hasta el último punto que está debajo de la línea inclusive.
El procedimiento BH es válido cuando las pruebas m son independientes , y también en varios escenarios de dependencia, pero no es universalmente válido. [11] También satisface la desigualdad:
Si un estimador de se inserta en el procedimiento BH, ya no se garantiza que logre el control FDR en el nivel deseado. [3] Pueden ser necesarios ajustes en el estimador y se han propuesto varias modificaciones. [12] [13] [14] [15]
Tenga en cuenta que la media para estas m pruebas es, la media (FDR ) o MFDR, ajustado para m pruebas independientes o correlacionadas positivamente (ver AFDR a continuación). La expresión MFDR aquí es para un único valor recalculado de y no forma parte del método Benjamini y Hochberg.
Procedimiento Benjamini-Yekutieli
El procedimiento Benjamini-Yekutieli controla la tasa de falsos descubrimientos bajo supuestos de dependencia arbitraria. [11] Este refinamiento modifica el umbral y encuentra el mayor k tal que:
- Si las pruebas son independientes o están correlacionadas positivamente (como en el procedimiento de Benjamini-Hochberg):
- Bajo dependencia arbitraria (incluido el caso de correlación negativa), c (m) es el número armónico :.
- Tenga en cuenta que se puede aproximar usando la expansión de la serie de Taylor y la constante de Euler-Mascheroni ( ):
Usando MFDR y las fórmulas anteriores, un MFDR ajustado, o AFDR, es el mínimo (promedio ) para m pruebas dependientes. Otra forma de abordar la dependencia es mediante bootstrapping y realeatorización. [4] [16] [17]
Propiedades
Adaptable y escalable
El uso de un procedimiento de multiplicidad que controla el criterio FDR es adaptativo y escalable . Lo que significa que controlar el FDR puede ser muy permisivo (si los datos lo justifican) o conservador (actuar cerca del control de FWER para problemas dispersos), todo dependiendo del número de hipótesis probadas y el nivel de significancia. [3]
El criterio FDR se adapta para que el mismo número de falsos descubrimientos (V) tenga diferentes implicaciones, dependiendo del número total de descubrimientos (R). Esto contrasta con el criterio de la tasa de error familiar . Por ejemplo, si se inspeccionan 100 hipótesis (digamos, 100 mutaciones genéticas o SNP en busca de asociación con algún fenotipo en alguna población):
- Si hacemos 4 descubrimientos (R), que 2 de ellos sean falsos descubrimientos (V) suele ser muy costoso. Mientras que,
- Si hacemos 50 descubrimientos (R), que 2 de ellos sean descubrimientos falsos (V) a menudo no es muy costoso.
El criterio FDR es escalable en el sentido de que la misma proporción de descubrimientos falsos del número total de descubrimientos (Q), permanece sensible para un número diferente de descubrimientos totales (R). Por ejemplo:
- Si hacemos 100 descubrimientos (R), si 5 de ellos son descubrimientos falsos () puede no ser muy costoso.
- De manera similar, si hacemos 1000 descubrimientos (R), teniendo 50 de ellos descubrimientos falsos (como antes, ) puede que aún no sea muy costoso.
Dependencia entre las estadísticas de prueba
Controlar el FDR mediante el procedimiento lineal step-up BH, en el nivel q, tiene varias propiedades relacionadas con la estructura de dependencia entre los estadísticos de prueba de las m hipótesis nulas que se están corrigiendo. Si las estadísticas de la prueba son:
- Independiente: [11]
- Independiente y continua: [1]
- Dependiente positivo: [11]
- En el caso general: [11] , dónde es la constante de Euler-Mascheroni .
Proporción de hipótesis verdaderas
Si todas las hipótesis nulas son verdaderas (), entonces controlar el FDR en el nivel q garantiza el control sobre el FWER (esto también se llama "control débil del FWER" ):, simplemente porque el evento de rechazar al menos una hipótesis nula verdadera es exactamente el evento , y el evento es exactamente el evento (Cuándo , por definición). [1] Pero si hay algunos descubrimientos verdaderos por hacer () luego FWER ≥ FDR . En ese caso, habrá espacio para mejorar la potencia de detección. También significa que cualquier procedimiento que controle el FWER también controlará el FDR.
Conceptos relacionados
El descubrimiento del FDR fue precedido y seguido por muchos otros tipos de tasas de error. Éstas incluyen:
- PCER ( tasa de error por comparación ) se define como:. Probar individualmente cada hipótesis en el nivel α garantiza que (esto es prueba sin ninguna corrección por multiplicidad)
- FWER (la tasa de error familiar ) se define como:. Existen numerosos procedimientos que controlan el FWER .
- (La probabilidad de cola de la proporción de falso descubrimiento), sugerida por Lehmann y Romano, van der Laan et al, [ cita requerida ] se define como:.
- (también llamado el FDR generalizado por Sarkar en 2007 [18] [19] ) se define como:.
- es la proporción de falsos descubrimientos entre los descubrimientos ", sugerido por Soric en 1989, [9] y se define como:. Esta es una mezcla de expectativas y realizaciones, y tiene el problema del control de. [1]
- (o Fdr) fue utilizado por Benjamini y Hochberg, [3] y posteriormente llamado "Fdr" por Efron (2008) y antes. [20] Se define como:. Esta tasa de error no se puede controlar estrictamente porque es 1 cuando.
- fue utilizado por Benjamini y Hochberg, [3] y posteriormente llamado "pFDR" por Storey (2002). [21] Se define como:. Esta tasa de error no se puede controlar estrictamente porque es 1 cuando.
- Tasa de rebasamiento falso (la probabilidad de cola de FDP), definida como: [22]
- (FDR ponderado). Asociado con cada hipótesis i hay un peso, las ponderaciones capturan importancia / precio. El W-FDR se define como:.
- FDCR (tasa de costo de descubrimiento falso). Derivado del control estadístico de procesos : asociado con cada hipótesis i es un costo y con la hipótesis de la intersección Un coste . La motivación es que detener un proceso de producción puede incurrir en un costo fijo. Se define como:
- PFER (tasa de error por familia) se define como:.
- FNR (tasas falsas de no descubrimiento) de Sarkar; Genovese y Wasserman [ cita requerida ] se define como:
- Se define como:
- El fdr local se define como:
Tasa de cobertura falsa
La tasa de cobertura falsa (FCR) es, en cierto sentido, el análogo de FDR al intervalo de confianza . FCR indica la tasa promedio de cobertura falsa, es decir, que no cubre los parámetros verdaderos, entre los intervalos seleccionados. El FCR ofrece una cobertura simultánea anivel para todos los parámetros considerados en el problema. Los intervalos con probabilidad de cobertura simultánea 1 − q pueden controlar que el FCR esté limitado por q . Hay muchos procedimientos de FCR como: Bonferroni-Selected-Bonferroni-Adjusted, [ cita requerida ] CI ajustados BH-Selected (Benjamini y Yekutieli (2005)), [23] Bayes FCR (Yekutieli (2008)), [ cita requerida ] y otros métodos de Bayes. [24]
Enfoques bayesianos
Se han establecido conexiones entre los enfoques FDR y bayesiano (incluidos los métodos empíricos de Bayes), [20] [25] [26] los coeficientes de umbral de wavelets y la selección del modelo , [27] [28] [29] [30] y la generalización del intervalo de confianza en la tasa de declaración de cobertura falsa (FCR). [23]
Ver también
- Valor predictivo positivo
- valor q
Referencias
- ^ a b c d e f g h i Benjamini, Yoav; Hochberg, Yosef (1995). "Control de la tasa de falsos descubrimientos: un enfoque práctico y poderoso para múltiples pruebas" (PDF) . Revista de la Sociedad Real de Estadística, Serie B . 57 (1): 289–300. Señor 1325392 .
- ^ Shaffer JP (1995) Prueba de hipótesis múltiples, Revisión anual de psicología 46: 561-584, Revisiones anuales
- ^ a b c d e f g Benjamini, Y. (2010). "Descubriendo la tasa de falsos descubrimientos" . Revista de la Sociedad Real de Estadística, Serie B . 72 (4): 405–416. doi : 10.1111 / j.1467-9868.2010.00746.x .
- ^ a b Storey, John D .; Tibshirani, Robert (2003). "Significación estadística para estudios de todo el genoma" . Actas de la Academia Nacional de Ciencias . 100 (16): 9440–9445. Código Bibliográfico : 2003PNAS..100.9440S . doi : 10.1073 / pnas.1530509100 . PMC 170937 . PMID 12883005 .
- ^ Ryan, TP; Woodall, WH (2005). "Los artículos estadísticos más citados". Revista de estadísticas aplicadas . 32 (5): 461. doi : 10.1080 / 02664760500079373 . S2CID 109615204 .
- ^ Holm, S. (1979). "Un procedimiento de prueba múltiple secuencialmente rechazo simple". Revista Escandinava de Estadística . 6 (2): 65–70. JSTOR 4615733 . Señor 0538597 .
- ^ Schweder, T .; Spjøtvoll, E. (1982). "Gráficos de valores P para evaluar muchas pruebas simultáneamente". Biometrika . 69 (3): 493. doi : 10.1093 / biomet / 69.3.493 .
- ^ Hochberg, Y .; Benjamini, Y. (1990). "Procedimientos más potentes para pruebas de significancia múltiple". Estadística en Medicina . 9 (7): 811–818. doi : 10.1002 / sim.4780090710 . PMID 2218183 .
- ^ a b Soric, Branko (junio de 1989). "Descubrimientos estadísticos" y estimación del tamaño del efecto ". Revista de la Asociación Estadounidense de Estadística . 84 (406): 608–610. doi : 10.1080 / 01621459.1989.10478811 . JSTOR 2289950 .
- ^ Simes, RJ (1986). "Un procedimiento de Bonferroni mejorado para múltiples pruebas de importancia". Biometrika . 73 (3): 751–754. doi : 10.1093 / biomet / 73.3.751 .
- ^ a b c d e Benjamini, Yoav; Yekutieli, Daniel (2001). "El control de la tasa de falsos descubrimientos en múltiples pruebas bajo dependencia" (PDF) . Annals of Statistics . 29 (4): 1165-1188. doi : 10.1214 / aos / 1013699998 . Señor 1869245 .
- ^ Storey, JD; Taylor, JE; Siegmund, D. (2004). "Control fuerte, estimación puntual conservadora y consistencia conservadora simultánea de tasas de descubrimiento falso: un enfoque unificado". Revista de la Sociedad Real de Estadística, Serie B . 66 : 187-205. doi : 10.1111 / j.1467-9868.2004.00439.x .
- ^ Benjamini, Y .; Krieger, AM; Yekutieli, D. (2006). "Procedimientos de aumento lineal adaptativo que controlan la tasa de descubrimiento falso". Biometrika . 93 (3): 491. doi : 10.1093 / biomet / 93.3.491 .
- ^ Gavrilov, Y .; Benjamini, Y .; Sarkar, SK (2009). "Un procedimiento de reducción adaptativa con control FDR probado bajo independencia". The Annals of Statistics . 37 (2): 619. arXiv : 0903.5373 . doi : 10.1214 / 07-AOS586 . S2CID 16913244 .
- ^ Blanchard, G .; Roquain, E. (2008). "Dos simples condiciones suficientes para el control de FDR". Revista Electrónica de Estadística . 2 : 963–992. arXiv : 0802.1406 . doi : 10.1214 / 08-EJS180 . S2CID 16662020 .
- ^ Yekutieli D, Benjamini Y (1999). "Procedimiento de control de tasa de descubrimiento falso basado en remuestreo para estadísticas de prueba dependientes". J. Statist. Planng Inf . 82 (1–2): 171–196. doi : 10.1016 / S0378-3758 (99) 00041-5 .
- ^ van der Laan, MJ; Dudoit, S. (2007). Múltiples procedimientos de prueba con aplicaciones a la genómica . Nueva York: Springer.
- ^ Sarkar, Sanat K. "Procedimientos paso a paso que controlan FWER generalizado y FDR generalizado". The Annals of Statistics (2007): 2405-2420.
- ^ Sarkar, Sanat K. y Wenge Guo. "Sobre una tasa generalizada de falsos descubrimientos". The Annals of Statistics (2009): 1545-1565.
- ^ a b Efron B (2008). "Microarrays, Bayes empírico y el modelo de dos grupos". Ciencia estadística . 23 : 1–22. arXiv : 0808.0603 . doi : 10.1214 / 07-STS236 . S2CID 8417479 .
- ^ Storey, John D. (2002). "Un enfoque directo a las tasas de descubrimiento falso" (PDF) . Revista de la Sociedad Real de Estadística, Serie B . 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . doi : 10.1111 / 1467-9868.00346 .
- ^ Benjamini, Y. (2010). "Inferencia simultánea y selectiva: éxitos actuales y retos futuros". Revista biométrica . 52 (6): 708–721. doi : 10.1002 / bimj.200900299 . PMID 21154895 .
- ^ a b Benjamini Y, Yekutieli Y (2005). "Tasa de descubrimiento falso que controla los intervalos de confianza para los parámetros seleccionados". Revista de la Asociación Estadounidense de Estadística . 100 (469): 71–80. doi : 10.1198 / 016214504000001907 . S2CID 23202143 .
- ^ Zhao, Z .; Gene Hwang, JT (2012). "Tasa de cobertura falsa empírica de Bayes controlando los intervalos de confianza". Revista de la Sociedad Real de Estadística, Serie B . 74 (5): 871–891. doi : 10.1111 / j.1467-9868.2012.01033.x .
- ^ Piso, John D. (2003). "La tasa de falso descubrimiento positivo: una interpretación bayesiana y el valor q" (PDF) . Annals of Statistics . 31 (6): 2013-2035. doi : 10.1214 / aos / 1074290335 .
- ^ Efron, Bradley (2010). Inferencia a gran escala . Prensa de la Universidad de Cambridge . ISBN 978-0-521-19249-1.
- ^ Abramovich F, Benjamini Y, Donoho D, Johnstone IM (2006). "Adaptación a la escasez desconocida controlando la tasa de falsos descubrimientos". Annals of Statistics . 34 (2): 584–653. arXiv : matemáticas / 0505374 . Bibcode : 2005math ... 5374A . doi : 10.1214 / 009053606000000074 . S2CID 7581060 .
- ^ Donoho D, Jin J (2006). "Minimaxidad asintótica de umbral de tasa de descubrimiento falso para datos exponenciales escasos". Annals of Statistics . 34 (6): 2980-3018. arXiv : matemáticas / 0602311 . Bibcode : 2006math ...... 2311D . doi : 10.1214 / 009053606000000920 . S2CID 9080115 .
- ^ Benjamini Y, Gavrilov Y (2009). "Un sencillo procedimiento de selección hacia adelante basado en el control de la tasa de descubrimiento falso". Annals of Applied Statistics . 3 (1): 179–198. arXiv : 0905.2819 . Código Bibliográfico : 2009arXiv0905.2819B . doi : 10.1214 / 08-AOAS194 . S2CID 15719154 .
- ^ Donoho D, Jin JS (2004). "Mayor crítica por detectar mezclas heterogéneas escasas". Annals of Statistics . 32 (3): 962–994. arXiv : matemáticas / 0410072 . Bibcode : 2004math ..... 10072D . doi : 10.1214 / 009053604000000265 . S2CID 912325 .
enlaces externos
- Análisis de tasa de descubrimiento falso en R : enumera los enlaces con los paquetes R populares
- Análisis de tasa de descubrimiento falso en Python : implementaciones de Python de procedimientos de tasa de descubrimiento falso
- Tasa de Falso Descubrimiento: Se ha corregido y ajustado los valores de p - MATLAB / GNU Octave aplicación y discusión sobre la diferencia entre los valores de p FDR corregidos y ajustados.
- Comprender la tasa de falsos descubrimientos : entrada de blog
- StatQuest: FDR y el método Benjamini-Hochberg explicados claramente en YouTube
- Comprensión de la tasa de descubrimiento falso : incluye código Excel VBA para implementarlo y un ejemplo en el desarrollo de líneas celulares.