El efecto buscar en otra parte es un fenómeno en el análisis estadístico de experimentos científicos donde una observación aparentemente estadísticamente significativa puede haber surgido por casualidad debido al tamaño del espacio de parámetros que se busca. [1] [2] [3] [4] [5]
Una vez que se reconoce la posibilidad de un error de búsqueda en otro lugar en un análisis, se puede compensar mediante la aplicación cuidadosa de técnicas matemáticas estándar. [6] [7]
Más generalmente conocido en las estadísticas como el problema de las comparaciones múltiples , el término ganó cierta atención de los medios en 2011, en el contexto de la búsqueda del bosón de Higgs en el Gran Colisionador de Hadrones . [8]
Usar
Muchas pruebas estadísticas entregan un valor p , la probabilidad de que se pueda obtener un resultado dado, asumiendo una coincidencia aleatoria. Al preguntar "¿ X afecta a Y ?", Es común variar X y ver si hay una variación significativa en Y como resultado. Si este valor p es menor que algún umbral de significación estadística predeterminado α , se considera que el resultado es "significativo".
Sin embargo, si uno está realizando múltiples pruebas ("buscando en otra parte" si la primera prueba falla), se espera que ocurra un valor p de 1 / n una vez por n pruebas. Por ejemplo, cuando no hay un efecto real, un evento con p <0.05 seguirá ocurriendo una vez, en promedio, por cada 20 pruebas realizadas. Para compensar esto, puede dividir su umbral α por el número de pruebas n , por lo que un resultado es significativo cuando p < α / n . O, de manera equivalente, multiplique el valor p observado por el número de pruebas (significativo cuando np < α ).
Este es un caso simplificado; el número n es en realidad el número de grados de libertad en las pruebas, o el número de pruebas efectivamente independientes. Si no son completamente independientes, el número puede ser menor que el número de pruebas.
El efecto de buscar en otra parte es una causa frecuente de "inflación significativa" cuando se subestima el número de pruebas independientes n porque las pruebas fallidas no se publican. Un artículo puede no mencionar las hipótesis alternativas consideradas, o un artículo que no produce ningún resultado puede simplemente no publicarse en absoluto, lo que lleva a revistas dominadas por valores atípicos estadísticos.
Ejemplos de
- Un estudio sueco en 1992 trató de determinar si las líneas eléctricas causaron algún tipo de efectos nocivos para la salud. Los investigadores encuestaron a todas las personas que vivían a menos de 300 m de líneas eléctricas de alto voltaje durante un período de 25 años y buscaron aumentos estadísticamente significativos en las tasas de más de 800 dolencias. El estudio encontró que la incidencia de leucemia infantil era cuatro veces mayor entre las personas que vivían más cerca de las líneas eléctricas, y estimuló los llamados a la acción por parte del gobierno sueco. Sin embargo, el problema con la conclusión fue que no lograron compensar el efecto de buscar en otra parte; en cualquier colección de 800 muestras aleatorias, es probable que al menos una sea al menos 3 desviaciones estándar por encima del valor esperado, solo por casualidad. Los estudios posteriores no pudieron mostrar ningún vínculo entre las líneas eléctricas y la leucemia infantil, ni en la causalidad ni siquiera en la correlación. [9]
- El fenómeno del Código de la Biblia pretende encontrar agrupaciones atípicas y significativas de palabras que predicen eventos futuros ocultos en el texto de la Biblia hebrea, tomadas como una secuencia cruda de letras sin espacios y organizadas en varias cuadrículas de diferentes proporciones. Sin embargo, como demostró un artículo en Skeptical Inquirer , [10] esto equivale a generar una gran cantidad de cuadrículas para examinar patrones o agrupaciones dividiendo la cadena de texto completo en anchos de unas pocas a cientos de miles de letras de ancho, repitiendo el ancho para filas posteriores. Cada una de esas muchas cuadrículas puede, a su vez, buscarse en mayor profundidad para una amplia gama de palabras de interés saltando en intervalos, hacia adelante o hacia atrás, de una x letras arbitrarias en el texto (ox + 1, x + 2, etc. ), en un producto cruzado masivo de posibilidades parametrizadas , y una palabra de interés coincidente asociada puede ser cualquier cadena cercana en un salto arbitrario de x + k o y + k letras, hacia adelante o hacia atrás, de modo que los volúmenes de permutación se vuelvan enormes. Por lo tanto, dejando a un lado preguntas relacionadas como el sesgo de confirmación , incluso si no se encontraron agrupaciones de interés o importancia en la primera cuadrícula, la siguiente iteración puede ser probada por computadora y así sucesivamente en masa hasta que finalmente se lleguen agrupaciones "milagrosas" o "improbables". a. Esto equivale en efecto a, al repartirse una mano de póquer poco interesante , continuar haciéndolo en las grandes cantidades necesarias hasta que uno obtenga una escalera de color , una escalera real o incluso muchos eventos similares en secuencia, y llamar a la baraja inspirada para permitir tal un resultado. El autor de Skeptical Inquirer pudo lograr efectos idénticos simplemente aplicando los mismos algoritmos de búsqueda tanto al texto de la Biblia King James en inglés en lugar de la versión hebrea supuestamente inspirada por Dios, y luego con la misma eficacia al texto de ejemplo mundano y arbitrario de la decisión de 1987 de la Corte Suprema de los Estados Unidos Edwards v. Aguillard .
- El cómic de XKCD "Significant" proporciona un buen ejemplo ficticio de este problema.
Ver también
- Corrección de Bonferroni
- Dragado de datos
- Ley de números realmente grandes : con un tamaño de muestra lo suficientemente grande, es probable que suceda cualquier cosa escandalosa
- Ley de Littlewood : cualquier individuo puede esperar que le suceda un "milagro" a razón de uno por mes
- La falacia del francotirador de Texas
- Problema de comparaciones múltiples
Referencias
- ^ Lyons, L. (2008). "Problemas estadísticos abiertos en física de partículas". The Annals of Applied Statistics . 2 (3): 887. arXiv : 0811.1663 . doi : 10.1214 / 08-AOAS163 .
- ^ "Sinopsis: Control del" efecto buscar en otra parte " " . Sociedad Estadounidense de Física. 2011.
- ^ Lori Ann White (12 de agosto de 2011). "Palabra de la semana: efecto mirar en otra parte" . Laboratorio del Acelerador Nacional de Stanford. Archivado desde el original el 19 de abril de 2012.
- ^ Dorigo, Tommaso (16 de octubre de 2009). "Coincidencias sobrenaturales y el efecto mirar en otra parte" . Consultado el 17 de octubre de 2012 .
- ^ Dorigo, Tommaso (19 de agosto de 2011). "¿Debería emocionarse con sus datos? Deje que el efecto mirar en otra parte decida" . Colaboración CMS.
- ^ Gross, E .; Vitells, O. (2010). "Factores de prueba para el efecto de buscar en otra parte en la física de altas energías". El European Physical Diario C . 70 : 525. arXiv : 1005.1891 . Código bibliográfico : 2010EPJC ... 70..525G . doi : 10.1140 / epjc / s10052-010-1470-8 .
- ^ Bayer, Adrian E .; Seljak, Uroš (2020). "El efecto mirar hacia otro lado desde una perspectiva unificada bayesiana y frecuentista" . Revista de cosmología y física de astropartículas . 2020 (10): 009–009. arXiv : 2007.13821 . doi : 10.1088 / 1475-7516 / 2020/10/009 .
- ^ Tom Chivers (13 de diciembre de 2011). "Un avistamiento no confirmado del escurridizo bosón de Higgs" . Telegrafo diario. Archivado desde el original el 17 de diciembre de 2011.
- ^ Palfreman, Jon (06/13/1995), "Corrientes de miedo" , en primera línea , PBS , recuperados 2012-07-01
- ^ Thomas, Dave (1 de noviembre de 1997), "Mensajes ocultos y el código de la Biblia" , Skeptical Inquirer , CSICOP , consultado el 19 de abril de 2015
enlaces externos
- Cómic XKCD que ilustra el efecto Look-Elsewhere