La paradoja de Simpson , que también se conoce con varios otros nombres, es un fenómeno de probabilidad y estadística , en el que aparece una tendencia en varios grupos de datos diferentes, pero desaparece o se invierte cuando se combinan estos grupos. Este resultado se encuentra a menudo en las estadísticas de las ciencias sociales y las ciencias médicas [1] [2] [3] y es particularmente problemático cuando los datos de frecuencia reciben indebidamente interpretaciones causales . [4] La paradoja se puede resolver cuando las relaciones causales se abordan adecuadamente en el modelo estadístico. [4] [5] También se conoce como la reversión de Simpson , efecto Yule-Simpson, paradoja de la fusión o paradoja de la inversión . [6]
Edward H. Simpson describió por primera vez este fenómeno en un artículo técnico en 1951, [7] pero los estadísticos Karl Pearson et al., En 1899, [8] y Udny Yule , en 1903, [9] habían mencionado efectos similares anteriormente. El nombre de la paradoja de Simpson fue introducido por Colin R. Blyth en 1972. [10] La paradoja de Simpson se ha utilizado como un ejemplo para ilustrar al público no especializado o público el tipo de resultados engañosos que pueden generar las estadísticas mal aplicadas. [11] [12]
Ejemplos de
Sesgo de género de UC Berkeley
Uno de los ejemplos más conocidos de la paradoja de Simpson proviene de un estudio de los prejuicios de género entre las admisiones a las escuelas de posgrado en la Universidad de California, Berkeley . Las cifras de admisión para el otoño de 1973 mostraron que los hombres que presentaban la solicitud tenían más probabilidades de ser admitidos que las mujeres, y la diferencia era tan grande que era poco probable que se debiera a la casualidad. [13] [14]
Todas | Hombres | Mujeres | ||||
---|---|---|---|---|---|---|
Solicitantes | Aceptado | Solicitantes | Aceptado | Solicitantes | Aceptado | |
Total | 12,763 | 41% | 8442 | 44% | 4321 | 35% |
Sin embargo, al examinar los departamentos individuales, parecía que seis de los 85 departamentos tenían un sesgo significativo en contra de los hombres, mientras que cuatro tenían un sesgo significativo en contra de las mujeres. En total, los datos agrupados y corregidos mostraron un " sesgo pequeño pero estadísticamente significativo a favor de las mujeres". [14] Los datos de los seis departamentos más grandes se enumeran a continuación, los dos departamentos principales por número de solicitantes para cada género en cursiva.
Departamento | Todas | Hombres | Mujeres | |||
---|---|---|---|---|---|---|
Solicitantes | Aceptado | Solicitantes | Aceptado | Solicitantes | Aceptado | |
A | 933 | 64% | 825 | 62% | 108 | 82% |
B | 585 | 63% | 560 | 63% | 25 | 68% |
C | 918 | 35% | 325 | 37% | 593 | 34% |
D | 792 | 34% | 417 | 33% | 375 | 35% |
mi | 584 | 25% | 191 | 28% | 393 | 24% |
F | 714 | 6% | 373 | 6% | 341 | 7% |
El artículo de investigación de Bickel et al. concluyó que las mujeres tendían a postularse a departamentos más competitivos con bajas tasas de admisión, incluso entre los postulantes calificados (como en el departamento de inglés), mientras que los hombres tendían a postularse a departamentos menos competitivos con altas tasas de admisión (como en el departamento de ingeniería). ). [14]
Tratamiento de cálculos renales
Otro ejemplo proviene de un estudio médico de la vida real [15] que compara las tasas de éxito de dos tratamientos para los cálculos renales . [16] La siguiente tabla muestra las tasas de éxito y la cantidad de tratamientos para los tratamientos que involucran cálculos renales pequeños y grandes, donde el Tratamiento A incluye procedimientos quirúrgicos abiertos y el Tratamiento B incluye procedimientos quirúrgicos cerrados. Los números entre paréntesis indican el número de casos de éxito sobre el tamaño total del grupo.
Tratamiento Tamaño de piedra | Tratamiento A | Tratamiento B |
---|---|---|
Pequeñas piedras | Grupo 1 93% (81/87) | Grupo 2 87% (234/270) |
Piedras grandes | Grupo 3 73% (192/263) | Grupo 4 69% (55/80) |
Ambas cosas | 78% (273/350) | 83% (289/350) |
La conclusión paradójica es que el tratamiento A es más efectivo cuando se usa en cálculos pequeños y también cuando se usa en cálculos grandes, sin embargo, el tratamiento B parece ser más efectivo cuando se consideran ambos tamaños al mismo tiempo. En este ejemplo, la variable "al acecho" (o variable de confusión ) que causa la paradoja es el tamaño de las piedras, que los investigadores no conocían previamente como importante hasta que se incluyeron sus efectos.
Qué tratamiento se considera mejor está determinado por qué proporción de éxito (éxitos / total) es mayor. La inversión de la desigualdad entre las dos razones al considerar los datos combinados, lo que crea la paradoja de Simpson, ocurre porque dos efectos ocurren juntos:
- Los tamaños de los grupos, que se combinan cuando se ignora la variable al acecho, son muy diferentes. Los médicos tienden a dar a los casos con cálculos grandes el mejor tratamiento A y los casos con cálculos pequeños al tratamiento inferior B. Por lo tanto, los totales están dominados por los grupos 3 y 2, y no por los dos grupos mucho más pequeños 1 y 4.
- La variable que acecha, el tamaño de la piedra, tiene un gran efecto en las proporciones; es decir, la tasa de éxito está más fuertemente influenciada por la gravedad del caso que por la elección del tratamiento. Por tanto, el grupo de pacientes con cálculos grandes que utilizan el tratamiento A (grupo 3) tiene peor evolución que el grupo con cálculos pequeños, incluso si este último utiliza el tratamiento inferior B (grupo 2).
Sobre la base de estos efectos, se ve que el resultado paradójico surge de la supresión del efecto causal del tamaño de las piedras sobre la posibilidad de un tratamiento exitoso. En resumen, el tratamiento B menos efectivo pareció ser más efectivo porque se aplicó con mayor frecuencia a los casos de cálculos pequeños, que eran más fáciles de tratar. [dieciséis]
Promedios de bateo
Un ejemplo común de la paradoja de Simpson involucra los promedios de bateo de los jugadores en el béisbol profesional . Es posible que un jugador tenga un promedio de bateo más alto que otro jugador cada año durante varios años, pero que tenga un promedio de bateo más bajo en todos esos años. Este fenómeno puede ocurrir cuando existen grandes diferencias en el número de turnos entre los años. El matemático Ken Ross demostró esto usando el promedio de bateo de dos jugadores de béisbol, Derek Jeter y David Justice , durante los años 1995 y 1996: [17] [18]
Año masa | 1995 | 1996 | Conjunto | |||
---|---|---|---|---|---|---|
Derek Jeter | 12/48 | .250 | 183/582 | .314 | 195/630 | .310 |
David Justice | 104/411 | .253 | 45/140 | .321 | 149/551 | .270 |
Tanto en 1995 como en 1996, Justice tuvo un promedio de bateo más alto (en negrita) que Jeter. Sin embargo, cuando se combinan las dos temporadas de béisbol, Jeter muestra un promedio de bateo más alto que Justice. Según Ross, este fenómeno se observaría aproximadamente una vez al año entre las posibles parejas de jugadores. [17]
Interpretación de vectores
La paradoja de Simpson también se puede ilustrar utilizando un espacio vectorial bidimensional . [19] Una tasa de éxito de(es decir, éxitos / intentos ) se pueden representar mediante un vector , Con una pendiente de. Un vector más empinado representa una mayor tasa de éxito. Si dos tarifas y se combinan, como en los ejemplos dados anteriormente, el resultado se puede representar por la suma de los vectores y , que según la regla del paralelogramo es el vector, con pendiente .
La paradoja de Simpson dice que incluso si un vector (en naranja en la figura) tiene una pendiente más pequeña que otro vector (en azul), y tiene una pendiente menor que , la suma de los dos vectores potencialmente todavía puede tener una pendiente mayor que la suma de los dos vectores , como se muestra en el ejemplo. Para que esto ocurra, uno de los vectores naranjas debe tener una pendiente mayor que uno de los vectores azules (aquí y ), y estos serán generalmente más largos que los vectores con subíndices alternativos, dominando así la comparación general.
Correlación entre variables
La paradoja de Simpson también puede surgir en las correlaciones , en las que dos variables parecen tener (digamos) una correlación positiva entre sí, cuando en realidad tienen una correlación negativa, ya que la inversión ha sido provocada por un factor de confusión "al acecho". Berman y col. [20] dan un ejemplo de economía, donde un conjunto de datos sugiere que la demanda general está correlacionada positivamente con el precio (es decir, los precios más altos conducen a una mayor demanda), en contradicción con las expectativas. El análisis revela que el tiempo es la variable de confusión: trazar el precio y la demanda contra el tiempo revela la correlación negativa esperada durante varios períodos, que luego se invierte para volverse positiva si se ignora la influencia del tiempo simplemente trazando la demanda contra el precio.
Implicaciones para la toma de decisiones
La importancia práctica de la paradoja de Simpson surge en situaciones de toma de decisiones en las que plantea el siguiente dilema: ¿Qué datos debemos consultar al elegir una acción, la agregada o la particionada? En el ejemplo anterior de cálculos renales, está claro que si a uno se le diagnostica "cálculos pequeños" o "cálculos grandes", se deben consultar los datos de la subpoblación respectiva y se preferiría el tratamiento A al tratamiento B. no diagnosticado y se desconoce el tamaño del cálculo; ¿Sería apropiado consultar los datos agregados y administrar el Tratamiento B? Esto sería contrario al sentido común; un tratamiento que se prefiere tanto bajo una condición como bajo su negación también debe preferirse cuando la condición es desconocida.
Por otro lado, si los datos divididos deben preferirse a priori , ¿qué impide dividir los datos en subcategorías arbitrarias (por ejemplo, según el color de los ojos o el dolor postratamiento) construidas artificialmente para producir opciones de tratamiento incorrectas? Pearl [4] muestra que, de hecho, en muchos casos son los datos agregados, no los particionados, los que dan la elección correcta de acción. Peor aún, dada la misma tabla, a veces se deben seguir los datos divididos y, a veces, los agregados, dependiendo de la historia detrás de los datos, y cada historia dicta su propia elección. Pearl [4] considera que esta es la verdadera paradoja detrás de la reversión de Simpson.
En cuanto a por qué y cómo una historia, no los datos, deben dictar las opciones, la respuesta es que es la historia la que codifica las relaciones causales entre las variables. Una vez que explicamos estas relaciones y las representamos formalmente, podemos probar qué partición da la preferencia de tratamiento correcta. Por ejemplo, si representamos relaciones causales en un gráfico llamado "diagrama causal" (ver Redes bayesianas ), podemos probar si los nodos que representan la partición propuesta interceptan caminos espurios en el diagrama. Esta prueba, denominada "criterio de puerta trasera", reduce la paradoja de Simpson a un ejercicio de teoría de grafos. [21]
Psicología
El interés psicológico en la paradoja de Simpson busca explicar por qué las personas consideran que la inversión de signos es imposible al principio, ofendidas por la idea de que una acción preferida tanto bajo una condición como bajo su negación debe ser rechazada cuando la condición es desconocida. La pregunta es de dónde las personas obtienen esta fuerte intuición y cómo se codifica en la mente .
La paradoja de Simpson demuestra que esta intuición no puede derivarse ni de la lógica clásica ni del cálculo de probabilidades únicamente, y por lo tanto llevó a los filósofos a especular que está respaldada por una lógica causal innata que guía a las personas en el razonamiento sobre las acciones y sus consecuencias. [ cita requerida ] El principio de seguridad de Savage [10] es un ejemplo de lo que tal lógica puede implicar. De hecho, se puede derivar una versión calificada del principio de cosa segura de Savage del do -calculus de Pearl [4] y dice: "Una acción A que aumenta la probabilidad de un evento B en cada subpoblación C i de C también debe aumentar la probabilidad de B en la población en su conjunto, siempre que la acción no modifique la distribución de las subpoblaciones ". Esto sugiere que el conocimiento sobre acciones y consecuencias se almacena en una forma que se asemeja a las redes bayesianas causales .
Probabilidad
Un artículo de Pavlides y Perlman presenta una prueba, debido a Hadjicostas, de que en una tabla aleatoria de 2 × 2 × 2 con distribución uniforme, la paradoja de Simpson ocurrirá con una probabilidad de exactamente 1 ⁄ 60 . [22] Un estudio de Kock sugiere que la probabilidad de que la paradoja de Simpson ocurra al azar en modelos de ruta (es decir, modelos generados por análisis de ruta ) con dos predictores y una variable de criterio es aproximadamente del 12,8 por ciento; ligeramente superior a 1 ocurrencia por cada 8 modelos de ruta. [23]
La segunda paradoja de Simpson
En su artículo de 1951 se discutió una "segunda" paradoja de Simpson menos conocida. Puede ocurrir cuando la interpretación racional no necesita encontrarse en la tabla separada, sino que puede residir en la tabla combinada. La forma de los datos que se debe utilizar depende del fondo y del proceso que da origen a los datos.
Norton y Divine dan un ejemplo hipotético de la segunda paradoja. [24]
Ver también
- Cuarteto de Anscombe : cuatro conjuntos de datos con las mismas estadísticas descriptivas, pero distribuciones muy diferentes
- Paradoja de Condorcet : situación en la teoría de la elección social donde las preferencias colectivas son cíclicas
- Falacia ecológica - Falacia lógica
- Correlación ecológica
- Paradoja del bajo peso al nacer
- Problema de unidad de área modificable
- Falacia del fiscal : una falacia del razonamiento estadístico que suele utilizar un fiscal para exagerar la probabilidad de culpabilidad del acusado.
- La paradoja de Berkson : la tendencia a malinterpretar experimentos estadísticos que involucran probabilidades condicionales
- Regla de Wyoming
Referencias
- ^ Clifford H. Wagner (febrero de 1982). "La paradoja de Simpson en la vida real". El estadístico estadounidense . 36 (1): 46–48. doi : 10.2307 / 2684093 . JSTOR 2684093 .
- ^ Holt, GB (2016). La paradoja potencial de Simpson en un estudio multicéntrico de quimioterapia intraperitoneal para el cáncer de ovario. Revista de Oncología Clínica, 34 (9), 1016–1016.
- ^ Franks, Alexander; Airoldi, Edoardo ; Slavov, Nikolai (2017). "Regulación postranscripcional a través de tejidos humanos" . PLOS Biología Computacional . 13 (5): e1005535. arXiv : 1506.00219 . doi : 10.1371 / journal.pcbi.1005535 . ISSN 1553-7358 . PMC 5440056 . PMID 28481885 .
- ^ a b c d e Judea Pearl . Causalidad: modelos, razonamiento e inferencia , Cambridge University Press (2000, segunda edición, 2009). ISBN 0-521-77362-8 .
- ^ Kock, N. y Gaskins, L. (2016). La paradoja de Simpson, la moderación y el surgimiento de relaciones cuadráticas en modelos de ruta: una ilustración de sistemas de información. Revista internacional de ciencia no lineal aplicada, 2 (3), 200-234.
- ^ IJ Good , Y. Mittal (junio de 1987). "La fusión y geometría de tablas de contingencia de dos por dos" . The Annals of Statistics . 15 (2): 694–711. doi : 10.1214 / aos / 1176350369 . ISSN 0090-5364 . JSTOR 2241334 .
- ^ Simpson, Edward H. (1951). "La interpretación de la interacción en tablas de contingencia". Revista de la Sociedad Real de Estadística, Serie B . 13 : 238–241.
- ^ Pearson, Karl ; Lee, Alice; Bramley-Moore, Lesley (1899). "Selección genética (reproductiva): herencia de la fertilidad en el hombre y de la fecundidad en caballos de carreras de pura sangre" . Philosophical Transactions de la Royal Society A . 192 : 257–330. doi : 10.1098 / rsta.1899.0006 .
- ^ GU Yule (1903). "Notas sobre la teoría de asociación de atributos en estadística" . Biometrika . 2 (2): 121-134. doi : 10.1093 / biomet / 2.2.121 .
- ^ a b Colin R. Blyth (junio de 1972). "Sobre la paradoja de Simpson y el principio seguro". Revista de la Asociación Estadounidense de Estadística . 67 (338): 364–366. doi : 10.2307 / 2284382 . JSTOR 2284382 .
- ^ Robert L. Wardrop (febrero de 1995). "La paradoja de Simpson y la mano caliente en el baloncesto". The American Statistician , 49 (1) : págs. 24-28.
- ^ Alan Agresti (2002). "Análisis de datos categóricos" (Segunda edición). John Wiley e hijosISBN 0-471-36093-7
- ^ David Freedman , Robert Pisani y Roger Purves (2007), Estadísticas (4ª edición), WW Norton . ISBN 0-393-92972-8 .
- ^ a b c PJ Bickel , EA Hammel y JW O'Connell (1975). "Sesgo de sexo en las admisiones de graduados: datos de Berkeley" (PDF) . Ciencia . 187 (4175): 398–404. doi : 10.1126 / science.187.4175.398 . PMID 17835295 .
- ^ CR Charig; DR Webb; SR Payne; JE Wickham (29 de marzo de 1986). "Comparación del tratamiento de cálculos renales mediante cirugía abierta, nefrolitotomía percutánea y litotricia extracorpórea por ondas de choque" . Br Med J (Clin Res Ed) . 292 (6524): 879–882. doi : 10.1136 / bmj.292.6524.879 . PMC 1339981 . PMID 3083922 .
- ^ a b Steven A. Julious; Mark A. Mullee (3 de diciembre de 1994). "La confusión y la paradoja de Simpson" . BMJ . 309 (6967): 1480–1481. doi : 10.1136 / bmj.309.6967.1480 . PMC 2541623 . PMID 7804052 .
- ^ a b Ken Ross. " A Mathematician at the Ballpark: Odds and Probabilities for Baseball Fans (Paperback) " Pi Press, 2004. ISBN 0-13-147990-3 . 12-13
- ^ Estadísticas disponibles en Baseball-Reference.com : Datos de Derek Jeter ; Datos de David Justice .
- ^ Kocik Jerzy (2001). "Pruebas sin palabras: paradoja de Simpson" (PDF) . Revista de Matemáticas . 74 (5): 399. doi : 10.2307 / 2691038 . JSTOR 2691038 .
- ^ Berman, S. DalleMule, L. Greene, M., Lucker, J. (2012), " Paradoja de Simpson: un cuento de precaución en análisis avanzado ", Importancia .
- ^ Pearl, Judea (diciembre de 2013). "Comprensión de la paradoja de Simpson" (PDF) . Laboratorio de sistemas cognitivos de UCLA, Informe técnico R-414 .
- ^ Marios G. Pavlides y Michael D. Perlman (agosto de 2009). "¿Qué tan probable es la paradoja de Simpson?" . El estadístico estadounidense . 63 (3): 226–233. doi : 10.1198 / tast.2009.09007 .
- ^ Kock, N. (2015). ¿Qué posibilidades hay de la paradoja de Simpson en los modelos de trayectoria? Revista internacional de colaboración electrónica, 11 (1), 1–7.
- ^ Norton, H. James; Divine, George (agosto de 2015). "La paradoja de Simpson ... y cómo evitarla" . Importancia . 12 (4): 40–43. doi : 10.1111 / j.1740-9713.2015.00844.x .
Bibliografía
- Leila Schneps y Coralie Colmez , Math en juicio. Cómo se usan y abusan los números en la sala del tribunal , Basic Books, 2013. ISBN 978-0-465-03292-1 . (Sexto capítulo: "Error matemático número 6: la paradoja de Simpson. El caso del sesgo sexual de Berkeley: detección de discriminación").
enlaces externos
- ¿Los votantes más ricos eran más propensos a votar por Trump? (La paradoja de Simpson) - Video de YouTube que explica la paradoja de Simpson.
- Cómo las estadísticas pueden ser engañosas - Mark Liddell - Lección y video TED-Ed.
- Enciclopedia de Filosofía de Stanford : " La paradoja de Simpson " - por Gary Malinas.
- Usos más antiguos conocidos de algunas de las palabras de las matemáticas: S
- Para una breve historia de los orígenes de la paradoja, consulte las entradas "Paradoja de Simpson" y "Correlación espuria".
- Pearl, Judea , " El arte y la ciencia de la causa y el efecto " . Una presentación de diapositivas y una conferencia tutorial.
- Pearl, Judea , "La paradoja de Simpson: una anatomía" ( PDF )
- Pearl, Judea , "El principio de lo seguro" ( PDF )
- Artículos cortos de Alexander Bogomolny en Cut-the-knot:
- " Fracciones mediantes " .
- " La paradoja de Simpson " .
- La columna del Wall Street Journal "The Numbers Guy" del 2 de diciembre de 2009 trataba sobre casos recientes de la paradoja de Simpson en las noticias. Cabe destacar la paradoja de Simpson en la comparación de las tasas de desempleo de la recesión de 2009 con la recesión de 1983.
- ¿Cómo resolver la paradoja de Simpson? pregunta sobre estadísticas del sitio de preguntas y respuestas CrossValidated
- At the Plate, a Statistical Puzzler: Understanding Simpson's Paradox por Arthur Smith, 20 de agosto de 2010
- Reich, Henry . "La paradoja de Simpson" (video) . YouTube . MinutePhysics . Consultado el 24 de octubre de 2017 .