La independencia es una noción fundamental en la teoría de la probabilidad , como en la estadística y la teoría de procesos estocásticos .
Dos eventos son independientes , estadísticamente independientes o estocásticamente independientes [1] si la ocurrencia de uno no afecta la probabilidad de ocurrencia del otro (de manera equivalente, no afecta las probabilidades ). De manera similar, dos variables aleatorias son independientes si la realización de una no afecta la distribución de probabilidad de la otra.
Cuando se trata de colecciones de más de dos eventos, es necesario distinguir una noción de independencia débil y una fuerte. Los eventos se denominan independientes por pares si dos eventos de la colección son independientes entre sí, mientras que decir que los eventos son mutuamente independientes (o colectivamente independientes ) significa intuitivamente que cada evento es independiente de cualquier combinación de otros eventos de la colección. Existe una noción similar para las colecciones de variables aleatorias.
El nombre "independencia mutua" (lo mismo que "independencia colectiva") parece el resultado de una elección pedagógica, simplemente para distinguir la noción más fuerte de la "independencia por parejas", que es una noción más débil. En la literatura avanzada de la teoría de la probabilidad, la estadística y los procesos estocásticos, la noción más fuerte se llama simplemente independencia sin modificador. Es más fuerte ya que la independencia implica independencia por pares, pero no al revés.
Definición
Para eventos
Dos eventos
Dos eventos y son independientes (a menudo escritos como o ) si y solo si su probabilidad conjunta es igual al producto de sus probabilidades: [2] : p. 29 [3] : pág. 10
| ( Ecuación 1 ) |
Por qué esto define la independencia se aclara reescribiendo con probabilidades condicionales :
y de manera similar
Por tanto, la ocurrencia de no afecta la probabilidad de , y viceversa. Aunque las expresiones derivadas pueden parecer más intuitivas, no son la definición preferida, ya que las probabilidades condicionales pueden no estar definidas si o son 0. Además, la definición preferida deja claro por simetría que cuando es independiente de , también es independiente de .
Contenido de información y probabilidad de registro
Expresado en términos de probabilidad logarítmica , dos eventos son independientes si y solo si la probabilidad logarítmica del evento conjunto es la suma de la probabilidad logarítmica de los eventos individuales:
En la teoría de la información , la probabilidad logarítmica negativa se interpreta como contenido de información y, por lo tanto, dos eventos son independientes si y solo si el contenido de información del evento combinado es igual a la suma del contenido de información de los eventos individuales:
Consulte Contenido de información § Aditividad de eventos independientes para obtener más detalles.
Impares
Expresado en términos de probabilidades , dos eventos son independientes si y solo si la razón de probabilidades de y es la unidad (1). De manera análoga a la probabilidad, esto equivale a que las probabilidades condicionales sean iguales a las probabilidades incondicionales:
o que las probabilidades de un evento, dado el otro evento, sean las mismas que las probabilidades del evento, dado que el otro evento no ocurre:
La razón de posibilidades se puede definir como
o simétricamente para las probabilidades de dado , y por lo tanto es 1 si y solo si los eventos son independientes.
Más de dos eventos
Un conjunto finito de eventos es independiente por pares si cada par de eventos es independiente [4] , es decir, si y solo si para todos los pares distintos de índices,
| ( Ecuación 2 ) |
Un conjunto finito de eventos es mutuamente independiente si cada evento es independiente de cualquier intersección de los otros eventos [4] [3] : p. 11 , es decir, si y solo si para cada y por cada -subconjunto de elementos de eventos de ,
| ( Ecuación 3 ) |
Esto se llama regla de multiplicación para eventos independientes. Tenga en cuenta que no es una condición única que involucra solo el producto de todas las probabilidades de todos los eventos individuales; debe ser cierto para todos los subconjuntos de eventos.
Para más de dos eventos, un conjunto de eventos mutuamente independientes es (por definición) independiente por pares; pero lo contrario no es necesariamente cierto . [2] : pág. 30
Para variables aleatorias de valor real
Dos variables aleatorias
Dos variables aleatorias y son independientes si y solo si (si) los elementos del sistema π generados por ellos son independientes; es decir, por cada y , los eventos y son eventos independientes (como se definieron anteriormente en la ecuación 1 ). Es decir, y con funciones de distribución acumulativa y , son independientes si la variable aleatoria combinadatiene una función de distribución acumulativa conjunta [3] : p. 15
| ( Ecuación 4 ) |
o equivalentemente, si las densidades de probabilidad y y la densidad de probabilidad conjunta existe,
Más de dos variables aleatorias
Un conjunto finito de variables aleatorias es independiente por pares si y solo si cada par de variables aleatorias es independiente. Incluso si el conjunto de variables aleatorias es independiente por pares, no es necesariamente independiente entre sí como se define a continuación.
Un conjunto finito de variables aleatorias es mutuamente independiente si y solo si para cualquier secuencia de números, los eventos son eventos mutuamente independientes (como se definieron anteriormente en la ecuación 3 ). Esto es equivalente a la siguiente condición en la función de distribución acumulada conjunta. Un conjunto finito de variables aleatorias es mutuamente independiente si y solo si [3] : p. dieciséis
| ( Ecuación 5 ) |
Nótese que aquí no es necesario exigir que la distribución de probabilidad factorice para todos los posibles -subconjuntos de elementos como en el caso deeventos. Esto no es necesario porque, por ejemplo, implica .
Los inclinados a la teoría de la medida pueden preferir sustituir eventos para eventos en la definición anterior, donde es cualquier conjunto de Borel . Esa definición es exactamente equivalente a la anterior cuando los valores de las variables aleatorias son números reales . Tiene la ventaja de trabajar también para variables aleatorias de valor complejo o para variables aleatorias que toman valores en cualquier espacio medible (que incluye espacios topológicos dotados de σ-álgebras apropiadas).
Para vectores aleatorios de valor real
Dos vectores aleatorios y se llaman independientes si [5] : p. 187
| ( Ecuación 6 ) |
dónde y denotar las funciones de distribución acumulativa de y y denota su función de distribución acumulativa conjunta. Independencia de y a menudo se denota por . Escrito por componentes, y se llaman independientes si
Para procesos estocásticos
Para un proceso estocástico
La definición de independencia puede extenderse de vectores aleatorios a un proceso estocástico . Por lo tanto, para un proceso estocástico independiente se requiere que las variables aleatorias obtenidas al muestrear el proceso en cualquier veces son variables aleatorias independientes para cualquier . [6] : pág. 163
Formalmente, un proceso estocástico se llama independiente, si y solo si para todos y para todos
| ( Ecuación 7 ) |
dónde . La independencia de un proceso estocástico es una propiedad dentro de un proceso estocástico, no entre dos procesos estocásticos.
Para dos procesos estocásticos
La independencia de dos procesos estocásticos es una propiedad entre dos procesos estocásticos y que se definen en el mismo espacio de probabilidad . Formalmente, dos procesos estocásticos y se dice que son independientes si para todos y para todos , los vectores aleatorios y son independientes, [7] : pág. 515 es decir, si
| ( Ecuación 8 ) |
Σ-álgebras independientes
Las definiciones anteriores ( ecuación 1 y ecuación 2 ) están generalizadas por la siguiente definición de independencia para σ-álgebras . Dejar ser un espacio de probabilidad y dejar y ser dos sub-σ-álgebras de . y se dice que son independientes si, siempre que y ,
Asimismo, una familia finita de σ-álgebras , dónde es un conjunto de índices , se dice que es independiente si y solo si
y se dice que una familia infinita de σ-álgebras es independiente si todas sus subfamilias finitas son independientes.
La nueva definición se relaciona con las anteriores de manera muy directa:
- Dos eventos son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). La σ-álgebra generada por un evento es, por definición,
- Dos variables aleatorias y definido sobre son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). La σ-álgebra generada por una variable aleatoriatomando valores en algún espacio medible consiste, por definición, en todos los subconjuntos de de la forma , dónde es cualquier subconjunto medible de .
Usando esta definición, es fácil demostrar que si y son variables aleatorias y es constante, entonces y son independientes, ya que la σ-álgebra generada por una variable aleatoria constante es la σ-álgebra trivial . Los eventos de probabilidad cero no pueden afectar la independencia, por lo que la independencia también es válida sies sólo Pr- casi con seguridad constante.
Propiedades
Autoindependencia
Tenga en cuenta que un evento es independiente de sí mismo si y solo si
Así, un evento es independiente de sí mismo si y sólo si ocurre casi con seguridad o su complemento ocurre casi con certeza; este hecho es útil para probar leyes cero-uno . [8]
Expectativa y covarianza
Si y son variables aleatorias independientes, entonces el operador de expectativa tiene la propiedad
y la covarianza es cero, como sigue de
Lo contrario no se cumple: si dos variables aleatorias tienen una covarianza de 0, es posible que aún no sean independientes. Ver no correlacionado .
De manera similar para dos procesos estocásticos y : Si son independientes, entonces no están correlacionados. [9] : pág. 151
Función característica
Dos variables aleatorias y son independientes si y solo si la función característica del vector aleatorio satisface
En particular, la función característica de su suma es el producto de sus funciones características marginales:
aunque la implicación inversa no es cierta. Las variables aleatorias que satisfacen esta última condición se denominan subindependientes .
Ejemplos de
Dados rodantes
El evento de obtener un 6 la primera vez que se lanza un dado y el evento de obtener un 6 la segunda vez son independientes . Por el contrario, el evento de obtener un 6 la primera vez que se lanza un dado y el evento de que la suma de los números vistos en la primera y segunda prueba sea 8 no son independientes.
Tarjetas de dibujo
Si se sacan dos cartas con reemplazo de una baraja de cartas, el evento de sacar una tarjeta roja en el primer intento y el de sacar una tarjeta roja en el segundo intento son independientes . Por el contrario, si se extraen dos cartas sin reemplazo de una baraja de cartas, el evento de sacar una carta roja en el primer intento y el de sacar una roja en el segundo intento no son independientes, porque una baraja que ha tenido una roja la tarjeta extraída tiene proporcionalmente menos tarjetas rojas.
Independencia mutua y por parejas
Considere los dos espacios de probabilidad que se muestran. En ambos casos, y . Las variables aleatorias en el primer espacio son independientes por pares porque, , y ; pero las tres variables aleatorias no son mutuamente independientes. Las variables aleatorias en el segundo espacio son independientes por pares y mutuamente independientes. Para ilustrar la diferencia, considere el condicionamiento en dos eventos. En el caso independiente por pares, aunque cualquier evento es independiente de cada uno de los otros dos individualmente, no es independiente de la intersección de los otros dos:
En el caso mutuamente independiente, sin embargo,
Independencia mutua
Es posible crear un ejemplo de tres eventos en el que
y, sin embargo, no hay dos de los tres eventos independientes por pares (y por lo tanto el conjunto de eventos no son mutuamente independientes). [10] Este ejemplo muestra que la independencia mutua implica requisitos sobre los productos de las probabilidades de todas las combinaciones de eventos, no solo los eventos individuales como en este ejemplo.
Independencia condicional
Para eventos
Los eventos y son condicionalmente independientes dado un evento Cuándo
.
Para variables aleatorias
Intuitivamente, dos variables aleatorias y son condicionalmente independientes dado si, una vez es conocido, el valor de no agrega ninguna información adicional sobre . Por ejemplo, dos medidas y de la misma cantidad subyacente no son independientes, pero son condicionalmente independientes dado (a menos que los errores en las dos mediciones estén conectados de alguna manera).
La definición formal de independencia condicional se basa en la idea de distribuciones condicionales . Si, , y son variables aleatorias discretas , entonces definimos y ser condicionalmente independiente dado Si
para todos , y tal que . Por otro lado, si las variables aleatorias son continuas y tienen una función de densidad de probabilidad conjunta , luego y son condicionalmente independientes dado Si
para todos los números reales , y tal que .
Si discreto y son condicionalmente independientes dado , luego
para cualquier , y con . Es decir, la distribución condicional para dado y es el mismo que el dado solo. Una ecuación similar es válida para las funciones de densidad de probabilidad condicional en el caso continuo.
La independencia puede verse como un tipo especial de independencia condicional, ya que la probabilidad puede verse como un tipo de probabilidad condicional dado que no hay eventos.
Ver también
- Cópula (estadísticas)
- Variables aleatorias independientes e idénticamente distribuidas
- Eventos mutuamente excluyentes
- Eventos independientes por pares
- Subindependencia
- Independencia condicional
- Normalmente distribuido y no correlacionado no implica independiente
- Dependencia media
Referencias
- ^ Russell, Stuart; Norvig, Peter (2002). Inteligencia artificial: un enfoque moderno . Prentice Hall . pag. 478 . ISBN 0-13-790395-2.
- ^ a b Florescu, Ionut (2014). Probabilidad y procesos estocásticos . Wiley. ISBN 978-0-470-62455-5.
- ^ a b c d Gallager, Robert G. (2013). Teoría de procesos estocásticos para aplicaciones . Prensa de la Universidad de Cambridge. ISBN 978-1-107-03975-9.
- ^ a b Feller, W. (1971). "Independencia estocástica". Introducción a la teoría de la probabilidad y sus aplicaciones . Wiley .
- ^ Papoulis, Athanasios (1991). Probabilidad, variables aleatorias y procesos estocásticos . MCGraw Hill. ISBN 0-07-048477-5.
- ^ Hwei, Piao (1997). Teoría y problemas de probabilidad, variables aleatorias y procesos aleatorios . McGraw-Hill. ISBN 0-07-030644-3.
- ^ Amos Lapidoth (8 de febrero de 2017). Una base en la comunicación digital . Prensa de la Universidad de Cambridge. ISBN 978-1-107-17732-1.
- ^ Durrett, Richard (1996). Probabilidad: teoría y ejemplos (Segunda ed.). página 62
- ^ Park, Kun Il (2018). Fundamentos de Probabilidad y Procesos Estocásticos con Aplicaciones a las Comunicaciones . Saltador. ISBN 978-3-319-68074-3.
- ^ George, Glyn, "Prueba de la independencia de tres eventos", Mathematical Gazette 88, noviembre de 2004, 568. PDF
enlaces externos
- Medios relacionados con la dependencia estadística en Wikimedia Commons