En la teoría matemática de la probabilidad , una cadena de Markov absorbente es una cadena de Markov en la que cada estado puede alcanzar un estado absorbente. Un estado absorbente es un estado que, una vez ingresado, no se puede abandonar.
Al igual que las cadenas de Markov generales, puede haber cadenas de Markov de absorción de tiempo continuo con un espacio de estado infinito. Sin embargo, este artículo se concentra en el caso del espacio de estado discreto de tiempo discreto.
Definicion formal
Una cadena de Markov es una cadena absorbente si [1] [2]
- hay al menos un estado absorbente y
- es posible pasar de cualquier estado a al menos un estado absorbente en un número finito de pasos.
En una cadena de Markov absorbente, un estado que no absorbe se llama transitorio.
Forma canónica
Supongamos que una cadena de Markov absorbente con matriz de transición P tiene t estados transitorios y r estados absorbentes. Luego
donde Q es una matriz t- por- t , R es una matriz t- por- r distinta de cero , 0 es una matriz r- por- t cero, e I r es la matriz de identidad r- por- r . Por tanto, Q describe la probabilidad de pasar de un estado transitorio a otro, mientras que R describe la probabilidad de pasar de un estado transitorio a un estado absorbente.
Matriz fundamental
Una propiedad básica de una cadena de Markov absorbente es el número esperado de visitas a un estado transitorio j a partir de un estado transitorio i (antes de ser absorbido). La probabilidad de pasar de i a j en exactamente k pasos es la entrada ( i , j ) de Q k . Resumiendo esto para todos k (de 0 a ∞) produce la matriz fundamental, denotada por N . Se puede probar que
donde I t es la matriz de identidad t- por- t . La entrada ( i , j ) de la matriz N es el número esperado de veces que la cadena está en el estado j , dado que la cadena comenzó en el estado i . Con la matriz N en la mano, otras propiedades de la cadena de Markov son fáciles de obtener. [2]
Esta matriz fundamental se puede considerar como una matriz equivalente de la siguiente serie geométrica :
Varianza en el número de visitas
La varianza en el número de visitas a un estado transitorio j con comenzar en un estado transitorio i (antes de ser absorbido) es la entrada ( i , j ) de la matriz
donde N dg es la matriz diagonal con la misma diagonal que N y N sq es el producto de Hadamard de N consigo mismo (es decir, cada entrada de N es al cuadrado).
Número esperado de pasos
El número esperado de pasos antes de ser absorbido al comenzar en el estado transitorio i es la i- ésima entrada del vector
donde 1 es un vector de columna de longitud t cuyas entradas son todas 1.
Varianza en el número de pasos
La varianza en el número de pasos antes de ser absorbido al comenzar en el estado transitorio i es la i- ésima entrada del vector
donde t sq es el producto de Hadamard de t consigo mismo (es decir, cada entrada de t se eleva al cuadrado).
Probabilidades transitorias
La probabilidad de visitar el estado transitorio j cuando se comienza en un estado transitorio i es la entrada ( i , j ) de la matriz
donde N dg es la matriz diagonal con la misma diagonal como N .
Absorber probabilidades
Otra propiedad es la probabilidad de ser absorbido en el estado absorbente j cuando se parte del estado transitorio i , que es la entrada ( i , j ) de la matriz.
Alternativamente, esta probabilidad también se puede obtener directamente de la entrada ( i , j ) depara un valor suficientemente grande de n . Es decir:
Ejemplos de
Generación de cadenas
Considere el proceso de lanzar repetidamente una moneda justa hasta que aparezca la secuencia (cara, cruz, cara). Este proceso está modelado por una cadena de Markov absorbente con matriz de transición.
El primer estado representa la cadena vacía , el segundo estado la cadena "H", el tercer estado la cadena "HT" y el cuarto estado la cadena "HTH". Aunque en realidad, los lanzamientos de la moneda cesan después de que se genera la cadena "HTH", la perspectiva de la cadena de Markov absorbente es que el proceso ha pasado al estado absorbente que representa la cadena "HTH" y, por lo tanto, no puede salir.
Para esta cadena de Markov absorbente, la matriz fundamental es
El número esperado de pasos a partir de cada uno de los estados transitorios es
Por lo tanto, el número esperado de lanzamientos de monedas antes de observar la secuencia (cara, cruz, cara) es 10, la entrada para el estado que representa la cadena vacía.
Juegos de azar
Los juegos basados completamente en el azar pueden modelarse mediante una cadena de Markov absorbente. Un ejemplo clásico de esto es el antiguo juego de mesa indio Snakes and Ladders . El gráfico de la derecha [3] traza la masa de probabilidad en el estado de absorción solitario que representa el cuadrado final a medida que la matriz de transición se eleva a potencias cada vez mayores. Para determinar el número esperado de turnos para completar el juego, calcule el vector t como se describió anteriormente y examine t inicio , que es aproximadamente 39,2.
Clínica de enfermedades infecciosas
El ejemplo de las pruebas de enfermedades infecciosas, ya sea en productos sanguíneos o en clínicas médicas, a menudo se enseña como un ejemplo de una cadena de Markov absorbente. [4] El modelo público de los Centros para el Control y la Prevención de Enfermedades (CDC) de EE. UU. Para el VIH y la hepatitis B, por ejemplo, [5] ilustra la propiedad de que la absorción de las cadenas de Markov puede conducir a la detección de enfermedades, frente a la pérdida de detección a través de otros medios.
En el modelo estándar de los CDC, la cadena de Markov tiene cinco estados, un estado en el que el individuo no está infectado, luego un estado con virus infectado pero indetectable, un estado con virus detectable y estados absorbentes de haber abandonado / perdido de la clínica, o de haber sido detectado (el gol). Las tasas típicas de transición entre los estados de Markov son la probabilidad p por unidad de tiempo de estar infectado con el virus, w para la tasa de eliminación del período de ventana (tiempo hasta que el virus es detectable), q para la tasa de abandono / pérdida del sistema, y d para la detección, asumiendo una tasa típica en el que el sistema de salud administra las pruebas del hemoderivado o de los pacientes en cuestión.
De ello se deduce que podemos "recorrer" el modelo de Markov para identificar la probabilidad general de detección de una persona que comienza como no detectada, multiplicando las probabilidades de transición a cada siguiente estado del modelo como:
.
El número absoluto posterior total de pruebas falsas negativas, la principal preocupación de los CDC, sería entonces la tasa de pruebas, multiplicada por la probabilidad de alcanzar el estado infectado pero indetectable, multiplicado por la duración de permanecer en el estado indetectable infectado:
.
Ver también
Referencias
- ↑ a b Grinstead, Charles M .; Snell, J. Laurie (julio de 1997). "Capítulo 11: Cadenas de Markov" (PDF) . Introducción a la probabilidad . Sociedad Matemática Estadounidense. ISBN 978-0-8218-0749-1.
- ^ a b Kemeny, John G .; Snell, J. Laurie (julio de 1976) [1960]. "Cap. 3: Absorber cadenas de Markov". En Gehring, FW; Halmos, PR (eds.). Cadenas finitas de Markov (Segunda ed.). Nueva York Berlín Heidelberg Tokio: Springer-Verlag. págs. 224 . ISBN 978-0-387-90192-3.
- ^ Basado en la definición encontrada en SC Althoen; L. King; K. Schilling (marzo de 1993). "¿Cuánto dura un juego de serpientes y escaleras?". La Gaceta Matemática . The Mathematical Gazette, vol. 77, núm. 478. 78 (478): 71–76. doi : 10.2307 / 3619261 . JSTOR 3619261 .
- ^ resultados, búsqueda (1998-07-28). Cadenas de Markov . Cambridge: Cambridge University Press. ISBN 9780521633963.
- ^ Sanders, Gillian D .; Anaya, Henry D .; Asch, Steven; Hoang, Tuyen; Golden, Joya F .; Bayoumi, Ahmed M .; Owens, Douglas K. (junio de 2010). "Rentabilidad de las estrategias para mejorar la prueba del VIH y la recepción de resultados: análisis económico de un ensayo controlado aleatorio" . Revista de Medicina Interna General . 25 (6): 556–563. doi : 10.1007 / s11606-010-1265-5 . ISSN 0884-8734 . PMC 2869414 . PMID 20204538 .
enlaces externos
- Proyecto de demostración Wolfram: Absorber la cadena de Markov
- El monopolio como cadena de Markov