Una cadena de Markov de tiempo continuo ( CTMC ) es un proceso estocástico continuo en el que, para cada estado, el proceso cambiará de estado de acuerdo con una variable aleatoria exponencial y luego se moverá a un estado diferente según lo especificado por las probabilidades de una matriz estocástica . Una formulación equivalente describe el proceso como un estado cambiante de acuerdo con el valor mínimo de un conjunto de variables aleatorias exponenciales, una para cada estado posible al que puede moverse, con los parámetros determinados por el estado actual.
Un ejemplo de CTMC con tres estados es como sigue: el proceso hace una transición después de la cantidad de tiempo especificada por el tiempo de espera - una variable aleatoria exponencial, donde i es su estado actual. Cada variable aleatoria es independiente y tal que, y . Cuando se va a realizar una transición, el proceso se mueve de acuerdo con la cadena de salto , una cadena de Markov de tiempo discreto con matriz estocástica:
De manera equivalente, según la teoría de exponenciales en competencia , esta CTMC cambia de estado desde el estado i de acuerdo con el mínimo de dos variables aleatorias, que son independientes y tales que por donde los parámetros vienen dados por la matriz Q
Cada valor no diagonal se puede calcular como el producto del tiempo de retención del estado original con la probabilidad de que la cadena de salto se mueva al estado dado. Los valores diagonales se eligen de modo que cada fila sume 0.
Una CTMC satisface la propiedad de Markov de que su comportamiento depende solo de su estado actual y no de su comportamiento pasado, debido a la falta de memoria de la distribución exponencial y de las cadenas de Markov en tiempo discreto.
Definición
Una cadena de Markov de tiempo continuo ( X t ) t ≥ 0 se define por: [1]
- un espacio de estados finito o contable S ;
- una matriz de tasas de transición Q con dimensiones iguales a las de S ; y
- un estado inicial tal que , o una distribución de probabilidad para este primer estado.
Para i ≠ j , los elementos q ij no son negativos y describen la velocidad de las transiciones del proceso del estado i al estado j . Los elementos q ii podrían elegirse como cero, pero por conveniencia matemática, una convención común es elegirlos de manera que cada fila de sumas a cero, es decir:
Observe cómo esto difiere de la definición de matriz de transición para cadenas de Markov discretas , donde las sumas de las filas son todas iguales a uno.
Hay otras tres definiciones del proceso, equivalentes a la anterior. [2]
Definición de probabilidad de transición
Otra forma común de definir cadenas de Markov de tiempo continuo es, en lugar de la matriz de tasa de transición , utilice lo siguiente: [1]
- , por , que representa la tasa de caída (de una distribución exponencial) que el sistema permanece en estado una vez que entra en él; y
- , por , que representa la probabilidad de que el sistema pase al estado , dado que actualmente está saliendo del estado .
Naturalmente, debe ser cero para todos .
Los valores y están estrechamente relacionados con la matriz de tasas de transición , por las fórmulas:
Considere una secuencia ordenada de instantes de tiempo y los estados registrados en estos momentos , entonces sostiene que:
- [ dudoso ]
donde p ij es la solución de la ecuación directa (una ecuación diferencial de primer orden ):
siendo la condición inicial P (0) la matriz identidad .
Definición infinitesimal
Dejar ser la variable aleatoria que describe el estado del proceso en el tiempo t , y suponga que el proceso está en un estado i en el tiempo t . Por definición de la cadena de Markov de tiempo continuo, es independiente de los valores anteriores al instante ; es decir, es independiente de. Con eso en mente, para todos, para todos y para pequeños valores de , lo siguiente es válido:
- ,
dónde es el delta de Kronecker y se ha empleado la notación pequeña-o .
La ecuación anterior muestra que puede verse como una medida de la rapidez con que se realiza la transición a pasa por y la rapidez con la que se aleja de pasa por .
Definición de cadena de salto / tiempo de espera
Defina una cadena de Markov de tiempo discreto Y n para describir el n- ésimo salto del proceso y las variables S 1 , S 2 , S 3 , ... para describir los tiempos de retención en cada uno de los estados donde S i sigue la distribución exponencial con tasa parámetro - q Y i Y i .
Propiedades
Comunicando clases
Las clases comunicantes, la transitoriedad, la recurrencia y la recurrencia positiva y nula se definen de manera idéntica a las cadenas de Markov de tiempo discreto .
Comportamiento transitorio
Escriba P ( t ) para la matriz con entradas p ij = P ( X t = j | X 0 = i ). Entonces la matriz P ( t ) satisface la ecuación directa, una ecuación diferencial de primer orden
donde el primo denota diferenciación con respecto a t . La solución a esta ecuación viene dada por una matriz exponencial
En un caso simple como una CTMC en el espacio de estado {1,2}. La matriz Q general para tal proceso es la siguiente matriz 2 × 2 con α , β > 0
La relación anterior para la matriz directa se puede resolver explícitamente en este caso para dar
Sin embargo, las soluciones directas son complicadas de calcular para matrices más grandes. El hecho de que Q es el generador de un semigrupo de matrices
se utiliza.
Distribución estacionaria
La distribución estacionaria para una CTMC recurrente irreducible es la distribución de probabilidad a la que converge el proceso para valores grandes de t . Observe que para el proceso de dos estados considerado anteriormente con P ( t ) dado por
cuando t → ∞ la distribución tiende a
Observe que cada fila tiene la misma distribución ya que esto no depende del estado inicial. El vector de fila π se puede encontrar resolviendo [3]
con la restricción adicional de que
Ejemplo 1
La imagen de la derecha describe una cadena de Markov de tiempo continuo con espacio de estado {mercado alcista, mercado bajista, mercado estancado} y matriz de tasas de transición.
La distribución estacionaria de esta cadena se puede encontrar resolviendo , sujeto a la restricción de que los elementos deben sumar 1 para obtener
Ejemplo 2
La imagen de la derecha describe una cadena de Markov en tiempo discreto que modela a Pac-Man con espacio de estado {1,2,3,4,5,6,7,8,9}. El jugador controla a Pac-Man a través de un laberinto, comiendo pac-puntos. Mientras tanto, está siendo perseguido por fantasmas. Por conveniencia, el laberinto será una pequeña cuadrícula de 3x3 y los monstruos se moverán aleatoriamente en direcciones horizontales y verticales. Se puede utilizar un pasaje secreto entre los estados 2 y 8 en ambas direcciones. Las entradas con probabilidad cero se eliminan en la siguiente matriz de tasas de transición:
Esta cadena de Markov es irreductible, porque los fantasmas pueden volar de cada estado a cada estado en una cantidad de tiempo finita. Debido al pasaje secreto, la cadena de Markov también es aperiódica, porque los monstruos pueden moverse de cualquier estado a cualquier estado tanto en un número par como en un número impar de transiciones de estado. Por lo tanto, existe una distribución estacionaria única y se puede encontrar resolviendo, sujeto a la restricción de que los elementos deben sumar 1. La solución de esta ecuación lineal sujeta a la restricción es El estado central y los estados fronterizos 2 y 8 del pasaje secreto adyacente son los más visitados y los estados de las esquinas son los menos visitados.
Inversión del tiempo
Para una CTMC X t , el proceso inverso en el tiempo se define como. Según el lema de Kelly, este proceso tiene la misma distribución estacionaria que el proceso de avance.
Se dice que una cadena es reversible si el proceso inverso es el mismo que el proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las tasas de transición alrededor de un circuito cerrado debe ser el mismo en ambas direcciones.
Cadena de Markov incrustada
Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , es encontrar primero su cadena de Markov incrustada (EMC) . Estrictamente hablando, la EMC es una cadena de Markov de tiempo discreto regular, a veces denominada proceso de salto . Cada elemento de la matriz de probabilidad de transición de un paso de la EMC, S , se denota por s ij , y representa la probabilidad condicional de pasar del estado i al estado j . Estas probabilidades condicionales se pueden encontrar por
A partir de esto, S puede escribirse como
donde I es la matriz identidad y diag ( Q ) es la matriz diagonal formada al seleccionar la diagonal principal de la matriz Q y establecer todos los demás elementos en cero.
Para encontrar el vector de distribución de probabilidad estacionario, a continuación debemos encontrar tal que
con siendo un vector de fila, de modo que todos los elementos en son mayores que 0 y = 1. A partir de esto, π se puede encontrar como
( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , debe normalizarse a un vector unitario ).
Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ, la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0), X (δ), X (2δ), ... dan la secuencia de estados visitados por el esqueleto δ.
Ver también
Notas
- ↑ a b Ross, SM (2010). Introducción a los modelos de probabilidad (10 ed.). Elsevier. ISBN 978-0-12-375686-2.
- ^ Norris, JR (1997). "Cadenas de Markov en tiempo continuo I". Cadenas de Markov . págs. 60-107. doi : 10.1017 / CBO9780511810633.004 . ISBN 9780511810633.
- ^ Norris, JR (1997). "Cadenas de Markov en tiempo continuo II". Cadenas de Markov . págs. 108-127. doi : 10.1017 / CBO9780511810633.005 . ISBN 9780511810633.
Referencias
- AA Markov (1971). "Extensión de los teoremas límite de la teoría de la probabilidad a una suma de variables conectadas en una cadena". reimpreso en el Apéndice B de: R. Howard. Sistemas probabilísticos dinámicos, volumen 1: Cadenas de Markov . John Wiley e hijos.
- Markov, AA (2006). Traducido por Link, David. "Un ejemplo de investigación estadística del texto Eugene Onegin sobre la conexión de muestras en cadenas" . Ciencia en contexto . 19 (4): 591–600. doi : 10.1017 / s0269889706001074 .
- Leo Breiman (1992) [1968] Probabilidad . Edición original publicada por Addison-Wesley; reimpreso por Society for Industrial and Applied MathematicsISBN 0-89871-296-3 . (Ver Capítulo 7)
- JL Doob (1953) Procesos estocásticos . Nueva York: John Wiley and Sons ISBN 0-471-52369-0 .
- SP Meyn y RL Tweedie (1993) Cadenas de Markov y estabilidad estocástica . Londres: Springer-Verlag ISBN 0-387-19832-6 . en línea: MCSS . Segunda edición publicada, Cambridge University Press, 2009.
- Kemeny, John G .; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Estructuras matemáticas finitas (1ª ed.). Englewood Cliffs, Nueva Jersey: Prentice-Hall, Inc. Número de catálogo de la tarjeta de la Biblioteca del Congreso 59-12841.Texto clásico. cf Capítulo 6 Cadenas de Markov finitas págs. 384ss.
- John G. Kemeny y J. Laurie Snell (1960) Cadenas finitas de Markov , D. van Nostrand Company ISBN 0-442-04328-7
- E. Nummelin. "Cadenas de Markov irreductibles generales y operadores no negativos". Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X
- Seneta, E. Matrices no negativas y cadenas de Markov . 2da rev. ed., 1981, XVI, 288 p., Softcover Springer Series in Statistics. (Publicado originalmente por Allen & Unwin Ltd., Londres, 1973) ISBN 978-0-387-29765-1