Cadena de Markov en tiempo continuo
Una cadena de Markov de tiempo continuo ( CTMC ) es un proceso estocástico continuo en el que, para cada estado, el proceso cambiará de estado de acuerdo con una variable aleatoria exponencial y luego se moverá a un estado diferente según lo especificado por las probabilidades de una matriz estocástica . Una formulación equivalente describe el proceso como un estado cambiante de acuerdo con el valor mínimo de un conjunto de variables aleatorias exponenciales, una para cada estado posible al que puede moverse, con los parámetros determinados por el estado actual.
Un ejemplo de CTMC con tres estados es el siguiente: el proceso hace una transición después de la cantidad de tiempo especificada por el tiempo de espera , una variable aleatoria exponencial , donde i es su estado actual. Cada variable aleatoria es independiente y tal que , y . Cuando se va a realizar una transición, el proceso se mueve de acuerdo con la cadena de salto , una cadena de Markov de tiempo discreto con matriz estocástica:
De manera equivalente, según la teoría de exponenciales en competencia , esta CTMC cambia de estado desde el estado i de acuerdo con el mínimo de dos variables aleatorias, que son independientes y tales que para donde los parámetros están dados por la matriz Q
Cada valor no diagonal se puede calcular como el producto del tiempo de retención del estado original con la probabilidad de que la cadena de salto se mueva al estado dado. Los valores diagonales se eligen de modo que cada fila sume 0.
Una CTMC satisface la propiedad de Markov de que su comportamiento depende solo de su estado actual y no de su comportamiento pasado, debido a la falta de memoria de la distribución exponencial y de las cadenas de Markov en tiempo discreto.
Para i ≠ j , los elementos q ij no son negativos y describen la velocidad de las transiciones del proceso del estado i al estado j . Los elementos q ii podrían elegirse para que sean cero, pero por conveniencia matemática, una convención común es elegirlos de manera que cada fila de sumas sea cero, es decir:
