Cadena de Markov en tiempo discreto
En probabilidad , una cadena de Markov en tiempo discreto ( DTMC ) es una secuencia de variables aleatorias, conocida como proceso estocástico , en el que el valor de la siguiente variable depende solo del valor de la variable actual, y no de ninguna variable en el pasado. . Por ejemplo, una máquina puede tener dos estados, A y E . Cuando se está en el estado A , existe una probabilidad del 40% de ella se mueve a estado E y una probabilidad del 60% de la misma que queda en el estado A . Cuando está en el estado E , hay un 70% de posibilidades de que se mueva a A y un 30% de posibilidades de que se quede en E. La secuencia de estados de la máquina es una cadena de Markov. Si denotamos la cadena por, entonces es el estado en el que comienza la máquina y es la variable aleatoria que describe su estado después de 10 transiciones. El proceso continúa para siempre, indexado por números naturales .
Un ejemplo de un proceso estocástico que no es una cadena de Markov es el modelo de una máquina que tiene los estados A y E y se mueve a A desde cualquier estado con un 50% de probabilidad si alguna vez ha visitado A antes, y un 20% de probabilidad si lo ha hecho. nunca visitó A antes (dejando un 50% u 80% de probabilidad de que la máquina se mueva a E ). Esto se debe a que el comportamiento de la máquina depende de todo el historial; si la máquina está en E , puede tener una probabilidad del 50% o 20% de moverse a A , dependiendo de sus valores pasados. Por tanto, no tiene la propiedad de Markov .
Una cadena de Markov se puede describir mediante una matriz estocástica , que enumera las probabilidades de pasar a cada estado desde cualquier estado individual. A partir de esta matriz, se puede calcular la probabilidad de estar en un estado particular n pasos en el futuro. El espacio de estados de una cadena de Markov se puede dividir en clases comunicantes que describen qué estados son alcanzables entre sí (en una transición o en muchas). Cada estado puede describirse como transitorio o recurrente, según la probabilidad de que la cadena vuelva alguna vez a ese estado. Las cadenas de Markov pueden tener propiedades que incluyen periodicidad, reversibilidad y estacionariedad. Una cadena de Markov de tiempo continuoes como una cadena de Markov de tiempo discreto, pero mueve estados continuamente a través del tiempo en lugar de como pasos de tiempo discretos. Otros procesos estocásticos pueden satisfacer la propiedad de Markov, la propiedad de que el comportamiento pasado no afecta el proceso, solo el estado presente.
Una cadena de Markov en tiempo discreto es una secuencia de variables aleatorias con la propiedad de Markov , es decir, que la probabilidad de pasar al siguiente estado depende solo del estado actual y no de los estados anteriores:
