En probabilidad y estadística, un proceso de renovación de Markov (MRP) es un proceso aleatorio que generaliza la noción de procesos de salto de Markov . Otros procesos aleatorios como cadenas de Markov , procesos de Poisson y procesos de renovación pueden derivarse como casos especiales de MRP.
Definición
Considere un espacio estatal Considere un conjunto de variables aleatorias , dónde son los tiempos de salto y son los estados asociados en la cadena de Markov (ver Figura). Dejemos que el tiempo entre llegadas,. Entonces la secuencia se denomina proceso de renovación de Markov si
Relación con otros procesos estocásticos
- Si definimos un nuevo proceso estocástico por , luego el proceso se denomina proceso semi-Markov . Tenga en cuenta que la principal diferencia entre un MRP y un proceso semi-Markov es que el primero se define como una tupla de dos estados y tiempos, mientras que el segundo es el proceso aleatorio real que evoluciona con el tiempo y cualquier realización del proceso tiene un definido estado para un momento dado. Todo el proceso no es Markoviano, es decir, sin memoria, como sucede en una cadena / proceso de Markov en tiempo continuo (CTMC) . En cambio, el proceso es markoviano solo en los instantes de salto especificados. Ésta es la razón fundamental detrás del nombre, Semi- Markov. [1] [2] [3] (Ver también: modelo de semi-Markov oculto ).
- Un proceso semi-Markov (definido en el punto anterior) donde todos los tiempos de espera se distribuyen exponencialmente se llama CTMC . Es decir, si los tiempos entre llegadas están distribuidos exponencialmente y si el tiempo de espera en un estado y el siguiente estado alcanzado son independientes, tenemos una CTMC.
- La secuencia en el MRP hay una cadena de Markov en tiempo discreto . En otras palabras, si las variables de tiempo se ignoran en la ecuación MRP, terminamos con un DTMC .
- Si la secuencia de s son independientes e idénticamente distribuidos, y si su distribución no depende del estado , entonces el proceso es un proceso de renovación . Entonces, si se ignoran los estados y tenemos una cadena de tiempos iid, entonces tenemos un proceso de renovación.
Ver también
- Proceso de Markov
- Teoría de la renovación
- Modelo de Markov de orden variable
- Modelo oculto de semi-Markov
Referencias
- ^ Medhi, J. (1982). Procesos estocásticos . Nueva York: Wiley & Sons. ISBN 978-0-470-27000-4.
- ^ Ross, Sheldon M. (1999). Procesos estocásticos (2ª ed.). Nueva York [ua]: Routledge. ISBN 978-0-471-12062-9.
- ^ Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Cadenas semi-Markov y modelos ocultos semi-Markov hacia aplicaciones: su uso en confiabilidad y análisis de ADN . Nueva York: Springer. ISBN 978-0-387-73171-1.