Cadena de Markov
Una cadena de Markov o proceso de Markov es un modelo estocástico que describe una secuencia de eventos posibles en la que la probabilidad de cada evento depende solo del estado alcanzado en el evento anterior. [1] [2] [3] Una secuencia infinita numerable , en la que la cadena se mueve de estado en pasos de tiempo discretos, da una cadena de Markov de tiempo discreto (DTMC). Un proceso de tiempo continuo se denomina cadena de Markov de tiempo continuo (CTMC). Lleva el nombre del matemático ruso Andrey Markov .
Las cadenas de Markov tienen muchas aplicaciones como modelos estadísticos de procesos del mundo real, [1] [4] [5] [6] como estudiar sistemas de control de crucero en vehículos de motor , colas o filas de clientes que llegan a un aeropuerto, tipos de cambio de divisas y dinámica de la población animal. [7]
Los procesos de Markov son la base de los métodos de simulación estocástica generales conocidos como cadena de Markov Monte Carlo , que se utilizan para simular el muestreo de distribuciones de probabilidad complejas y han encontrado aplicación en estadística bayesiana , termodinámica , mecánica estadística , física , química , economía , finanzas , señales. procesamiento , teoría de la información y procesamiento del habla . [7] [8] [9]
Los adjetivos Markov y Markov se utilizan para describir algo relacionado con un proceso de Markov. [1] [10] [11]
Un proceso de Markov es un proceso estocástico que satisface la propiedad de Markov [1] (a veces caracterizado como " falta de memoria "). En términos más simples, es un proceso para el cual se pueden hacer predicciones con respecto a los resultados futuros basándose únicamente en su estado actual y, lo que es más importante, tales predicciones son tan buenas como las que podrían hacerse conociendo la historia completa del proceso. [12] En otras palabras, condicionado al estado actual del sistema, sus estados pasado y futuro son independientes .
Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estado discreto o un conjunto de índices discretos (que a menudo representa el tiempo), pero la definición precisa de una cadena de Markov varía. [13] Por ejemplo, es común definir una cadena de Markov como un proceso de Markov en tiempo discreto o continuo con un espacio de estado contable (por lo tanto, independientemente de la naturaleza del tiempo), [14] [15] [16] [17 ] pero también es común definir una cadena de Markov como que tiene tiempo discreto en un espacio de estado contable o continuo (por lo tanto, independientemente del espacio de estado). [13]
