cadena de Markov

Una cadena de Markov o proceso de Markov es un modelo estocástico que describe una secuencia de posibles eventos en los que la probabilidad de cada evento depende únicamente del estado alcanzado en el evento anterior. ^{[1] [2] [3]} Una secuencia infinita numerable , en la que la cadena cambia de estado en pasos de tiempo discreto, da una cadena de Markov de tiempo discreto (DTMC). Un proceso de tiempo continuo se llama cadena de Markov de tiempo continuo (CTMC). Lleva el nombre del matemático ruso Andrey Markov .

Las cadenas de Markov tienen muchas aplicaciones como modelos estadísticos de procesos del mundo real, ^{[1] [4] [5] [6]} como el estudio de sistemas de control de crucero en vehículos motorizados , colas o filas de clientes que llegan a un aeropuerto, tipos de cambio de moneda y dinámica de la población animal. ^[7]

Los procesos de Markov son la base de los métodos de simulación estocástica general conocidos como cadena de Markov Monte Carlo , que se utilizan para simular muestras de distribuciones de probabilidad complejas y han encontrado aplicación en estadística bayesiana , termodinámica , mecánica estadística , física , química , economía , finanzas , señales procesamiento , teoría de la información y procesamiento del habla . ^{[7] [8] [9]}

Los adjetivos Markoviano y Markov se utilizan para describir algo que está relacionado con un proceso de Markov. ^{[1] [10] [11]}

Un proceso de Markov es un proceso estocástico que satisface la propiedad de Markov ^[1] (a veces caracterizada como " falta de memoria "). En términos más simples, es un proceso para el cual se pueden hacer predicciones sobre los resultados futuros basándose únicamente en su estado actual y, lo que es más importante, tales predicciones son tan buenas como las que se podrían hacer conociendo la historia completa del proceso. ^[12] En otras palabras, condicionado al estado presente del sistema, sus estados futuro y pasado son independientes .

Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estado discreto o un conjunto de índices discretos (que a menudo representan el tiempo), pero la definición precisa de una cadena de Markov varía. ^[13] Por ejemplo, es común definir una cadena de Markov como un proceso de Markov en tiempo discreto o continuo con un espacio de estado contable (por lo tanto, independientemente de la naturaleza del tiempo), ^{[14] [15] [16] [17 ]} pero también es común definir una cadena de Markov que tiene un tiempo discreto en un espacio de estado continuo o contable (por lo tanto, independientemente del espacio de estado). ^[13]

Un diagrama que representa un proceso de Markov de dos estados, con los estados etiquetados como E y A. Cada número representa la probabilidad de que el proceso de Markov cambie de un estado a otro, con la dirección indicada por la flecha. Por ejemplo, si el proceso de Markov está en el estado A, entonces la probabilidad de que cambie al estado E es 0,4, mientras que la probabilidad de que permanezca en el estado A es 0,6.

matemático ruso Andrey Markov

La cadena de Markov de tiempo continuo se caracteriza por las tasas de transición, las derivadas con respecto al tiempo de las probabilidades de transición entre los estados i y j.

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

Cinética de Michaelis-Menten . La enzima (E) se une a un sustrato (S) y produce un producto (P). Cada reacción es una transición de estado en una cadena de Markov.

Un diagrama de estado que representa el algoritmo PageRank con una probabilidad de transición de M o .${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$