De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda
Un diagrama que representa un proceso de Markov de dos estados, con los estados etiquetados como E y A. Cada número representa la probabilidad de que el proceso de Markov cambie de un estado a otro, con la dirección indicada por la flecha. Por ejemplo, si el proceso de Markov está en el estado A, entonces la probabilidad de que cambie al estado E es 0.4, mientras que la probabilidad de que permanezca en el estado A es 0.6.

Una cadena de Markov es un modelo estocástico que describe una secuencia de eventos posibles en la que la probabilidad de cada evento depende solo del estado alcanzado en el evento anterior. [1] [2] [3] Una secuencia infinita numerable , en la que la cadena se mueve de estado en pasos de tiempo discretos, da una cadena de Markov de tiempo discreto (DTMC). Un proceso de tiempo continuo se denomina cadena de Markov de tiempo continuo (CTMC). Lleva el nombre del matemático ruso Andrey Markov .

Las cadenas de Markov tienen muchas aplicaciones como modelos estadísticos de procesos del mundo real, [1] [4] [5] [6] como estudiar sistemas de control de crucero en vehículos de motor , colas o filas de clientes que llegan a un aeropuerto, tipos de cambio de divisas y dinámica de la población animal. [7]

Los procesos de Markov son la base de los métodos de simulación estocástica generales conocidos como cadena de Markov Monte Carlo , que se utilizan para simular el muestreo de distribuciones de probabilidad complejas y han encontrado aplicación en estadística bayesiana , termodinámica , mecánica estadística , física , química , economía , finanzas , señales procesamiento , teoría de la información y procesamiento del habla . [7] [8] [9]

El adjetivo Markov se utiliza para describir algo que está relacionado con un proceso de Markov. [1] [10]

Introducción [ editar ]

El matemático ruso Andrey Markov

Definición [ editar ]

Un proceso de Markov es un proceso estocástico que satisface la propiedad de Markov [1] (a veces caracterizado como " falta de memoria "). En términos más simples, es un proceso para el cual se pueden hacer predicciones con respecto a resultados futuros basándose únicamente en su estado actual y, lo que es más importante, tales predicciones son tan buenas como las que podrían hacerse conociendo la historia completa del proceso. [11] En otras palabras, condicionado al estado actual del sistema, sus estados pasado y futuro son independientes .

Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estado discreto o un conjunto de índices discretos (que a menudo representa el tiempo), pero la definición precisa de una cadena de Markov varía. [12] Por ejemplo, es común definir una cadena de Markov como un proceso de Markov en tiempo discreto o continuo con un espacio de estado contable (por lo tanto, independientemente de la naturaleza del tiempo), [13] [14] [15] [16 ] pero también es común definir una cadena de Markov como que tiene tiempo discreto en un espacio de estado contable o continuo (por lo tanto, independientemente del espacio de estado). [12]

Tipos de cadenas de Markov [ editar ]

Es necesario especificar el índice de parámetros de tiempo y espacio de estado del sistema . La siguiente tabla ofrece una descripción general de las diferentes instancias de procesos de Markov para diferentes niveles de generalidad del espacio de estados y para tiempo discreto versus tiempo continuo:

Tenga en cuenta que no existe un acuerdo definitivo en la literatura sobre el uso de algunos de los términos que significan casos especiales de procesos de Markov. Por lo general, el término "cadena de Markov" se reserva para un proceso con un conjunto discreto de tiempos, es decir, una cadena de Markov de tiempo discreto (DTMC) , [1] [17] pero algunos autores utilizan el término "proceso de Markov" para se refieren a una cadena de Markov de tiempo continuo (CTMC) sin mención explícita. [18] [19] [20] Además, hay otras extensiones de los procesos de Markov a las que se hace referencia como tales, pero que no se encuentran necesariamente dentro de ninguna de estas cuatro categorías (consulte el modelo de Markov). Además, el índice de tiempo no tiene por qué ser necesariamente un valor real; al igual que con el espacio de estados, hay procesos concebibles que se mueven a través de conjuntos de índices con otras construcciones matemáticas. Observe que la cadena de Markov en tiempo continuo del espacio de estado general es general hasta tal punto que no tiene un término designado.

Si bien el parámetro de tiempo suele ser discreto, el espacio de estado de una cadena de Markov no tiene restricciones generalmente acordadas: el término puede referirse a un proceso en un espacio de estado arbitrario. [21] Sin embargo, muchas aplicaciones de las cadenas de Markov emplean espacios de estados finitos o infinitos contables , que tienen un análisis estadístico más sencillo. Además de los parámetros de índice de tiempo y espacio de estado, existen muchas otras variaciones, extensiones y generalizaciones (ver Variaciones ). Para simplificar, la mayor parte de este artículo se concentra en el caso del espacio de estado discreto y tiempo discreto, a menos que se mencione lo contrario.

Transiciones [ editar ]

Los cambios de estado del sistema se denominan transiciones. [1] Las probabilidades asociadas con varios cambios de estado se denominan probabilidades de transición. El proceso se caracteriza por un espacio de estados, una matriz de transición que describe las probabilidades de transiciones particulares y un estado inicial (o distribución inicial) en el espacio de estados. Por convención, asumimos que todos los estados y transiciones posibles se han incluido en la definición del proceso, por lo que siempre hay un estado siguiente y el proceso no termina.

Un proceso aleatorio de tiempo discreto implica un sistema que se encuentra en un cierto estado en cada paso, y el estado cambia aleatoriamente entre los pasos. [1] Los pasos a menudo se consideran momentos en el tiempo, pero también pueden referirse a la distancia física o cualquier otra medida discreta. Formalmente, los pasos son los números enteros o naturales , y el proceso aleatorio es un mapeo de estos a los estados. [22] La propiedad de Markov establece que la distribución de probabilidad condicional para el sistema en el siguiente paso (y de hecho en todos los pasos futuros) depende solo del estado actual del sistema, y ​​no adicionalmente del estado del sistema en los pasos anteriores. .

Dado que el sistema cambia aleatoriamente, generalmente es imposible predecir con certeza el estado de una cadena de Markov en un punto dado en el futuro. [22] Sin embargo, se pueden predecir las propiedades estadísticas del futuro del sistema. [22] En muchas aplicaciones, son estas propiedades estadísticas las que son importantes.

Historia [ editar ]

Markov estudió los procesos de Markov a principios del siglo XX y publicó su primer artículo sobre el tema en 1906. [23] [24] [25] [26] Los procesos de Markov en tiempo continuo se descubrieron mucho antes del trabajo de Andrey Markov a principios del siglo XX. siglo [1] en la forma del proceso de Poisson . [27] [28] [29] Markov estaba interesado en estudiar una extensión de secuencias aleatorias independientes, motivado por un desacuerdo con Pavel Nekrasov, quien afirmó que la independencia era necesaria para que se mantuviera la ley débil de los grandes números . [1] [30]En su primer artículo sobre cadenas de Markov, publicado en 1906, Markov mostró que bajo ciertas condiciones los resultados promedio de la cadena de Markov convergerían a un vector fijo de valores, demostrando así una ley débil de grandes números sin el supuesto de independencia, [1] [24] [25] [26] que se había considerado comúnmente como un requisito para que se cumplieran tales leyes matemáticas. [26] Más tarde, Markov usó cadenas de Markov para estudiar la distribución de vocales en Eugene Onegin , escrito por Alexander Pushkin , y demostró un teorema del límite central para tales cadenas. [1] [24]

En 1912, Henri Poincaré estudió las cadenas de Markov en grupos finitos con el objetivo de estudiar el barajado de cartas. Otros usos tempranos de las cadenas de Markov incluyen un modelo de difusión, introducido por Paul y Tatyana Ehrenfest en 1907, y un proceso de ramificación, introducido por Francis Galton y Henry William Watson en 1873, antes del trabajo de Markov. [24] [25] Después del trabajo de Galton y Watson, se reveló más tarde que su proceso de ramificación había sido descubierto y estudiado de forma independiente unas tres décadas antes por Irénée-Jules Bienaymé . [31] A partir de 1928, Maurice Fréchetse interesó en las cadenas de Markov, lo que finalmente le llevó a publicar en 1938 un estudio detallado sobre las cadenas de Markov. [24] [32]

Andrei Kolmogorov desarrolló en un artículo de 1931 una gran parte de la teoría inicial de los procesos de Markov en tiempo continuo. [33] [34] Kolmogorov se inspiró en parte en el trabajo de 1900 de Louis Bachelier sobre las fluctuaciones en el mercado de valores, así como en el trabajo de Norbert Wiener sobre el modelo de Einstein del movimiento browniano. [33] [35] Introdujo y estudió un conjunto particular de procesos de Markov conocidos como procesos de difusión, donde derivó un conjunto de ecuaciones diferenciales que describen los procesos. [33] [36] Independientemente del trabajo de Kolmogorov, Sydney Chapman derivó en un artículo de 1928 una ecuación, ahora llamada ecuación de Chapman-Kolmogorov., de una manera menos rigurosa matemáticamente que Kolmogorov, mientras estudiaba el movimiento browniano. [37] Las ecuaciones diferenciales ahora se denominan ecuaciones de Kolmogorov [38] o ecuaciones de Kolmogorov-Chapman. [39] Otros matemáticos que contribuyeron significativamente a los fundamentos de los procesos de Markov incluyen a William Feller , a partir de la década de 1930, y luego a Eugene Dynkin , a partir de la década de 1950. [34]

Ejemplos [ editar ]

Los paseos aleatorios basados ​​en números enteros y el problema de la ruina del jugador son ejemplos de procesos de Markov. [40] [41] Algunas variaciones de estos procesos se estudiaron cientos de años antes en el contexto de variables independientes. [42] [43] [44] Dos ejemplos importantes de procesos de Markov son el proceso de Wiener , también conocido como el proceso de movimiento browniano , y el proceso de Poisson , [27] que se consideran los procesos estocásticos más importantes y centrales en la teoría de procesos estocásticos. [45] [46] [47]Estos dos procesos son procesos de Markov en tiempo continuo, mientras que los paseos aleatorios sobre los números enteros y el problema de la ruina del jugador son ejemplos de procesos de Markov en tiempo discreto. [40] [41]

Una famosa cadena de Markov es la llamada "caminata del borracho", una caminata aleatoria en la recta numérica donde, en cada paso, la posición puede cambiar en +1 o -1 con la misma probabilidad. Desde cualquier posición hay dos posibles transiciones, al entero siguiente o al anterior. Las probabilidades de transición dependen únicamente de la posición actual, no de la forma en que se alcanzó la posición. Por ejemplo, las probabilidades de transición de 5 a 4 y de 5 a 6 son 0,5, y todas las demás probabilidades de transición de 5 son 0. Estas probabilidades son independientes de si el sistema estaba previamente en 4 o 6.

Otro ejemplo son los hábitos alimenticios de una criatura que solo come uvas, queso o lechuga, y cuyos hábitos alimenticios se ajustan a las siguientes reglas:

  • Come exactamente una vez al día.
  • Si hoy comió queso, mañana comerá lechuga o uvas con igual probabilidad.
  • Si comió uvas hoy, mañana comerá uvas con probabilidad de 1/10, queso con probabilidad de 4/10 y lechuga con probabilidad de 5/10.
  • Si comió lechuga hoy, mañana comerá uvas con probabilidad de 4/10 o queso con probabilidad de 6/10. Mañana no volverá a comer lechuga.

Los hábitos alimenticios de esta criatura se pueden modelar con una cadena de Markov, ya que su elección mañana depende únicamente de lo que comió hoy, no de lo que comió ayer o en cualquier otro momento del pasado. Una propiedad estadística que podría calcularse es el porcentaje esperado, durante un largo período, de los días en los que la criatura comerá uvas.

Una serie de eventos independientes (por ejemplo, una serie de lanzamientos de moneda) satisface la definición formal de una cadena de Markov. Sin embargo, la teoría generalmente se aplica solo cuando la distribución de probabilidad del siguiente paso depende de manera no trivial del estado actual.

Un ejemplo que no es de Markov [ editar ]

Suponga que hay un monedero que contiene cinco monedas de veinticinco centavos (cada uno vale 25 centavos), cinco monedas de diez centavos (cada uno vale 10 centavos) y cinco monedas de cinco centavos (cada uno vale 5 centavos), y una por una, las monedas se extraen al azar del bolso y se colocado sobre una mesa. Si representa el valor total de las monedas puestas en la mesa después de n sorteos, con , entonces la secuencia no es un proceso de Markov.

Para ver por qué es así, suponga que en los primeros seis sorteos, se sortean las cinco monedas de cinco centavos y un cuarto. Así . Si conocemos no solo los valores anteriores, sino también los valores anteriores, entonces podemos determinar qué monedas se han extraído, y sabemos que la próxima moneda no será una moneda de cinco centavos; entonces podemos determinar eso con probabilidad 1. Pero si no conocemos los valores anteriores, entonces basándonos solo en el valor podríamos suponer que habíamos extraído cuatro monedas de diez centavos y dos monedas de cinco centavos, en cuyo caso sería posible extraer otra moneda de cinco centavos Siguiente. Por lo tanto, nuestras conjeturas se ven afectadas por nuestro conocimiento de los valores antes de .

Sin embargo, es posible modelar este escenario como un proceso de Markov. En lugar de definir para representar el valor total de las monedas en la mesa, podríamos definir para representar el recuento de los distintos tipos de monedas en la mesa. Por ejemplo, podría definirse para representar el estado en el que hay un cuarto, cero monedas de diez centavos y cinco monedas de cinco centavos en la mesa después de 6 sorteos uno por uno. Este nuevo modelo estaría representado por 216 estados posibles (es decir, 6x6x6 estados, ya que cada uno de los tres tipos de monedas podría tener de cero a cinco monedas sobre la mesa al final de los 6 sorteos). Suponga que el primer sorteo da como resultado el estado . La probabilidad de lograrlo ahora depende de ; por ejemplo, el estadono es posible. Después del segundo sorteo, el tercer sorteo depende de qué monedas se hayan sorteado hasta ahora, pero ya no solo de las monedas que se sacaron para el primer estado (ya que desde entonces se ha agregado información de importancia probabilística al escenario). De esta manera, la probabilidad del estado depende exclusivamente del resultado del estado.

Definición formal [ editar ]

Cadena de Markov en tiempo discreto [ editar ]

Una cadena de Markov en tiempo discreto es una secuencia de variables aleatorias X 1 , X 2 , X 3 , ... con la propiedad de Markov , es decir, que la probabilidad de pasar al siguiente estado depende solo del estado actual y no del anterior. estados:

si ambas probabilidades condicionales están bien definidas, es decir, si

Los posibles valores de X i forman un conjunto contable S llamado espacio de estados de la cadena.

Variaciones [ editar ]

  • Las cadenas de Markov homogéneas en el tiempo son procesos en los que
para todos n . La probabilidad de la transición es independiente de n .
  • Las cadenas de Markov estacionarias son procesos donde
para todo n y k . Se puede demostrar que cada cadena estacionaria es homogénea en el tiempo según la regla de Bayes.
Una condición necesaria y suficiente para que una cadena de Markov homogénea en el tiempo sea estacionaria es que la distribución de es una distribución estacionaria de la cadena de Markov.
  • Una cadena de Markov con memoria (o una cadena de Markov de orden m )
donde m es finito, es un proceso que satisface
En otras palabras, el estado futuro depende de los m estados pasados . Es posible construir una cadena a partir de la cual tenga la propiedad "clásica" de Markov tomando como espacio de estados las tuplas m ordenadas de los valores X , es decir. .

Cadena de Markov en tiempo continuo [ editar ]

Una cadena de Markov de tiempo continuo ( X t ) t  ≥ 0 se define por un espacio de estados finito o contable S , una matriz de tasa de transición Q con dimensiones iguales a las del espacio de estados y distribución de probabilidad inicial definida en el espacio de estados. Para i  ≠  j , los elementos q ij no son negativos y describen la velocidad de las transiciones del proceso del estado i al estado j . Los elementos q ii se eligen de manera que cada fila de la matriz de tasa de transición sume a cero, mientras que las sumas de fila de una matriz de transición de probabilidad en una cadena de Markov (discreta) sean todas iguales a uno.

Hay tres definiciones equivalentes del proceso. [48]

Definición infinitesimal [ editar ]

La cadena de Markov en tiempo continuo se caracteriza por las tasas de transición, las derivadas con respecto al tiempo de las probabilidades de transición entre los estados i y j.

Sea la variable aleatoria que describe el estado del proceso en el tiempo t , y suponga que el proceso está en un estado i en el tiempo t . Entonces, saber , es independiente de los valores previos , y como h → 0 para todo j y para todo t ,

,

donde está el delta de Kronecker , usando la notación de o pequeña . El puede ser visto como la medición de la rapidez con la transición de i a j sucede.

Definición de tiempo de espera / cadena de salto [ editar ]

Defina una cadena de Markov de tiempo discreto Y n para describir el n- ésimo salto del proceso y las variables S 1 , S 2 , S 3 , ... para describir los tiempos de retención en cada uno de los estados donde S i sigue la distribución exponencial con tasa parámetro - q Y i Y i .

Definición de probabilidad de transición [ editar ]

Para cualquier valor n = 0, 1, 2, 3, ... y tiempos indexados hasta este valor de n : t 0 , t 1 , t 2 , ... y todos los estados registrados en estos tiempos i 0 , i 1 , i 2 , i 3 , ... sostiene que

donde p ij es la solución de la ecuación directa (una ecuación diferencial de primer orden )

con la condición inicial P (0) es la matriz identidad .

Espacio de estado finito [ editar ]

Si el espacio de estado es finita , la distribución de probabilidad de transición puede ser representada por una matriz , llamada la matriz de transición, con el ( i , j ) -ésimo elemento de P igual a

Dado que cada fila de P suma uno y todos los elementos no son negativos, P es una matriz estocástica derecha .

Relación de distribución estacionaria con vectores propios y simples [ editar ]

Una distribución estacionaria π es un vector (fila), cuyas entradas no son negativas y suman 1, no cambia por la operación de la matriz de transición P en él y, por lo tanto, se define por

Al comparar esta definición con la de un vector propio , vemos que los dos conceptos están relacionados y que

es un múltiplo normalizado ( ) de un vector propio izquierdo e de la matriz de transición P con un valor propio de 1. Si hay más de un vector propio unitario, entonces una suma ponderada de los estados estacionarios correspondientes también es un estado estacionario. Pero para una cadena de Markov, uno suele estar más interesado en un estado estacionario que es el límite de la secuencia de distribuciones para alguna distribución inicial.

Los valores de una distribución estacionaria están asociados con el espacio de estados de P y sus vectores propios conservan sus proporciones relativas. Dado que los componentes de π son positivos y la restricción de que su suma es la unidad se puede reescribir, ya que vemos que el producto escalar de π con un vector cuyos componentes son todos 1 es la unidad y que π se encuentra en un simplex .

Cadena de Markov homogénea en el tiempo con un espacio de estado finito [ editar ]

Si la cadena de Markov es homogénea en el tiempo, entonces la matriz de transición P es la misma después de cada paso, por lo que la probabilidad de transición de k pasos se puede calcular como la k -ésima potencia de la matriz de transición, P k .

Si la cadena de Markov es irreducible y aperiódica, entonces existe una distribución estacionaria única π . [49] Además, en este caso P k converge a una matriz de rango uno en la que cada fila es la distribución estacionaria π :

donde 1 es el vector columna con todas las entradas iguales a 1. Esto se establece mediante el teorema de Perron-Frobenius . Si, por cualquier medio, se encuentra, entonces la distribución estacionaria de la cadena de Markov en cuestión se puede determinar fácilmente para cualquier distribución inicial, como se explicará a continuación.

Para algunas matrices estocásticas P , el límite no existe mientras que la distribución estacionaria sí, como se muestra en este ejemplo:

(Este ejemplo ilustra una cadena de Markov periódica).

Debido a que hay varios casos especiales diferentes a considerar, el proceso de encontrar este límite, si existe, puede ser una tarea larga. Sin embargo, existen muchas técnicas que pueden ayudar a encontrar este límite. Sea P una matriz n × n , y defina

Siempre es cierto que

Restando Q de ambos lados y factorizando, se obtiene

donde I n es la matriz identidad de tamaño n , y 0 n , n es la matriz cero de tamaño n × n . La multiplicación de matrices estocásticas siempre produce otra matriz estocástica, por lo que Q debe ser una matriz estocástica (consulte la definición anterior). A veces es suficiente para utilizar la ecuación matricial arriba y el hecho de que Q es una matriz estocástica para resolver Q . Incluyendo el hecho de que la suma de cada fila en P es 1, hay n + 1 ecuaciones para determinarn incógnitas, por lo que es computacionalmente más fácil si por un lado se selecciona una fila en Q y se sustituye cada uno de sus elementos por uno, y por el otro se sustituye el elemento correspondiente (el de la misma columna) en el vector 0 , y la siguiente a la izquierda-multiplica este último vector por la inversa de la matriz antigua transformado para encontrar Q .

Aquí hay un método para hacerlo: primero, defina la función f ( A ) para devolver la matriz A con su columna más a la derecha reemplazada con todos unos. Si [ f ( P - I n )] −1 existe entonces [50] [49]

Explique: La ecuación matricial original es equivalente a un sistema de n × n ecuaciones lineales en n × n variables. Y hay n ecuaciones lineales más por el hecho de que Q es una matriz estocástica derecha cuyas filas suman 1. Por lo tanto, se necesitan n × n ecuaciones lineales independientes de las (n × n + n) ecuaciones para resolver las n × n variables. En este ejemplo, las n ecuaciones de “Q multiplicado por la columna más a la derecha de (P-In)” han sido reemplazadas por n estocásticas.

Una cosa a tener en cuenta es que si P tiene un elemento P i , i en su diagonal principal que es igual a 1 y la i- ésima fila o columna está llena de ceros, entonces esa fila o columna permanecerá sin cambios en todas las siguientes poderes P k . Por lo tanto, la i ª fila o columna de Q tendrán los 1 y los 0'S en las mismas posiciones que en P .

Velocidad de convergencia a la distribución estacionaria [ editar ]

Como se dijo anteriormente, a partir de la ecuación (si existe) la estacionario (o estado estacionario) distribución π es un vector propio izquierda de la fila matriz estocástica P . Entonces, suponiendo que P es diagonalizable o, de manera equivalente, que P tiene n vectores propios linealmente independientes, la velocidad de convergencia se elabora de la siguiente manera. (Para matrices no diagonalizables, es decir, defectuosas , se puede comenzar con la forma normal de Jordan de P y proceder con un conjunto de argumentos un poco más complicado de manera similar. [51]

Sea U la matriz de autovectores (cada uno normalizado para tener una norma L2 igual a 1) donde cada columna es un autovector izquierdo de P y sea Σ la matriz diagonal de autovalores izquierdos de P , es decir, Σ = diag ( λ 1 , λ 2 , λ 3 , ..., λ n ). Entonces por autodescomposición

Dejemos que los valores propios se enumeren de manera que:

Dado que P es una matriz estocástica de filas, su valor propio izquierdo más grande es 1. Si hay una distribución estacionaria única, entonces el valor propio más grande y el vector propio correspondiente también son únicos (porque no hay otro π que resuelva la ecuación de distribución estacionaria anterior). Sea u i la i -ésima columna de la matriz U , es decir, u i es el vector propio izquierdo de P correspondiente a λ i . También sea x un vector de fila de longitud n que representa una distribución de probabilidad válida; ya que los autovectores u i abarcan podemos escribir

Si multiplicamos x por P desde la derecha y continuamos esta operación con los resultados, al final obtenemos la distribución estacionaria π . En otras palabras, π = u ixPP ... P = xP k cuando k → ∞. Eso significa

Dado que π = u 1 , π ( k ) se acerca a π cuando k → ∞ con una velocidad del orden de λ 2 / λ 1 exponencialmente. Esto se sigue porque, por tanto, λ 2 / λ 1 es el término dominante. El ruido aleatorio en la distribución de estado π también puede acelerar esta convergencia a la distribución estacionaria. [52]

Espacio de estado general [ editar ]

Cadenas de Harris [ editar ]

Muchos resultados para cadenas de Markov con espacio de estado finito se pueden generalizar a cadenas con espacio de estado incontable a través de cadenas de Harris .

El uso de cadenas de Markov en los métodos de Monte Carlo de cadenas de Markov cubre casos en los que el proceso sigue un espacio de estado continuo.

Cadenas de Markov que interactúan localmente [ editar ]

Considerando una colección de cadenas de Markov cuya evolución toma en cuenta el estado de otras cadenas de Markov, se relaciona con la noción de cadenas de Markov que interactúan localmente . Esto corresponde a la situación en la que el espacio de estados tiene una forma de producto (cartesiana). Vea el sistema de partículas que interactúan y los autómatas celulares estocásticos (autómatas celulares probabilísticos). Véase, por ejemplo, Interacción de los procesos de Markov [53] o [54].

Propiedades [ editar ]

Dos estados se comunican entre sí si ambos son alcanzables entre sí mediante una secuencia de transiciones que tienen probabilidad positiva. Ésta es una relación de equivalencia que produce un conjunto de clases comunicantes. Una clase se cierra si la probabilidad de dejar la clase es cero. Una cadena de Markov es irreductible si hay una clase comunicante, el espacio de estados.

Un estado i tiene período si es el máximo común divisor del número de transiciones en la que i puede ser alcanzado, a partir de i . Es decir:

Se dice que un estado i es transitorio si, a partir de i , existe una probabilidad distinta de cero de que la cadena nunca vuelva a i . De lo contrario, es recurrente. Para un estado recurrente i , el tiempo medio de golpe se define como:

El estado i es positivo recurrente si es finito y nulo recurrente en caso contrario. La periodicidad, la fugacidad, la recurrencia y la recurrencia positiva y nula son propiedades de clase, es decir, si un estado tiene la propiedad, entonces todos los estados de su clase comunicante tienen la propiedad.

Un estado i se llama absorbente si no hay transiciones salientes del estado.

Ergodicidad [ editar ]

Se dice que un estado i es ergódico si es aperiódico y positivo recurrente. En otras palabras, un estado i es ergódico si es recurrente, tiene un período de 1 y un tiempo medio de recurrencia finito. Si todos los estados de una cadena de Markov irreductible son ergódicos, se dice que la cadena es ergódica. [ dudoso ]

Se puede demostrar que una cadena de Markov irreductible de estado finito es ergódica si tiene un estado aperiódico. Más en general, una cadena de Markov es ergódica si hay un número N tal que cualquier estado puede ser alcanzado desde cualquier otro estado en cualquier número de etapas de menos o igual a un número N . En el caso de una matriz de transición completamente conectada, donde todas las transiciones tienen una probabilidad distinta de cero, esta condición se cumple con  N  = 1.

Una cadena de Markov con más de un estado y solo una transición saliente por estado no es irreducible o no aperiódica, por lo que no puede ser ergódica.

Representaciones de Markov [ editar ]

En algunos casos, los procesos aparentemente no markovianos todavía pueden tener representaciones markovianas, construidas ampliando el concepto de los estados "actual" y "futuro". Por ejemplo, sea X un proceso no markoviano. Entonces definir un proceso Y , de manera que cada estado de Y representa un intervalo de tiempo de los estados de X . Matemáticamente, esto toma la forma:

Si Y tiene la propiedad de Markov, entonces es una representación de Markov de X .

Un ejemplo de un proceso no markoviano con una representación markoviana es una serie temporal autorregresiva de orden mayor que uno. [55]

Tiempos de golpe [ editar ]

El tiempo de golpe es el tiempo que comienza en un conjunto de estados dado hasta que la cadena llega a un estado o conjunto de estados dado. La distribución de dicho período de tiempo tiene una distribución de tipo de fase. La distribución más simple de este tipo es la de una sola transición distribuida exponencialmente.

Tiempos de golpe esperados [ editar ]

Para un subconjunto de estados A  ⊆  S , el vector k A de tiempos de impacto (donde el elemento representa el valor esperado , comenzando en el estado i en el que la cadena entra en uno de los estados del conjunto A ) es la solución mínima no negativa de [ 56]

Inversión de tiempo [ editar ]

Para una CTMC X t , el proceso inverso en el tiempo se define como . Según el lema de Kelly, este proceso tiene la misma distribución estacionaria que el proceso de avance.

Se dice que una cadena es reversible si el proceso inverso es el mismo que el proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las tasas de transición alrededor de un circuito cerrado debe ser el mismo en ambas direcciones.

Cadena de Markov incrustada [ editar ]

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , es encontrar primero su cadena de Markov incrustada (EMC) . Estrictamente hablando, la EMC es una cadena de Markov de tiempo discreto regular, a veces denominada proceso de salto . Cada elemento de la matriz de probabilidad de transición de un paso de la EMC, S , se denota por s ij , y representa la probabilidad condicional de pasar del estado i al estado j . Estas probabilidades condicionales se pueden encontrar por

A partir de esto, S puede escribirse como

donde I es la matriz identidad y diag ( Q ) es la matriz diagonal formada al seleccionar la diagonal principal de la matriz Q y establecer todos los demás elementos en cero.

Para encontrar el vector de distribución de probabilidad estacionario, a continuación debemos encontrar tal que

con ser un vector de fila, tal que todos los elementos en son mayores que 0 y = 1. A partir de esto, π se puede encontrar como ‖ φ ‖ 1 {\displaystyle \|\varphi \|_{1}}

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , debe normalizarse a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ, la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0),  X (δ),  X (2δ), ... dan la secuencia de estados visitados por el esqueleto δ.

Tipos especiales de cadenas de Markov [ editar ]

Modelo de Markov [ editar ]

Los modelos de Markov se utilizan para modelar sistemas cambiantes. Hay 4 tipos principales de modelos, que generalizan las cadenas de Markov dependiendo de si cada estado secuencial es observable o no, y si el sistema debe ajustarse sobre la base de las observaciones realizadas:

Esquema de Bernoulli [ editar ]

Un esquema de Bernoulli es un caso especial de una cadena de Markov donde la matriz de probabilidad de transición tiene filas idénticas, lo que significa que el siguiente estado es incluso independiente del estado actual (además de ser independiente de los estados pasados). Un esquema de Bernoulli con solo dos estados posibles se conoce como proceso de Bernoulli .

Tenga en cuenta, sin embargo, por el teorema del isomorfismo de Ornstein , que toda cadena de Markov aperiódica e irreducible es isomorfa a un esquema de Bernoulli; [57] por lo tanto, se podría igualmente afirmar que las cadenas de Markov son un "caso especial" de los esquemas de Bernoulli. El isomorfismo generalmente requiere una recodificación complicada. El teorema del isomorfismo es incluso un poco más fuerte: establece que cualquier proceso estocástico estacionario es isomorfo a un esquema de Bernoulli; la cadena de Markov es solo uno de esos ejemplos.

Subdesplazamiento de tipo finito [ editar ]

Cuando la matriz de Markov se reemplaza por la matriz de adyacencia de un gráfico finito , el desplazamiento resultante se denomina cadena de Markov topológica o subdesplazamiento de tipo finito . [57] Una matriz de Markov que sea compatible con la matriz de adyacencia puede proporcionar una medida en el subdesplazamiento. Muchos sistemas dinámicos caóticos son isomorfos a las cadenas de Markov topológicas; Los ejemplos incluyen difeomorfismos de variedades cerradas , el sistema Prouhet-Thue-Morse , el sistema Chacón , sistemas sofic , sistemas libres de contexto ysistemas de codificación de bloques . [57]

Aplicaciones [ editar ]

La investigación ha informado de la aplicación y utilidad de las cadenas de Markov en una amplia gama de temas como física, química, biología, medicina, música, teoría de juegos y deportes.

Física [ editar ]

Los sistemas de Markov aparecen ampliamente en termodinámica y mecánica estadística , siempre que se utilicen probabilidades para representar detalles desconocidos o no modelados del sistema, si se puede suponer que la dinámica es invariante en el tiempo y que no es necesario considerar una historia relevante que no esté ya incluida. en la descripción del estado. [58] [59] Por ejemplo, un estado termodinámico opera bajo una distribución de probabilidad que es difícil o costosa de adquirir. Por lo tanto, el método de Markov Chain Monte Carlo se puede utilizar para extraer muestras al azar de una caja negra para aproximar la distribución de probabilidad de atributos en un rango de objetos. [59]

Los caminos, en la formulación integral de caminos de la mecánica cuántica, son cadenas de Markov. [60]

Las cadenas de Markov se utilizan en simulaciones QCD de celosía . [61]

Química [ editar ]

Cinética de Michaelis-Menten . La enzima (E) se une a un sustrato (S) y produce un producto (P). Cada reacción es una transición de estado en una cadena de Markov.

Una red de reacción es un sistema químico que involucra múltiples reacciones y especies químicas. Los modelos estocásticos más simples de tales redes tratan el sistema como una cadena de Markov en tiempo continuo, siendo el estado el número de moléculas de cada especie y con reacciones modeladas como posibles transiciones de la cadena. [62] Las cadenas de Markov y los procesos de Markov en tiempo continuo son útiles en química cuando los sistemas físicos se aproximan mucho a la propiedad de Markov. Por ejemplo, imagina un gran número nde moléculas en solución en el estado A, cada una de las cuales puede sufrir una reacción química al estado B con una cierta velocidad promedio. Quizás la molécula es una enzima y los estados se refieren a cómo se pliega. El estado de cualquier enzima sigue una cadena de Markov y, dado que las moléculas son esencialmente independientes entre sí, el número de moléculas en el estado A o B a la vez es n veces la probabilidad de que una molécula determinada se encuentre en ese estado.

El modelo clásico de actividad enzimática, cinética de Michaelis-Menten , puede verse como una cadena de Markov, donde en cada paso de tiempo la reacción procede en alguna dirección. Si bien Michaelis-Menten es bastante sencillo, también se pueden modelar redes de reacción mucho más complicadas con cadenas de Markov. [63]

También se utilizó un algoritmo basado en una cadena de Markov para enfocar el crecimiento basado en fragmentos de sustancias químicas in silico hacia una clase deseada de compuestos, como medicamentos o productos naturales. [64] A medida que crece una molécula, se selecciona un fragmento de la molécula naciente como el estado "actual". No es consciente de su pasado (es decir, no es consciente de lo que ya está unido a él). Luego pasa al siguiente estado cuando se le adjunta un fragmento. Las probabilidades de transición se entrenan en bases de datos de clases auténticas de compuestos. [sesenta y cinco]

Además, el crecimiento (y composición) de los copolímeros se puede modelar utilizando cadenas de Markov. Basándose en las relaciones de reactividad de los monómeros que forman la cadena de polímero en crecimiento, se puede calcular la composición de la cadena (por ejemplo, si los monómeros tienden a agregarse de forma alterna o en series largas del mismo monómero). Debido a los efectos estéricos , los efectos de Markov de segundo orden también pueden desempeñar un papel en el crecimiento de algunas cadenas de polímeros.

De manera similar, se ha sugerido que la cristalización y el crecimiento de algunos materiales de óxido de superrejilla epitaxial pueden describirse con precisión mediante cadenas de Markov. [66]

Biología [ editar ]

Las cadenas de Markov se utilizan en diversas áreas de la biología. Los ejemplos notables incluyen:

  • Filogenética y bioinformática , donde la mayoría de los modelos de evolución del ADN utilizan cadenas de Markov de tiempo continuo para describir el nucleótido presente en un sitio determinado del genoma .
  • Dinámica de poblaciones , donde las cadenas de Markov son en particular una herramienta central en el estudio teórico de modelos matriciales de población .
  • Neurobiología , donde se han utilizado cadenas de Markov, por ejemplo, para simular la neocorteza de mamíferos. [67]
  • Biología de sistemas , por ejemplo con el modelado de la infección viral de células individuales. [68]
  • Modelos compartimentales para el modelado de brotes de enfermedades y epidemias.

Probando [ editar ]

Varios teóricos han propuesto la idea de la prueba estadística de la cadena de Markov (MCST), un método de unir cadenas de Markov para formar una " manta de Markov ", organizando estas cadenas en varias capas recursivas ("obleas") y produciendo conjuntos de pruebas más eficientes: muestras —Como reemplazo de pruebas exhaustivas. Los MCST también tienen usos en redes temporales basadas en estados; El artículo de Chilukuri et al. Titulado "Redes de razonamiento de incertidumbre temporal para la fusión de pruebas con aplicaciones para la detección y seguimiento de objetos" (ScienceDirect) proporciona antecedentes y un estudio de caso para aplicar MCST a una gama más amplia de aplicaciones.

Variabilidad de la irradiancia solar [ editar ]

Las evaluaciones de la variabilidad de la irradiancia solar son útiles para aplicaciones de energía solar . La variabilidad de la irradiancia solar en cualquier lugar a lo largo del tiempo es principalmente una consecuencia de la variabilidad determinista de la trayectoria del sol a través del domo del cielo y la variabilidad en la nubosidad. La variabilidad de la irradiancia solar accesible en la superficie de la Tierra ha sido modelada usando cadenas de Markov, [69] [70] [71] [72] también incluyendo modelar los dos estados de claridad y nubosidad como una cadena de Markov de dos estados. [73] [74]

Reconocimiento de voz [ editar ]

Los modelos ocultos de Markov son la base de la mayoría de los sistemas de reconocimiento automático de voz modernos.

Teoría de la información [ editar ]

Las cadenas de Markov se utilizan en todo el procesamiento de la información. El famoso artículo de 1948 de Claude Shannon A Mathematical Theory of Communication , que en un solo paso creó el campo de la teoría de la información , se abre con la introducción del concepto de entropía a través del modelado de Markov del idioma inglés. Estos modelos idealizados pueden capturar muchas de las regularidades estadísticas de los sistemas. Incluso sin describir perfectamente la estructura completa del sistema, tales modelos de señales pueden hacer posible una compresión de datos muy eficaz a través de técnicas de codificación de entropía como la codificación aritmética . También permiten una estimación de estado eficaz yreconocimiento de patrones . Las cadenas de Markov también juegan un papel importante en el aprendizaje por refuerzo .

Las cadenas de Markov también son la base para los modelos de Markov ocultos, que son una herramienta importante en campos tan diversos como las redes telefónicas (que utilizan el algoritmo de Viterbi para la corrección de errores), el reconocimiento de voz y la bioinformática (como en la detección de reordenamientos [75] ).

El algoritmo de compresión de datos sin pérdida LZMA combina cadenas de Markov con compresión Lempel-Ziv para lograr relaciones de compresión muy altas.

Teoría de las colas [ editar ]

Las cadenas de Markov son la base para el tratamiento analítico de las colas ( teoría de las colas ). Agner Krarup Erlang inició el tema en 1917. [76] Esto los hace críticos para optimizar el rendimiento de las redes de telecomunicaciones, donde los mensajes a menudo deben competir por recursos limitados (como el ancho de banda). [77]

Numerosos modelos de colas utilizan cadenas de Markov de tiempo continuo. Por ejemplo, una cola M / M / 1 es una CTMC en los enteros no negativos donde las transiciones ascendentes de i a i  + 1 ocurren a una tasa λ de acuerdo con un proceso de Poisson y describen las llegadas de trabajos, mientras que las transiciones de i a i  - 1 (para i  > 1) ocurren a una tasa μ (los tiempos de servicio del trabajo se distribuyen exponencialmente) y describen los servicios completados (salidas) de la cola.

Aplicaciones de Internet [ editar ]

Un diagrama de estado que representa el algoritmo de PageRank con una probabilidad de transición de M o .

El PageRank de una página web tal como lo utiliza Google está definido por una cadena de Markov. [78] [79] [80] Es la probabilidad de estar en la página de la distribución estacionaria en la siguiente cadena de Markov en todas las páginas web (conocidas). Si es el número de páginas web conocidas y una página tiene enlaces, entonces tiene probabilidad de transición para todas las páginas que están enlazadas y para todas las páginas que no están enlazadas. Se considera que el parámetro es de aproximadamente 0,15. [81]

Los modelos de Markov también se han utilizado para analizar el comportamiento de navegación web de los usuarios. La transición del enlace web de un usuario en un sitio web en particular se puede modelar utilizando modelos de Markov de primer o segundo orden y se puede utilizar para hacer predicciones con respecto a la navegación futura y para personalizar la página web para un usuario individual.

Estadísticas [ editar ]

Los métodos de cadena de Markov también se han vuelto muy importantes para generar secuencias de números aleatorios para reflejar con precisión distribuciones de probabilidad deseadas muy complicadas, a través de un proceso llamado cadena de Markov Monte Carlo (MCMC). En los últimos años, esto ha revolucionado la practicabilidad de los métodos de inferencia bayesianos , permitiendo simular una amplia gama de distribuciones posteriores y encontrar sus parámetros numéricamente.

Economía y finanzas [ editar ]

Las cadenas de Markov se utilizan en finanzas y economía para modelar una variedad de fenómenos diferentes, incluida la distribución del ingreso, la distribución del tamaño de las empresas, los precios de los activos y las caídas del mercado. DG Champernowne construyó un modelo de cadena de Markov de la distribución del ingreso en 1953. [82] Herbert A. Simon y el coautor Charles Bonini utilizaron un modelo de cadena de Markov para derivar una distribución de Yule estacionaria de tamaños de empresas. [83] Louis Bachelier fue el primero en observar que los precios de las acciones siguieron un recorrido aleatorio. [84] El paseo aleatorio se vio más tarde como una evidencia a favor de la hipótesis del mercado eficiente y los modelos de paseo aleatorio fueron populares en la literatura de la década de 1960. [85]Los modelos de ciclos económicos de cambio de régimen fueron popularizados por James D. Hamilton (1989), quien utilizó una cadena de Markov para modelar cambios entre períodos de crecimiento del PIB alto y bajo (o, alternativamente, expansiones y recesiones económicas). [86] Un ejemplo más reciente es el modelo multifractal de conmutación de Markov de Laurent E. Calvet y Adlai J. Fisher, que se basa en la conveniencia de modelos anteriores de conmutación de régimen. [87] [88] Utiliza una cadena de Markov arbitrariamente grande para impulsar el nivel de volatilidad de los rendimientos de los activos.

La macroeconomía dinámica hace un uso intensivo de las cadenas de Markov. Un ejemplo es el uso de cadenas de Markov para modelar exógenamente los precios de las acciones (acciones) en un entorno de equilibrio general . [89]

Las agencias de calificación crediticia producen tablas anuales de las probabilidades de transición para bonos de diferentes calificaciones crediticias. [90]

Ciencias sociales [ editar ]

Las cadenas de Markov se utilizan generalmente para describir argumentos dependientes de la ruta , donde las configuraciones estructurales actuales condicionan los resultados futuros. Un ejemplo es la reformulación de la idea, originalmente, debido a Karl Marx 's Das Kapital , atar el desarrollo económico a la subida del capitalismo . En la investigación actual, es común usar una cadena de Markov para modelar cómo una vez que un país alcanza un nivel específico de desarrollo económico, la configuración de factores estructurales, como el tamaño de la clase media , la proporción de residencia urbana y rural, la tasa de movilización política , etc., generará una mayor probabilidad de transición del autoritarismoal régimen democrático . [91]

Juegos [ editar ]

Las cadenas de Markov se pueden utilizar para modelar muchos juegos de azar. [1] Los juegos para niños Serpientes y escaleras y "¡ Hola, Ho! Cherry-O ", por ejemplo, están representados exactamente por cadenas de Markov. En cada turno, el jugador comienza en un estado determinado (en un cuadrado determinado) y desde allí tiene probabilidades fijas de pasar a otros estados determinados (cuadrados).

Música [ editar ]

Las cadenas de Markov se emplean en la composición musical algorítmica , particularmente en software como Csound , Max y SuperCollider . En una cadena de primer orden, los estados del sistema se convierten en valores de nota o tono, y se construye un vector de probabilidad para cada nota, completando una matriz de probabilidad de transición (ver más abajo). Se construye un algoritmo para producir valores de nota de salida basados ​​en las ponderaciones de la matriz de transición, que pueden ser valores de nota MIDI , frecuencia ( Hz ) o cualquier otra métrica deseable. [92]

Se puede introducir una cadena de Markov de segundo orden considerando el estado actual y también el estado anterior, como se indica en la segunda tabla. Las cadenas superiores de n -ésimo orden tienden a "agrupar" notas particulares juntas, mientras que ocasionalmente se "rompen" en otros patrones y secuencias. Estas cadenas de orden superior tienden a generar resultados con un sentido de estructura de frase , en lugar del "vagabundeo sin rumbo" producido por un sistema de primer orden. [93]

Las cadenas de Markov se pueden usar estructuralmente, como en Analogique A y B de Xenakis. [94] Las cadenas de Markov también se usan en sistemas que usan un modelo de Markov para reaccionar interactivamente a la entrada de música. [95]

Por lo general, los sistemas musicales necesitan imponer restricciones de control específicas en las secuencias de longitud finita que generan, pero las restricciones de control no son compatibles con los modelos de Markov, ya que inducen dependencias de largo alcance que violan la hipótesis de Markov de memoria limitada. Para superar esta limitación, se ha propuesto un nuevo enfoque. [96]

Béisbol [ editar ]

Los modelos de cadena de Markov se han utilizado en el análisis de béisbol avanzado desde 1960, aunque su uso todavía es poco común. Cada media entrada de un juego de béisbol se ajusta al estado de la cadena de Markov cuando se considera el número de corredores y outs. Durante cualquier turno al bate, hay 24 combinaciones posibles de número de outs y posición de los corredores. Mark Pankin muestra que los modelos de cadena de Markov se pueden utilizar para evaluar carreras creadas tanto para jugadores individuales como para un equipo. [97] También analiza varios tipos de estrategias y condiciones de juego: cómo se han utilizado los modelos de cadena de Markov para analizar estadísticas de situaciones de juego como el bunting y el robo de bases y las diferencias cuando se juega en hierba frente a AstroTurf . [98]

Generadores de texto de Markov [ editar ]

Los procesos de Markov también se pueden utilizar para generar un texto de apariencia real superficial dado un documento de muestra. Los procesos de Markov se utilizan en una variedad de software de " generador de parodia " recreativo (ver prensa disociada , Jeff Harrison, [99] Mark V. Shaney , [100] [101] y Academias Neutronium ). Existen varias bibliotecas de generación de texto de código abierto que utilizan cadenas de Markov, incluido The RiTa Toolkit .

Pronóstico probabilístico [ editar ]

Las cadenas de Markov se han utilizado para pronosticar en varias áreas: por ejemplo, tendencias de precios, [102] energía eólica [103] e irradiancia solar. [104] Los modelos de predicción de cadenas de Markov utilizan una variedad de configuraciones, desde la discretización de las series de tiempo, [103] hasta los modelos de Markov ocultos combinados con ondículas, [102] y el modelo de distribución de mezcla de cadenas de Markov (MCM). [104]

Ver también [ editar ]

  • Dinámica de las partículas de Markov.
  • Proceso de Gauss-Markov
  • Método de aproximación de la cadena de Markov
  • Geoestadísticas de la cadena de Markov
  • Tiempo de mezcla de la cadena de Markov
  • Proceso de decisión de Markov
  • Fuente de información de Markov
  • Odómetro de Markov
  • Campo aleatorio de Markov
  • Cadena cuántica de Markov
  • Proceso Semi-Markov
  • Autómata celular estocástico
  • Cadena telescópica de Markov
  • Modelo de Markov de orden variable

Notas [ editar ]

  1. ↑ a b c d e f g h i j k l Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 1–235. ISBN 978-1-119-38755-8.
  2. ^ "Cadena de Markov | Definición de cadena de Markov en inglés de Estados Unidos por los diccionarios de Oxford" . Diccionarios de Oxford | Ingles . Consultado el 14 de diciembre de 2017 .
  3. ^ Definición en Brilliant.org "Wiki brillante de matemáticas y ciencias" . Consultado el 12 de mayo de 2019.
  4. ^ Samuel Karlin; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos . Prensa académica. pag. 47. ISBN 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
  5. ^ Bruce Hajek (12 de marzo de 2015). Procesos aleatorios para ingenieros . Prensa de la Universidad de Cambridge. ISBN 978-1-316-24124-0. Archivado desde el original el 23 de marzo de 2017.
  6. ^ G. Latouche; V. Ramaswami (1º de enero de 1999). Introducción a los métodos analíticos matriciales en el modelado estocástico . SIAM. págs. 4–. ISBN 978-0-89871-425-8. Archivado desde el original el 23 de marzo de 2017.
  7. ^ a b Sean Meyn; Richard L. Tweedie (2 de abril de 2009). Cadenas de Markov y estabilidad estocástica . Prensa de la Universidad de Cambridge. pag. 3. ISBN 978-0-521-73182-9. Archivado desde el original el 23 de marzo de 2017.
  8. ^ Reuven Y. Rubinstein; Dirk P. Kroese (20 de septiembre de 2011). Simulación y método de Monte Carlo . John Wiley e hijos. pag. 225. ISBN 978-1-118-21052-9. Archivado desde el original el 23 de marzo de 2017.
  9. ^ Dani Gamerman; Hedibert F. Lopes (10 de mayo de 2006). Cadena de Markov Monte Carlo: simulación estocástica para inferencia bayesiana, segunda edición . Prensa CRC. ISBN 978-1-58488-587-0. Archivado desde el original el 23 de marzo de 2017.
  10. ^ "Markovian" . Diccionario de inglés de Oxford (edición en línea). Prensa de la Universidad de Oxford. (Se requiere suscripción o membresía en una institución participante ).
  11. Øksendal, BK (Bernt Karsten) (2003). Ecuaciones diferenciales estocásticas: una introducción con aplicaciones (6ª ed.). Berlín: Springer. ISBN 3540047581. OCLC  52203046 .
  12. ↑ a b Søren Asmussen (15 de mayo de 2003). Probabilidad aplicada y colas . Springer Science & Business Media. pag. 7. ISBN 978-0-387-00211-8. Archivado desde el original el 23 de marzo de 2017.
  13. ^ Emanuel Parzen (17 de junio de 2015). Procesos estocásticos . Publicaciones de Courier Dover. pag. 188. ISBN 978-0-486-79688-8. Archivado desde el original el 20 de noviembre de 2017.
  14. ^ Samuel Karlin; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos . Prensa académica. págs. 29 y 30. ISBN 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
  15. ^ John Lamperti (1977). Procesos estocásticos: un estudio de la teoría matemática . Springer-Verlag. págs. 106-121. ISBN 978-3-540-90275-1. Archivado desde el original el 23 de marzo de 2017.
  16. ^ Sheldon M. Ross (1996). Procesos estocásticos . Wiley. págs. 174 y 231. ISBN 978-0-471-12062-9. Archivado desde el original el 23 de marzo de 2017.
  17. ^ Everitt, BS (2002) El diccionario de estadística de Cambridge . TAZA. ISBN 0-521-81099-X 
  18. ^ Parzen, E. (1962) Procesos estocásticos , Holden-Day. ISBN 0-8162-6664-6 (tabla 6.1) 
  19. ^ Dodge, Y. (2003) El diccionario de términos estadísticos de Oxford , OUP. ISBN 0-19-920613-9 (entrada para "Cadena de Markov") 
  20. ^ Dodge, Y. El diccionario de Oxford de términos estadísticos , OUP. ISBN 0-19-920613-9 
  21. ^ Meyn, S. Sean P. y Richard L. Tweedie. (2009) Cadenas de Markov y estabilidad estocástica . Prensa de la Universidad de Cambridge. (Prefacio, p. Iii)
  22. ↑ a b c Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 159-163. ISBN 978-1-119-38755-8.
  23. ^ Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 2–8. ISBN 978-1-119-38755-8.
  24. ^ a b c d e Charles Miller Grinstead; James Laurie Snell (1997). Introducción a la probabilidad . American Mathematical Soc. págs.  464 –466. ISBN 978-0-8218-0749-1.
  25. ↑ a b c Pierre Bremaud (9 de marzo de 2013). Cadenas de Markov: campos de Gibbs, simulación de Monte Carlo y colas . Springer Science & Business Media. pag. ix. ISBN 978-1-4757-3124-8. Archivado desde el original el 23 de marzo de 2017.
  26. ↑ a b c Hayes, Brian (2013). "Primeros eslabones de la cadena de Markov". Científico estadounidense . 101 (2): 92–96. doi : 10.1511 / 2013.101.92 .
  27. ↑ a b Sheldon M. Ross (1996). Procesos estocásticos . Wiley. págs. 235 y 358. ISBN 978-0-471-12062-9. Archivado desde el original el 23 de marzo de 2017.
  28. ^ Jarrow, Robert; Protter, Philip (2004). "Una breve historia de la integración estocástica y las finanzas matemáticas: los primeros años, 1880-1970". Un Festschrift para Herman Rubin . Notas de conferencias del Instituto de Estadística Matemática - Serie de monografías. págs. 75–91. CiteSeerX 10.1.1.114.632 . doi : 10.1214 / lnms / 1196285381 . ISBN  978-0-940600-61-4. ISSN  0749-2170 .
  29. ^ Guttorp, Peter; Thorarinsdottir, Thordis L. (2012). "¿Qué pasó con el caos discreto, el proceso de Quenouille y la propiedad de Sharp Markov? Alguna historia de los procesos de puntos estocásticos". Revista Estadística Internacional . 80 (2): 253–268. doi : 10.1111 / j.1751-5823.2012.00181.x . ISSN 0306-7734 . 
  30. ^ Seneta, E. (1996). "Markov y el nacimiento de la teoría de la dependencia en cadena". Revista Estadística Internacional / Revue Internationale de Statistique . 64 (3): 255-257. doi : 10.2307 / 1403785 . ISSN 0306-7734 . JSTOR 1403785 .  
  31. ^ Seneta, E. (1998). "IJ Bienaymé [1796-1878]: criticidad, desigualdad e internacionalización". Revista Estadística Internacional / Revue Internationale de Statistique . 66 (3): 291-292. doi : 10.2307 / 1403518 . ISSN 0306-7734 . JSTOR 1403518 .  
  32. ^ Bru B, Hertz S (2001). "Maurice Fréchet". En Heyde CC, Seneta E, Crépel P, Fienberg SE, Gani J (eds.). Estadísticos de los siglos . Nueva York, NY: Springer. págs. 331–334. doi : 10.1007 / 978-1-4613-0179-0_71 . ISBN 978-0-387-95283-3.
  33. ^ a b c Kendall, DG; Batchelor, GK; Bingham, NH; Hayman, WK; Hyland, JME; Lorentz, GG; Moffatt, HK; Parry, W .; Razborov, AA; Robinson, CA; Whittle, P. (1990). "Andrei Nikolaevich Kolmogorov (1903-1987)". Boletín de la London Mathematical Society . 22 (1): 33. doi : 10.1112 / blms / 22.1.31 . ISSN 0024-6093 . 
  34. ↑ a b Cramér, Harald (1976). "Medio siglo con teoría de la probabilidad: algunos recuerdos personales" . Los anales de la probabilidad . 4 (4): 509–546. doi : 10.1214 / aop / 1176996025 . ISSN 0091-1798 . 
  35. ^ Marc Barbut; Bernard Locker; Laurent Mazliak (23 de agosto de 2016). Paul Lévy y Maurice Fréchet: 50 años de correspondencia en 107 cartas . Springer London. pag. 5. ISBN 978-1-4471-7262-8. Archivado desde el original el 23 de marzo de 2017.
  36. ^ Valeriy Skorokhod (5 de diciembre de 2005). Principios básicos y aplicaciones de la teoría de la probabilidad . Springer Science & Business Media. pag. 146. ISBN 978-3-540-26312-8. Archivado desde el original el 23 de marzo de 2017.
  37. ^ Bernstein, Jeremy (2005). "Soltero". Revista estadounidense de física . 73 (5): 395–398. Código bibliográfico : 2005AmJPh..73..395B . doi : 10.1119 / 1.1848117 . ISSN 0002-9505 . 
  38. ^ William J. Anderson (6 de diciembre de 2012). Cadenas de Markov de tiempo continuo: un enfoque orientado a aplicaciones . Springer Science & Business Media. pag. vii. ISBN 978-1-4612-3038-0. Archivado desde el original el 23 de marzo de 2017.
  39. ^ Kendall, DG; Batchelor, GK; Bingham, NH; Hayman, WK; Hyland, JME; Lorentz, GG; Moffatt, HK; Parry, W .; Razborov, AA; Robinson, CA; Whittle, P. (1990). "Andrei Nikolaevich Kolmogorov (1903-1987)". Boletín de la London Mathematical Society . 22 (1): 57. doi : 10.1112 / blms / 22.1.31 . ISSN 0024-6093 . 
  40. ↑ a b Ionut Florescu (7 de noviembre de 2014). Probabilidad y procesos estocásticos . John Wiley e hijos. págs. 373 y 374. ISBN 978-1-118-59320-2. Archivado desde el original el 23 de marzo de 2017.
  41. ^ a b Samuel Karlin; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos . Prensa académica. pag. 49. ISBN 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
  42. ^ Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 1-2. ISBN 978-1-119-38755-8.
  43. ^ Weiss, George H. (2006). "Paseos al azar". Enciclopedia de Ciencias Estadísticas . pag. 1. doi : 10.1002 / 0471667196.ess2180.pub2 . ISBN 978-0471667193.
  44. ^ Michael F. Shlesinger (1985). El maravilloso mundo de los estocásticos: un tributo a Elliott W. Montroll . Holanda Septentrional. págs. 8-10. ISBN 978-0-444-86937-1. Archivado desde el original el 23 de marzo de 2017.
  45. ^ Emanuel Parzen (17 de junio de 2015). Procesos estocásticos . Publicaciones de Courier Dover. pag. 7 y 8. ISBN 978-0-486-79688-8. Archivado desde el original el 20 de noviembre de 2017.
  46. ^ Joseph L. Doob (1990). Procesos estocastipoicos . Wiley. pag. 46 y 47. Archivado desde el original el 20 de noviembre de 2017.
  47. ^ Donald L. Snyder; Michael I. Miller (6 de diciembre de 2012). Procesos de puntos aleatorios en el tiempo y el espacio . Springer Science & Business Media. pag. 32. ISBN 978-1-4612-3166-0. Archivado desde el original el 20 de noviembre de 2017.
  48. ^ Norris, JR (1997). "Cadenas de Markov en tiempo continuo I". Cadenas de Markov . págs. 60-107. doi : 10.1017 / CBO9780511810633.004 . ISBN 9780511810633.
  49. ↑ a b Serfozo, Richard (2009). "Fundamentos de los procesos estocásticos aplicados" . Probabilidad y sus aplicaciones . doi : 10.1007 / 978-3-540-89332-5 . ISBN 978-3-540-89331-8. ISSN  1431-7028 .
  50. ^ "Capítulo 11" Cadenas de Markov " " (PDF) . Archivado (PDF) desde el original el 15 de febrero de 2017 . Consultado el 2 de junio de 2017 .
  51. ^ Schmitt, Florian; Rothlauf, Franz (2001). "Sobre la importancia del segundo valor propio más grande en la tasa de convergencia de algoritmos genéticos". Actas del 14º Simposio sobre sistemas distribuidos confiables . CiteSeerX 10.1.1.28.6191 . 
  52. ^ Franzke, Brandon; Kosko, Bart (1 de octubre de 2011). "El ruido puede acelerar la convergencia en las cadenas de Markov". Revisión E física . 84 (4): 041112. Código Bibliográfico : 2011PhRvE..84d1112F . doi : 10.1103 / PhysRevE.84.041112 . PMID 22181092 . 
  53. ^ Spitzer, Frank (1970). "Interacción de los procesos de Markov" . Avances en Matemáticas . 5 (2): 246–290. doi : 10.1016 / 0001-8708 (70) 90034-4 .
  54. ^ RL Dobrushin; VI Kri︠u︡kov; AL Toom (1978). Sistemas Celulares Estocásticos: Ergodicidad, Memoria, Morfogénesis . ISBN 9780719022067. Archivado desde el original el 5 de febrero de 2017 . Consultado el 4 de marzo de 2016 .
  55. ^ Doblinger, G. (septiembre de 1998). "Suavizado de señales AR ruidosas mediante un filtro de Kalman adaptativo" (PDF) . 9ª Conferencia europea de procesamiento de señales (EUSIPCO 1998) : 781–784.
  56. ^ Norris, JR (1997). "Cadenas de Markov en tiempo continuo II". Cadenas de Markov . págs. 108-127. doi : 10.1017 / CBO9780511810633.005 . ISBN 9780511810633.
  57. ^ a b c Matthew Nicol y Karl Petersen, (2009) " Teoría ergódica: ejemplos básicos y construcciones ", Enciclopedia de la ciencia de la complejidad y los sistemas , Springer https://doi.org/10.1007/978-0-387-30440-3_177
  58. ^ Fitzpatrick, Richard. "Termodinámica y mecánica estadística" (PDF) . Archivado (PDF) desde el original el 30 de noviembre de 2016 . Consultado el 2 de junio de 2017 .
  59. ^ a b van Ravenzwaaij, Don; Cassey, Pete; Brown, Scott D. (11 de marzo de 2016). "Una simple introducción al muestreo de Markov Chain Monte-Carlo" . Boletín y revisión psiconómica . 25 (1): 143-154. doi : 10.3758 / s13423-016-1015-8 . ISSN 1069-9384 . PMC 5862921 . PMID 26968853 .   
  60. ^ Ryder, Lewis H. (1985). Teoría cuántica de campos . Cambridge [Cambridgeshire]: Cambridge University Press. págs.  160 . ISBN 978-0521338592. OCLC  10533049 .
  61. ^ Gattringer, Christof; Lang, Christian B (2010). Cromodinámica cuántica en la celosía . Apuntes de clases de física. 788 . Springer-Verlag Berlín Heidelberg. doi : 10.1007 / 978-3-642-01850-3 . ISBN 978-3-642-01849-7. Archivado desde el original el 1 de agosto de 2017.
  62. ^ Anderson, David F .; Kurtz, Thomas G. (2011), "Modelos de cadena de Markov en tiempo continuo para redes de reacción química", Diseño y análisis de circuitos biomoleculares , Springer Nueva York, págs. 3-42, doi : 10.1007 / 978-1-4419-6766- 4_1 , ISBN 9781441967657
  63. ^ Du, Chao; Kou, SC (septiembre de 2012). "Análisis de correlación de la reacción enzimática de una sola molécula de proteína" . The Annals of Applied Statistics . 6 (3): 950–976. arXiv : 1209.6210 . Código bibliográfico : 2012arXiv1209.6210D . doi : 10.1214 / 12-aoas541 . ISSN 1932-6157 . PMC 3568780 . PMID 23408514 .   
  64. ^ Kutchukian, Peter; Lou, David; Shakhnovich, Eugene (2009). "FOG: algoritmo de crecimiento optimizado de fragmentos para la generación de Novo de moléculas que ocupan Druglike Chemical". Revista de información química y modelado . 49 (7): 1630–1642. doi : 10.1021 / ci9000458 . PMID 19527020 . 
  65. ^ Kutchukian, Peter S .; Lou, David; Shakhnovich, Eugene I. (15 de junio de 2009). "FOG: algoritmo de crecimiento optimizado de fragmentos para la generación de novo de moléculas que ocupan el espacio químico similar a un fármaco". Revista de información química y modelado . 49 (7): 1630–1642. doi : 10.1021 / ci9000458 . ISSN 1549-9596 . PMID 19527020 .  
  66. ^ Kopp, VS; Kaganer, VM; Schwarzkopf, J .; Waidick, F .; Remmele, T .; Kwasniewski, A .; Schmidbauer, M. (2011). "Difracción de rayos X de estructuras estratificadas no periódicas con correlaciones: Cálculo analítico y experimento en películas mixtas de Aurivillius". Acta Crystallographica Sección A . 68 (Pt 1): 148-155. Código bibliográfico : 2012AcCrA..68..148K . doi : 10.1107 / S0108767311044874 . PMID 22186291 . 
  67. ^ George, Dileep; Hawkins, Jeff (2009). Friston, Karl J. (ed.). "Hacia una teoría matemática de los microcircuitos corticales" . PLOS Comput Biol . 5 (10): e1000532. Código Bibliográfico : 2009PLSCB ... 5E0532G . doi : 10.1371 / journal.pcbi.1000532 . PMC 2749218 . PMID 19816557 .  
  68. ^ Gupta, Ankur; Rawlings, James B. (abril de 2014). "Comparación de métodos de estimación de parámetros en modelos cinéticos químicos estocásticos: ejemplos en biología de sistemas" . Revista AIChE . 60 (4): 1253–1268. doi : 10.1002 / aic.14409 . PMC 4946376 . PMID 27429455 .  
  69. ^ Aguiar, RJ; Collares-Pereira, M .; Conde, JP (1988). "Procedimiento simple para generar secuencias de valores de radiación diarios utilizando una biblioteca de matrices de transición de Markov". Energía solar . 40 (3): 269-279. Código bibliográfico : 1988SoEn ... 40..269A . doi : 10.1016 / 0038-092X (88) 90049-7 .
  70. ^ Ngoko, BO; Sugihara, H .; Funaki, T. (2014). "Generación sintética de datos de radiación solar de alta resolución temporal utilizando modelos de Markov". Energía solar . 103 : 160-170. Código bibliográfico : 2014SoEn..103..160N . doi : 10.1016 / j.solener.2014.02.026 .
  71. ^ Brillante, JM; Smith, CI; Taylor, PG; Crook, R. (2015). "Generación estocástica de series de tiempo sintéticas de irradiancia minuciosa derivadas de datos de observación del tiempo medio por hora" . Energía solar . 115 : 229–242. Código bibliográfico : 2015SoEn..115..229B . doi : 10.1016 / j.solener.2015.02.032 .
  72. Munkhammar, J .; Widén, J. (2018). "Un modelo de distribución de mezcla de cadena de Markov de estado N del índice de cielo despejado". Energía solar . 173 : 487–495. Código Bib : 2018SoEn..173..487M . doi : 10.1016 / j.solener.2018.07.056 .
  73. ^ Morf, H. (1998). "El modelo estocástico de irradiancia solar de dos estados (STSIM)". Energía solar . 62 (2): 101–112. Código Bibliográfico : 1998SoEn ... 62..101M . doi : 10.1016 / S0038-092X (98) 00004-8 .
  74. Munkhammar, J .; Widén, J. (2018). "Un enfoque de mezcla de distribución de probabilidad de cadena de Markov para el índice de cielo despejado". Energía solar . 170 : 174-183. Código bibliográfico : 2018SoEn..170..174M . doi : 10.1016 / j.solener.2018.05.055 .
  75. ^ Pratas, D; Silva, R; Pinho, A; Ferreira, P (18 de mayo de 2015). "Un método sin alineación para encontrar y visualizar reordenamientos entre pares de secuencias de ADN" . Informes científicos . 5 (10203): 10203. Código Bibliográfico : 2015NatSR ... 510203P . doi : 10.1038 / srep10203 . PMC 4434998 . PMID 25984837 .  
  76. ^ O'Connor, John J .; Robertson, Edmund F. , "Cadena de Markov" , archivo MacTutor de Historia de las Matemáticas , Universidad de St Andrews.
  77. ^ SP Meyn, 2007. Técnicas de control para redes complejas Archivado el 13 de mayo de 2015 en la Wayback Machine , Cambridge University Press, 2007.
  78. ^ Patente de Estados Unidos 6.285.999
  79. ^ Gupta, Brij; Agrawal, Dharma P .; Yamaguchi, Shingo (16 de mayo de 2016). Manual de investigación sobre soluciones criptográficas modernas para la seguridad informática y cibernética . IGI Global. págs. 448–. ISBN 978-1-5225-0106-0. Archivado desde el original el 23 de marzo de 2017.
  80. Langville, Amy N .; Meyer, Carl D. (2006). "Un reordenamiento para el problema de PageRank" (PDF) . Revista SIAM de Computación Científica . 27 (6): 2112–2113. CiteSeerX 10.1.1.58.8652 . doi : 10.1137 / 040607551 . ISSN 1064-8275 . Archivado (PDF) desde el original el 21 de septiembre de 2017.   
  81. ^ Page, Lawrence; Brin, Sergey; Motwani, Rajeev; Winograd, Terry (1999). El ranking de citas de PageRank: poner orden en la Web (informe técnico). CiteSeerX 10.1.1.31.1768 . 
  82. Champernowne, D (1953). "Un modelo de distribución del ingreso". The Economic Journal . 63 : 318–51. doi : 10.2307 / 2227127 .
  83. ^ Simon, Herbert; C Bonini (1958). "La distribución del tamaño de las empresas comerciales". Soy. Econ. Rev . 42 : 425–40.
  84. Bachelier, Louis (1900). "Théorie de la spéculation". Annales Scientifiques de l'École Normale Supérieure . 3 : 21–86.
  85. ^ por ejemplo , Fama, E (1965). "El comportamiento de los precios de la bolsa". Revista de negocios . 38 .
  86. ^ Hamilton, James (1989). "Un nuevo enfoque para el análisis económico de las series temporales no estacionarias y el ciclo económico". Econometrica . 57 (2): 357–84. CiteSeerX 10.1.1.397.3582 . doi : 10.2307 / 1912559 . JSTOR 1912559 .  
  87. ^ Calvet, Laurent E .; Fisher, Adlai J. (2001). "Pronóstico de la volatilidad multifractal". Revista de Econometría . 105 (1): 27–58. doi : 10.1016 / S0304-4076 (01) 00069-0 . S2CID 119394176 . 
  88. ^ Calvet, Laurent; Adlai Fisher (2004). "Cómo pronosticar la volatilidad a largo plazo: cambio de régimen y la estimación de procesos multifractales". Revista de Econometría Financiera . 2 : 49–83. CiteSeerX 10.1.1.536.8334 . doi : 10.1093 / jjfinec / nbh003 . S2CID 6020401 .  
  89. ^ Brennan, Michael; Xiab, Yihong. "La volatilidad del precio de las acciones y la prima de la equidad" (PDF) . Departamento de Finanzas, Anderson School of Management, UCLA . Archivado desde el original (PDF) el 28 de diciembre de 2008.
  90. ^ "Un ejemplo de cadena de Markov en conferencias de la Universidad de Columbia de modelado de riesgo crediticio" (PDF) . Archivado desde el original (PDF) el 24 de marzo de 2016.
  91. ^ Acemoglu, Daron; Georgy Egorov; Konstantin Sonin (2011). "Modelo político de evolución social" . Actas de la Academia Nacional de Ciencias . 108 : 21292–21296. Código Bibliográfico : 2011PNAS..10821292A . CiteSeerX 10.1.1.225.6090 . doi : 10.1073 / pnas.1019454108 . PMC 3271566 . PMID 22198760 . Archivado desde el original el 15 de abril de 2013.   
  92. ^ K McAlpine; E Miranda; S Hoggar (1999). "Hacer música con algoritmos: un sistema de estudio de caso". Computer Music Journal . 23 (2): 19–30. doi : 10.1162 / 014892699559733 . S2CID 40057162 . 
  93. ^ Curtis Roads (ed.) (1996). El tutorial de música por ordenador . MIT Press. ISBN 978-0-262-18158-7.CS1 maint: extra text: authors list (link)
  94. ^ Xenakis, Iannis; Kanach, Sharon (1992) Música formalizada: matemáticas y pensamiento en la composición , Pendragon Press. ISBN 1576470792 
  95. ^ "Continuador" . Archivado desde el original el 13 de julio de 2012.
  96. ^ Pachet, F .; Roy, P .; Barbieri, G. (2011) "Procesos de Markov de longitud finita con restricciones" Archivado el14 de abril de 2012en Wayback Machine , Actas de la 22ª Conferencia Internacional Conjunta sobre Inteligencia Artificial , IJCAI, páginas 635–642, Barcelona, ​​España, julio 2011
  97. ^ Pankin, Mark D. "MODELOS DE CADENA DE MARKOV: ANTECEDENTES TEÓRICOS" . Archivado desde el original el 9 de diciembre de 2007 . Consultado el 26 de noviembre de 2007 .
  98. ^ Pankin, Mark D. "EL BÉISBOL COMO UNA CADENA DE MARKOV" . Archivado desde el original el 13 de mayo de 2009 . Consultado el 24 de abril de 2009 .
  99. ^ "Rincón del poeta - Fieralingue" . Archivado desde el original el 6 de diciembre de 2010.
  100. ^ Kenner, Hugh; O'Rourke, Joseph (noviembre de 1984). "Un generador de parodias para micros". BYTE . 9 (12): 129-131, 449-469.
  101. ^ Hartman, Charles (1996). Musa virtual: experimentos en poesía informática . Hannover, NH: Wesleyan University Press. ISBN 978-0-8195-2239-9.
  102. ↑ a b de Souza e Silva, EG; Legey, LFL; de Souza e Silva, EA (2010). "Pronóstico de las tendencias del precio del petróleo utilizando wavelets y modelos ocultos de Markov" . Economía energética . 32 .
  103. ^ a b Carpinona, A; Giorgio, M; Langella, R .; Testa, A. (2015). "Modelado de la cadena de Markov para la previsión de energía eólica a muy corto plazo" . Investigación de sistemas de energía eléctrica . 122 : 152-158. doi : 10.1016 / j.epsr.2014.12.025 .
  104. ↑ a b Munkhammar, J .; van der Meer, DW; Widén, J. (2019). "Pronóstico probabilístico de series de tiempo de índice de cielo despejado de alta resolución utilizando un modelo de distribución de mezcla de cadenas de Markov". Energía solar . 184 : 688–695. Código bibliográfico : 2019SoEn..184..688M . doi : 10.1016 / j.solener.2019.04.014 .

Referencias [ editar ]

  • AA Markov (1906) "Rasprostranenie zakona bol'shih cincel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete , 2-ya seriya, tom 15, págs. 135-156.
  • AA Markov (1971). "Extensión de los teoremas límite de la teoría de la probabilidad a una suma de variables conectadas en una cadena". reimpreso en el Apéndice B de: R. Howard. Sistemas probabilísticos dinámicos, volumen 1: Cadenas de Markov . John Wiley e hijos.
  • Texto clásico en traducción: Markov, AA (2006). Traducido por Link, David. "Un ejemplo de investigación estadística del texto Eugene Onegin sobre la conexión de muestras en cadenas" . Ciencia en contexto . 19 (4): 591–600. doi : 10.1017 / s0269889706001074 . S2CID 144854176 . 
  • Leo Breiman (1992) [1968] Probabilidad . Edición original publicada por Addison-Wesley; reimpreso por Society for Industrial and Applied Mathematics ISBN 0-89871-296-3 . (Ver Capítulo 7) 
  • JL Doob (1953) Procesos estocásticos . Nueva York: John Wiley and Sons ISBN 0-471-52369-0 . 
  • SP Meyn y RL Tweedie (1993) Cadenas de Markov y estabilidad estocástica . Londres: Springer-Verlag ISBN 0-387-19832-6 . en línea: MCSS . Segunda edición publicada, Cambridge University Press, 2009. 
  • SP Meyn. Técnicas de control para redes complejas . Cambridge University Press, 2007. ISBN 978-0-521-88441-9 . El apéndice contiene Meyn y Tweedie resumidos. en línea: [1] 
  • Booth, Taylor L. (1967). Máquinas secuenciales y teoría de los autómatas (1ª ed.). Nueva York, NY: John Wiley and Sons, Inc. Número de catálogo de la tarjeta de la Biblioteca del Congreso 67-25924.] Libro extenso y de gran alcance destinado a especialistas, escrito tanto para científicos informáticos teóricos como para ingenieros eléctricos. Con explicaciones detalladas de las técnicas de minimización de estados, FSM, máquinas de Turing, procesos de Markov e indecidibilidad. Excelente tratamiento de los procesos de Markov pp. 449ff. Analiza las transformaciones Z, las transformaciones D en su contexto.
  • Kemeny, John G .; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Estructuras matemáticas finitas (1ª ed.). Englewood Cliffs, Nueva Jersey: Prentice-Hall, Inc. Número de catálogo de la tarjeta de la Biblioteca del Congreso 59-12841.Texto clásico. cf Capítulo 6 Cadenas de Markov finitas págs. 384ss.
  • John G. Kemeny y J. Laurie Snell (1960) Cadenas finitas de Markov , D. van Nostrand Company ISBN 0-442-04328-7 
  • E. Nummelin. "Cadenas de Markov irreductibles generales y operadores no negativos". Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X 
  • Seneta, E. Matrices no negativas y cadenas de Markov . 2da rev. ed., 1981, XVI, 288 p., Softcover Springer Series in Statistics. (Publicado originalmente por Allen & Unwin Ltd., Londres, 1973) ISBN 978-0-387-29765-1 
  • Kishor S. Trivedi, Probabilidad y estadística con confiabilidad, colas y aplicaciones informáticas , John Wiley & Sons, Inc. Nueva York, 2002. ISBN 0-471-33341-7 . 
  • KS Trivedi y RASahner, SHARPE a la edad de veintidós años , vol. 36, no. 4, págs. 52–57, Revisión de la evaluación del desempeño de ACM SIGMETRICS, 2009.
  • RA Sahner, KS Trivedi y A. Puliafito, Análisis de rendimiento y fiabilidad de sistemas informáticos: un enfoque basado en ejemplos utilizando el paquete de software SHARPE , Kluwer Academic Publishers, 1996. ISBN 0-7923-9650-2 . 
  • G. Bolch, S. Greiner, H. de Meer y KS Trivedi, Queuing Networks and Markov Chains , John Wiley, 2ª edición, 2006. ISBN 978-0-7923-9650-5 . 

Enlaces externos [ editar ]

  • Introducción a las cadenas de Markov en YouTube
  • "Cadena de Markov" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
  • Técnicas para comprender las simulaciones por computadora: análisis de la cadena de Markov
  • Capítulo de las cadenas de Markov en el libro introductorio de probabilidad de la American Mathematical Society (pdf)
  • Una hermosa explicación visual de las cadenas de Markov
  • Entendiendo y sin sentido las cadenas de Markov
  • Artículo original de AA Markov (1913): Un ejemplo de investigación estadística del texto Eugene Onegin sobre la conexión de muestras en cadenas (traducido del ruso)