Una cadena de Markov en un espacio de estado medible es una cadena de Markov discreta en tiempo homogéneo con un espacio medible como espacio de estado.
La definición de cadenas de Markov ha evolucionado durante el siglo XX. En 1953, el término cadena de Markov se utilizó para procesos estocásticos con un conjunto de índices discretos o continuos, que vivían en un espacio de estados contable o finito, ver Doob. [1] o Chung. [2] Desde finales del siglo XX se hizo más popular considerar una cadena de Markov como un proceso estocástico con un conjunto de índices discretos, que vive en un espacio de estados medible. [3] [4] [5]
Denotar con un espacio medible y con un kernel de Markov con fuente y destino. Un proceso estocástico en se llama cadena de Markov homogénea en el tiempo con el núcleo de Markov y comenzar la distribución Si
está satisfecho por cualquier . Se puede construir para cualquier kernel de Markov y cualquier medida de probabilidad una cadena de Markov asociada. [4]
Para cualquier medida denotamos por -función integrable la integral de Lebesgue como. Para la medida definido por usamos la siguiente notación:
Comenzando en un solo punto
Si es una medida de Dirac en, denotamos para un kernel de Markov con distribución inicial la cadena de Markov asociada como en y el valor esperado
para -función integrable . Por definición, tenemos entonces.
Tenemos para cualquier función medible la siguiente relación: [4]
Familia de granos de Markov
Para un kernel de Markov con distribución inicial se puede introducir una familia de granos de Markov por
por y . Para la cadena de Markov asociada de acuerdo a y Se obtiene
- .
Medida estacionaria
Una medida de probabilidad se llama medida estacionaria de un núcleo de Markov Si
se sostiene para cualquier . Si en denota la cadena de Markov según un kernel de Markov con medida estacionaria , y la distribución de es , entonces todo tienen la misma distribución de probabilidad, a saber:
para cualquier .
Reversibilidad
Un núcleo de Markov se llama reversible según una medida de probabilidad Si
se sostiene para cualquier . Reemplazo muestra que si es reversible según , luego debe ser una medida estacionaria de .