Una cadena de Markov en un espacio de estado medible es una cadena de Markov discreta en tiempo homogéneo con un espacio medible como espacio de estado.
La definición de cadenas de Markov ha evolucionado durante el siglo XX. En 1953, el término cadena de Markov se utilizó para procesos estocásticos con un conjunto de índices discretos o continuos, que vivían en un espacio de estados contable o finito, ver Doob. [1] o Chung. [2] Desde finales del siglo XX se hizo más popular considerar una cadena de Markov como un proceso estocástico con un conjunto de índices discretos, que vive en un espacio de estados medible. [3] [4] [5]
Denotar con
un espacio medible y con
un kernel de Markov con fuente y destino
. Un proceso estocástico
en
se llama cadena de Markov homogénea en el tiempo con el núcleo de Markov
y comenzar la distribución
Si
![\mathbb{P}[X_0 \in A_0 , X_1 \in A_1, \dots , X_n \in A_n] = \int_{A_0} \dots \int_{A_{n-1}} p(y_{n-1},A_n) \, p(y_{n-2},dy_{n-1}) \dots p(y_0,dy_1) \, \mu(dy_0)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
está satisfecho por cualquier
. Se puede construir para cualquier kernel de Markov y cualquier medida de probabilidad una cadena de Markov asociada. [4]
Para cualquier medida
denotamos por
-función integrable
la integral de Lebesgue como
. Para la medida
definido por
usamos la siguiente notación:
![\int_E f(y) \, p(x,dy) :=\int_E f(y) \, \nu_x (dy).](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Comenzando en un solo punto
Si
es una medida de Dirac en
, denotamos para un kernel de Markov
con distribución inicial
la cadena de Markov asociada como
en
y el valor esperado
![\mathbb{E}_x[X] = \int_\Omega X(\omega) \, \mathbb{P}_x(d\omega)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
para
-función integrable
. Por definición, tenemos entonces
.
Tenemos para cualquier función medible
la siguiente relación: [4]
![\int_E f(y) \, p(x,dy) = \mathbb{E}_x[f(X_1)].](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Familia de granos de Markov
Para un kernel de Markov
con distribución inicial
se puede introducir una familia de granos de Markov
por
![p_{n+1}(x,A) := \int_E p_n(y,A) \, p(x,dy)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
por
y
. Para la cadena de Markov asociada
de acuerdo a
y
Se obtiene
.
Medida estacionaria
Una medida de probabilidad
se llama medida estacionaria de un núcleo de Markov
Si
![\int_A \mu(dx) = \int_E p(x,A) \, \mu(dx)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
se sostiene para cualquier
. Si
en
denota la cadena de Markov según un kernel de Markov
con medida estacionaria
, y la distribución de
es
, entonces todo
tienen la misma distribución de probabilidad, a saber:
![\mathbb{P}[X_n \in A ] = \mu(A)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
para cualquier
.
Reversibilidad
Un núcleo de Markov
se llama reversible según una medida de probabilidad
Si
![\int_A p(x,B) \, \mu(dx) = \int_B p(x,A) \, \mu(dx)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
se sostiene para cualquier
. Reemplazo
muestra que si
es reversible según
, luego
debe ser una medida estacionaria de
.