En otras palabras, se asocia a cada punto. una medida de probabilidad en tal que, para cada conjunto medible , el mapa es medible con respecto a la -álgebra . [2]
Llevar , y (el conjunto de poder de). Entonces, un kernel de Markov está completamente determinado por la probabilidad que asigna a un conjunto singleton con para cada :
.
Ahora el paseo al azar que va a la derecha con probabilidad y a la izquierda con probabilidad es definido por
dónde es el delta de Kronecker . Las probabilidades de transición para el paseo aleatorio son equivalentes al kernel de Markov.
Procesos generales de Markov con espacio de estado contable
De manera más general, tome y tanto contables como . Nuevamente, un kernel de Markov se define por la probabilidad que asigna a conjuntos singleton para cada
,
Definimos un proceso de Markov definiendo una probabilidad de transición donde los numeros definir una matriz estocástica (contable) es decir
Entonces definimos
.
Nuevamente, la probabilidad de transición, la matriz estocástica y el núcleo de Markov son reformulaciones equivalentes.
Núcleo de Markov definido por una función del núcleo y una medida
define un kernel de Markov. [3] Este ejemplo generaliza el ejemplo del proceso de Markov contable dondefue la medida de conteo . Además, abarca otros ejemplos importantes como los núcleos de convolución, en particular los núcleos de Markov definidos por la ecuación de calor. El último ejemplo incluye el kernel gaussiano en con medida estándar de Lebesgue y
.
Funciones medibles
Llevar y espacios mensurables arbitrarios, y dejar ser una función medible. Ahora define es decir
para todos .
Tenga en cuenta que la función del indicador es -medible para todos si es medible.
Este ejemplo nos permite pensar en un kernel de Markov como una función generalizada con un valor (en general) aleatorio en lugar de cierto.
Composición de los granos de Markov y la categoría de Markov
Dados espacios medibles , consideramos un kernel de Markov como un morfismo . Intuitivamente, en lugar de asignar a cada uno un punto claramente definido el kernel asigna un punto "difuso" en que solo se conoce con cierto nivel de incertidumbre, al igual que las mediciones físicas reales. Si tenemos un tercer espacio medibley núcleos de probabilidad y , podemos definir una composición por
.
La composición es asociativa por el teorema de Tonelli y la función de identidad se considera un núcleo de Markov (es decir, la medida delta) es la unidad de esta composición.
Esta composición define la estructura de una categoría en los espacios medibles con núcleos de Markov como morfismos definidos por primera vez por Lawvere. [4] La categoría tiene el conjunto vacío como objeto inicial y el conjunto de un puntocomo el objeto terminal. Desde este punto de vista, un espacio de probabilidad es es lo mismo que un espacio puntiagudo en la categoría de Markov.
Espacio de probabilidad definido por distribución de probabilidad y un núcleo de Markov
Una medida de probabilidad en un espacio medible es lo mismo que un morfismo en la categoría de Markov también denotada por . Por composición, un espacio de probabilidad y un núcleo de probabilidad define un espacio de probabilidad . Se define concretamente por
Propiedades
Producto semidirecto
Dejar ser un espacio de probabilidad y un núcleo de Markov de Para algo . Entonces existe una medida única en , tal que:
Distribución condicional regular
Dejar ser un espacio Borel , a variable aleatoria valorada en el espacio de medida y un sub--álgebra. Entonces existe un kernel de Markov de a , tal que es una versión de la expectativa condicional para cada , es decir
Se llama distribución condicional regular de dado y no está definido de forma única.