En probabilidad y estadística , la distribución de Dirichlet (después de Peter Gustav Lejeune Dirichlet ), a menudo denotada, es una familia de distribuciones de probabilidad multivariantes continuas parametrizadas por un vector de reales positivos . Es una generalización multivariante de la distribución beta , [1] de ahí su nombre alternativo de distribución beta multivariante (MBD) . [2] Las distribuciones de Dirichlet se utilizan comúnmente como distribuciones previas en las estadísticas bayesianas y, de hecho, la distribución de Dirichlet es la distribución previa conjugada de la distribución categórica y la distribución multinomial .
Función de densidad de probabilidad | |||
Parámetros | número de categorías ( entero ) parámetros de concentración , donde | ||
---|---|---|---|
Apoyo | dónde y | ||
dónde dónde | |||
Significar | (dónde es la función digamma ) | ||
Modo | |||
Diferencia | dónde y | ||
Entropía | con definido como para la varianza, arriba; yes la función digamma |
La generalización de dimensión infinita de la distribución de Dirichlet es el proceso de Dirichlet .
Definiciones
Función de densidad de probabilidad
La distribución de Dirichlet de orden K ≥ 2 con parámetros α 1 , ..., α K > 0 tiene una función de densidad de probabilidad con respecto a la medida de Lebesgue en el espacio euclidiano R K-1 dada por
- dónde pertenecen al estándar simplex , o en otras palabras:
La constante de normalización es la función beta multivariante , que se puede expresar en términos de la función gamma :
Apoyo
El soporte de la distribución de Dirichlet es el conjunto de vectores K -dimensionales cuyas entradas son números reales en el intervalo (0,1) tales que , es decir, la suma de las coordenadas es igual a 1. Estas pueden verse como las probabilidades de un evento categórico de vías K. Otra forma de expresar esto es que el dominio de la distribución de Dirichlet es en sí mismo un conjunto de distribuciones de probabilidad , específicamente el conjunto de distribuciones discretas K -dimensionales . El término técnico para el conjunto de puntos en el apoyo de una distribución de Dirichlet K -dimensional es el estándar abierto ( K - 1) -simplex , [3] que es una generalización de un triángulo , incrustado en la siguiente dimensión superior. Por ejemplo, con K = 3, el soporte es un triángulo equilátero incrustado en forma de ángulo hacia abajo en un espacio tridimensional, con vértices en (1,0,0), (0,1,0) y (0,0 , 1), es decir, tocar cada uno de los ejes de coordenadas en un punto a 1 unidad del origen.
Casos especiales
Un caso especial común es la distribución de Dirichlet simétrica , donde todos los elementos que componen el vector de parámetrostienen el mismo valor. El caso simétrico puede ser útil, por ejemplo, cuando se requiere un Dirichlet antes que componentes, pero no hay conocimiento previo que favorezca a un componente sobre otro. Dado que todos los elementos del vector de parámetros tienen el mismo valor, la distribución de Dirichlet simétrica se puede parametrizar mediante un único valor escalar α , llamado parámetro de concentración . [ cita requerida ] En términos de α, la función de densidad tiene la forma
Cuando α = 1 [1] , la distribución de Dirichlet simétrica es equivalente a una distribución uniforme sobre el estándar abierto ( K - 1) -simplex , es decir, es uniforme en todos los puntos de su soporte . Esta distribución particular se conoce como distribución plana de Dirichlet . Los valores del parámetro de concentración por encima de 1 prefieren variaciones densas, distribuciones uniformemente distribuidas, es decir, todos los valores dentro de una sola muestra son similares entre sí. Los valores del parámetro de concentración por debajo de 1 prefieren distribuciones dispersas, es decir, la mayoría de los valores dentro de una sola muestra estarán cerca de 0, y la gran mayoría de la masa se concentrará en algunos de los valores.
De manera más general, el vector de parámetros a veces se escribe como producto de un parámetro de concentración ( escalar ) α y una medida base ( vectorial ) dónde se encuentra dentro del ( K - 1) -simplex (es decir, sus coordenadassuma a uno). En este caso, el parámetro de concentración es mayor en un factor de K que el parámetro de concentración para una distribución de Dirichlet simétrica descrita anteriormente. Esta construcción se relaciona con el concepto de una medida base cuando se discuten los procesos de Dirichlet y se usa a menudo en la literatura de modelado de temas.
- ^ Si definimos el parámetro de concentración como la suma de los parámetros de Dirichlet para cada dimensión, la distribución de Dirichlet con el parámetro de concentración K, la dimensión de la distribución, es la distribución uniforme en el ( K - 1) -simplex.
Propiedades
Momentos
Dejar .
Dejar
Entonces [4] [5]
Además, si
Por tanto, la matriz es singular .
De manera más general, los momentos de las variables aleatorias distribuidas por Dirichlet se pueden expresar como [6]
Modo
La moda de la distribución es [7] el vector ( x 1 , ..., x K ) con
Distribuciones marginales
Las distribuciones marginales son distribuciones beta : [8]
Conjugado a categórico / multinomial
La distribución de Dirichlet es la distribución previa conjugada de la distribución categórica (una distribución de probabilidad discreta genérica con un número dado de resultados posibles) y la distribución multinomial (la distribución sobre los conteos observados de cada categoría posible en un conjunto de observaciones distribuidas categóricamente). Esto significa que si un punto de datos tiene una distribución categórica o multinomial, y la distribución previa del parámetro de distribución (el vector de probabilidades que genera el punto de datos) se distribuye como un Dirichlet, entonces la distribución posterior del parámetro también es un Dirichlet. De manera intuitiva, en tal caso, a partir de lo que sabemos sobre el parámetro antes de observar el punto de datos, podemos actualizar nuestro conocimiento en función del punto de datos y terminar con una nueva distribución de la misma forma que la anterior. Esto significa que podemos actualizar sucesivamente nuestro conocimiento de un parámetro incorporando nuevas observaciones de una en una, sin encontrarnos con dificultades matemáticas.
Formalmente, esto se puede expresar de la siguiente manera. Dado un modelo
entonces lo siguiente es válido:
Esta relación se utiliza en las estadísticas bayesianas para estimar el parámetro subyacente p de una distribución categórica dada una colección de N muestras. Intuitivamente, podemos ver el vector hiperprior α como pseudocontentos , es decir, como representando el número de observaciones en cada categoría que ya hemos visto. Luego, simplemente agregamos los recuentos de todas las nuevas observaciones (el vector c ) para derivar la distribución posterior.
En los modelos de mezcla bayesianos y otros modelos bayesianos jerárquicos con componentes de mezcla, las distribuciones de Dirichlet se utilizan comúnmente como distribuciones previas para las variables categóricas que aparecen en los modelos. Consulte la sección de aplicaciones a continuación para obtener más información.
Relación con la distribución de Dirichlet-multinomial
En un modelo donde una distribución previa de Dirichlet se coloca sobre un conjunto de observaciones con valores categóricos , la distribución conjunta marginal de las observaciones (es decir, la distribución conjunta de las observaciones, con el parámetro anterior marginado ) es una distribución multinomial de Dirichlet . Esta distribución juega un papel importante en los modelos bayesianos jerárquicos , porque cuando se hace inferencia sobre dichos modelos utilizando métodos como el muestreo de Gibbs o el Bayes variacional , las distribuciones previas de Dirichlet a menudo quedan marginadas. Consulte el artículo sobre esta distribución para obtener más detalles.
Entropía
Si X es una variable aleatoria Dir ( α ), la entropía diferencial de X (en unidades nat ) es [9]
dónde es la función digamma .
La siguiente fórmula para se puede utilizar para derivar la entropía diferencial anterior. Dado que las funcionesson las estadísticas suficientes de la distribución de Dirichlet, las identidades diferenciales de familia exponencial se pueden utilizar para obtener una expresión analítica para la expectativa dey su matriz de covarianza asociada: [ cita requerida ]
y
dónde es la función digamma ,es la función trigamma , yes el delta de Kronecker .
El espectro de información de Rényi para valores distintos deviene dado por [10]
y la entropía de la información es el límite como va a 1.
Otra medida interesante relacionada es la entropía de un vector categórico discreto (uno de K binario) con distribución de probabilidad-masa , es decir, . La entropía de información condicional de, dado es
Esta función de es una variable aleatoria escalar. Si tiene una distribución de Dirichlet simétrica con todos , el valor esperado de la entropía (en unidades nat ) es [11]
Agregación
Si
entonces, si las variables aleatorias con subíndices i y j se eliminan del vector y se reemplazan por su suma,
Esta propiedad de agregación se puede utilizar para derivar la distribución marginal de mencionado anteriormente.
Neutralidad
Si , entonces se dice que el vector X es neutral [12] en el sentido de que X K es independiente de[3] donde
y de forma similar para eliminar cualquiera de . Observe que cualquier permutación de X también es neutra (una propiedad que no poseen las muestras extraídas de una distribución de Dirichlet generalizada ). [13]
Combinando esto con la propiedad de agregación se deduce que X j + ... + X K es independiente de. De hecho, es cierto, además, para la distribución de Dirichlet, que para, el par , y los dos vectores y , vistos como el triple de los vectores aleatorios normalizados, son mutuamente independientes . El resultado análogo es cierto para la partición de los índices {1,2, ..., K } en cualquier otro par de subconjuntos no singleton.
Función característica
La función característica de la distribución de Dirichlet es una forma confluente de la serie hipergeométrica de Lauricella . Se da por Phillips como [14]
dónde y
La suma es sobre enteros no negativos y . Phillips continúa afirmando que esta forma es "inconveniente para el cálculo numérico" y ofrece una alternativa en términos de una integral de trayectoria compleja :
donde L denota cualquier camino en el plano complejo que se origina en, rodeando en sentido positivo todas las singularidades del integrando y volviendo a .
Desigualdad
Función de densidad de probabilidad juega un papel clave en una desigualdad multifuncional que implica varios límites para la distribución de Dirichlet. [15]
Distribuciones relacionadas
Para distribuciones Gamma distribuidas independientemente de K :
tenemos: [16] : 402
Aunque las X i s no son independientes entre sí, se puede ver que se generan a partir de un conjunto de K variables aleatorias gamma independientes . [16] : 594 Desafortunadamente, dado que la suma V se pierde al formar X (de hecho, se puede demostrar que V es estocásticamente independiente de X ), no es posible recuperar las variables aleatorias gamma originales solo a partir de estos valores. Sin embargo, debido a que es más sencillo trabajar con las variables aleatorias independientes, esta reparametrización puede ser útil para las pruebas sobre las propiedades de la distribución de Dirichlet.
Conjugado antes de la distribución de Dirichlet
Debido a que la distribución de Dirichlet es una distribución familiar exponencial , tiene un antecedente conjugado. El prior conjugado tiene la forma: [17]
Aquí es un vector real K -dimensional yes un parámetro escalar. El dominio deestá restringido al conjunto de parámetros para los que se puede normalizar la función de densidad no normalizada anterior. La condición (necesaria y suficiente) es: [18]
La propiedad de conjugación se puede expresar como
- si [ anterior : ] y [ observación : ] luego [ posterior : ].
En la literatura publicada no existe un algoritmo práctico para generar muestras de manera eficiente .
Ocurrencia y aplicaciones
Modelos bayesianos
Las distribuciones de Dirichlet se utilizan más comúnmente como distribución previa de variables categóricas o variables multinomiales en modelos de mezcla bayesianos y otros modelos bayesianos jerárquicos . (En muchos campos, como en el procesamiento del lenguaje natural , las variables categóricas a menudo se denominan de manera imprecisa "variables multinomiales". Es poco probable que este uso cause confusión, al igual que cuando las distribuciones de Bernoulli y las distribuciones binomiales se combinan comúnmente).
La inferencia sobre modelos bayesianos jerárquicos a menudo se realiza mediante el muestreo de Gibbs y, en tal caso, las instancias de la distribución de Dirichlet suelen excluirse del modelo mediante la integración de la variable aleatoria de Dirichlet . Esto hace que las diversas variables categóricas extraídas de la misma variable aleatoria de Dirichlet se correlacionen y la distribución conjunta sobre ellas asume una distribución Dirichlet-multinomial , condicionada a los hiperparámetros de la distribución de Dirichlet (los parámetros de concentración ). Una de las razones para hacer esto es que el muestreo de Gibbs de la distribución de Dirichlet-multinomial es extremadamente fácil; consulte ese artículo para obtener más información.
Interpretaciones intuitivas de los parámetros
El parámetro de concentración
Las distribuciones de Dirichlet se utilizan con mucha frecuencia como distribuciones previas en la inferencia bayesiana . El tipo más simple y quizás más común de Dirichlet a priori es la distribución de Dirichlet simétrica, donde todos los parámetros son iguales. Corresponde al caso en el que no se dispone de información previa para favorecer un componente sobre cualquier otro. Como se describió anteriormente, el valor único α al que se establecen todos los parámetros se denomina parámetro de concentración . Si el espacio muestral de la distribución de Dirichlet se interpreta como una distribución de probabilidad discreta , entonces intuitivamente se puede pensar que el parámetro de concentración determina cuán "concentrada" es probable que sea la masa de probabilidad de una muestra de una distribución de Dirichlet. Con un valor mucho menor que 1, la masa estará altamente concentrada en unos pocos componentes y el resto casi no tendrá masa. Con un valor mucho mayor que 1, la masa se dispersará casi por igual entre todos los componentes. Consulte el artículo sobre el parámetro de concentración para obtener más información.
Corte de hilo
Un ejemplo de uso de la distribución de Dirichlet es si uno quisiera cortar cuerdas (cada una con una longitud inicial de 1.0) en K piezas con diferentes longitudes, donde cada pieza tenía una longitud promedio designada, pero permitiendo alguna variación en los tamaños relativos de las piezas. Los valores α / α 0 especifican las longitudes medias de los trozos de hilo cortados que resultan de la distribución. La varianza alrededor de esta media varía inversamente con α 0 .
Urna de Pólya
Considere una urna que contiene bolas de K colores diferentes. Inicialmente, la urna contiene α 1 bolas de color 1, α 2 bolas de color 2, etc. Ahora realice N sorteos de la urna, donde después de cada sorteo, la bola se vuelve a colocar en la urna con una bola adicional del mismo color. En el límite cuando N se acerca al infinito, las proporciones de bolas de diferentes colores en la urna se distribuirán como Dir ( α 1 , ..., α K ). [19]
Para una prueba formal, tenga en cuenta que las proporciones de las bolas de diferentes colores forman una martingala valuada en [0,1] K limitada , por lo tanto, según el teorema de la convergencia de la martingala , estas proporciones convergen casi con seguridad y en la media a un vector aleatorio limitante. Para ver que este vector limitante tiene la distribución de Dirichlet anterior, verifique que todos los momentos mixtos concuerden.
Cada extracción de la urna modifica la probabilidad de extraer una bola de cualquier color de la urna en el futuro. Esta modificación disminuye con el número de sorteos, ya que el efecto relativo de agregar una nueva bola a la urna disminuye a medida que la urna acumula un número creciente de bolas.
Métodos computacionales
Generación de números aleatorios
Distribución gamma
Con una fuente de variantes aleatorias distribuidas por gamma, se puede muestrear fácilmente un vector aleatorio de la distribución de Dirichlet K -dimensional con parámetros. Primero, extraiga K muestras aleatorias independientesde distribuciones Gamma, cada una con densidad
y luego establecer
La distribución conjunta de es dado por:
A continuación, se utiliza un cambio de variables, parametrizar en términos de y , y realiza un cambio de variables de tal que
Luego se debe usar la fórmula de cambio de variables, en el cual es la transformación jacobiana.
Escribiendo y explícitamente como una función de x, se obtiene
El jacobiano ahora parece
El determinante se puede evaluar observando que permanece sin cambios si se agregan múltiplos de una fila a otra fila, y agregando cada una de las primeras filas K-1 a la fila inferior para obtener
que se puede ampliar sobre la fila inferior para obtener
Sustituyendo x en el pdf conjunto e incluyendo el jacobiano, se obtiene:
Cada una de las variables y de la misma manera .
Finalmente, integre el grado extra de libertad y se obtiene:
Que es equivalente a
- con apoyo
A continuación se muestra un código de Python de ejemplo para dibujar la muestra:
params = [ a1 , a2 , ... , ak ] sample = [ random . gammavariate ( a , 1 ) para a en parámetros ] muestra = [ v / suma ( muestra ) para v en muestra ]
Esta formulación es correcta independientemente de cómo se parametricen las distribuciones Gamma (forma / escala frente a forma / velocidad) porque son equivalentes cuando la escala y la velocidad son iguales a 1,0.
Distribuciones beta marginales
Un algoritmo menos eficiente [20] se basa en que las distribuciones marginales y condicionales univariadas son beta y procede de la siguiente manera. Simular de
Entonces simula en orden, como sigue. Para, simular de
y deja
Finalmente, establezca
Este procedimiento iterativo se corresponde estrechamente con la intuición de "cortar cuerdas" que se describe a continuación.
A continuación se muestra un código de Python de ejemplo para dibujar la muestra:
params = [ a1 , a2 , ... , ak ] xs = [ random . betavariate ( params [ 0 ], sum ( params [ 1 :]))] para j en el rango ( 1 , len ( params ) - 1 ): phi = aleatorio . betavariar ( params [ j ], suma ( params [ j + 1 :])) xs . añadir (( 1 - suma ( xs )) * phi ) xs . añadir ( 1 - suma ( xs ))
Ver también
- Distribución de Dirichlet generalizada
- Distribución de Dirichlet agrupada
- Distribución de Dirichlet invertida
- Asignación de Dirichlet latente
- Proceso de Dirichlet
- Matriz de distribución de Dirichlet variable
Referencias
- ^ S. Kotz; N. Balakrishnan; NL Johnson (2000). Distribuciones continuas multivariadas. Volumen 1: Modelos y aplicaciones . Nueva York: Wiley. ISBN 978-0-471-18387-7. (Capítulo 49: Distribuciones de Dirichlet y Dirichlet invertido)
- ^ Olkin, Ingram; Rubin, Herman (1964). "Distribuciones Beta multivariadas y propiedades de independencia de la distribución Wishart" . Los Anales de Estadística Matemática . 35 (1): 261–269. doi : 10.1214 / aoms / 1177703748 . JSTOR 2238036 .
- ^ a b Bela A. Frigyik; Amol Kapila; Maya R. Gupta (2010). "Introducción a la distribución de Dirichlet y procesos relacionados" (PDF) . Departamento de Ingeniería Eléctrica de la Universidad de Washington. Archivado desde el original (Informe técnico UWEETR-2010-006) el 19 de febrero de 2015 . Consultado en mayo de 2012 . Verifique los valores de fecha en:
|access-date=
( ayuda ) - ^ Eq. (49.9) en la página 488 de Kotz, Balakrishnan & Johnson (2000). Distribuciones continuas multivariadas. Volumen 1: Modelos y aplicaciones. Nueva York: Wiley.
- ^ BalakrishV. B. (2005). " " Capítulo 27. Distribución de Dirichlet " ". Un manual sobre distribuciones estadísticas . Hoboken, Nueva Jersey: John Wiley & Sons, Inc. p. 274 . ISBN 978-0-471-42798-8.
- ^ Hoffmann, Till. "Momentos de la distribución de Dirichlet" . Consultado el 13 de septiembre de 2014 .
- ^ Christopher M. Bishop (17 de agosto de 2006). Reconocimiento de patrones y aprendizaje automático . Saltador. ISBN 978-0-387-31073-2.
- ^ Farrow, Malcolm. "Estadísticas bayesianas MAS3301" (PDF) . Universidad de Newcastle . Universidad de Newcastle . Consultado el 10 de abril de 2013 .
- ^ Lin, Jiayu (2016). Sobre la distribución de Dirichlet (PDF) . Kingston, Canadá: Queen's University. págs. § 2.4.9.
- ^ Song, Kai-Sheng (2001). "Información de Rényi, loglikelihood y una medida de distribución intrínseca". Revista de Planificación e Inferencia Estadística . Elsevier. 93 (325): 51–69. doi : 10.1016 / S0378-3758 (00) 00169-5 .
- ^ Nemenman, Ilya; Shafee, Fariel; Bialek, William (2002). Entropía e inferencia, revisada (PDF) . NIPS 14., eq. 8
- ^ Connor, Robert J .; Mosimann, James E (1969). "Conceptos de independencia para proporciones con una generalización de la distribución de Dirichlet". Revista de la Asociación Estadounidense de Estadística . Asociación Estadounidense de Estadística. 64 (325): 194–206. doi : 10.2307 / 2283728 . JSTOR 2283728 .
- ^ Véase Kotz, Balakrishnan & Johnson (2000), Sección 8.5, "Generalización de Connor y Mosimann", págs. 519-521.
- ^ Phillips, PCB (1988). "La función característica de la distribución F de Dirichlet y multivariante" (PDF) . Documento de debate 865 de la Fundación Cowles .
- ^ Grinshpan, AZ (2017). "Una desigualdad para múltiples convoluciones con respecto a la medida de probabilidad de Dirichlet" . Avances en Matemática Aplicada . 82 (1): 102-119. doi : 10.1016 / j.aam.2016.08.001 .
- ^ a b Devroye, Luc (1986). Generación variable aleatoria no uniforme . Springer-Verlag. ISBN 0-387-96305-7.
- ^ Lefkimmiatis, Stamatios; Maragos, Petros; Papandreou, George (2009). "Inferencia bayesiana en modelos multiescala para la estimación de la intensidad de Poisson: aplicaciones para la eliminación de ruido de imágenes limitadas por fotones". Transacciones IEEE sobre procesamiento de imágenes . 18 (8): 1724-1741. doi : 10.1109 / TIP.2009.2022008 .
- ^ Andreoli, Jean-Marc (2018). "Un conjugado a prior para la distribución de Dirichlet". arXiv : 1811.05266 .
- ^ Blackwell, David; MacQueen, James B. (1973). "Distribuciones de Ferguson a través de esquemas de urna Polya" . Ana. Stat . 1 (2): 353–355. doi : 10.1214 / aos / 1176342372 .
- ^ A. Gelman; JB Carlin; HS Stern; DB Rubin (2003). Análisis de datos bayesianos (2ª ed.). págs. 582 . ISBN 1-58488-388-X.
enlaces externos
- "Distribución de Dirichlet" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
- Distribución de Dirichlet
- Cómo estimar los parámetros de la distribución de Dirichlet compuesta (distribución de Pólya) usando la maximización de expectativas (EM)
- Luc Devroye. "Generación variable aleatoria no uniforme" . Consultado el 19 de octubre de 2019 .
- Medidas aleatorias de Dirichlet, método de construcción mediante variables aleatorias de Poisson compuestas y propiedades de intercambiabilidad de la distribución gamma resultante
- SciencesPo : paquete R que contiene funciones para simular parámetros de la distribución de Dirichlet.