En teoría y estadística de probabilidad , un parámetro de concentración es un tipo especial de parámetro numérico de una familia paramétrica de distribuciones de probabilidad . Los parámetros de concentración ocurren en dos tipos de distribución: en la distribución de Von Mises-Fisher , y junto con distribuciones cuyo dominio es una distribución de probabilidad, como la distribución de Dirichlet simétrica y el proceso de Dirichlet . El resto de este artículo se centra en el último uso.
Cuanto mayor es el valor del parámetro de concentración, más uniformemente distribuida es la distribución resultante (más tiende hacia la distribución uniforme ). Cuanto menor es el valor del parámetro de concentración, menos distribuida es la distribución resultante, teniendo la mayoría de los valores o rangos de valores una probabilidad cercana a cero (en otras palabras, cuanto más tiende a una distribución concentrada en un solo punto, la degenerada distribución definida por la función delta de Dirac ).
Distribución de Dirichlet
En el caso de distribuciones de Dirichlet multivariadas, existe cierta confusión sobre cómo definir el parámetro de concentración. En la literatura de modelado de temas, a menudo se define como la suma de los parámetros de Dirichlet individuales, [1] cuando se discuten distribuciones de Dirichlet simétricas (donde los parámetros son los mismos para todas las dimensiones), a menudo se define como el valor del Dirichlet único. parámetro utilizado en todas las dimensiones [ cita requerida ] . Esta segunda definición es menor en un factor de la dimensión de la distribución.
Un parámetro de concentración de 1 (o k , la dimensión de la distribución de Dirichlet, según la definición utilizada en la literatura de modelado de temas) da como resultado que todos los conjuntos de probabilidades sean igualmente probables, es decir, en este caso, la distribución de Dirichlet de la dimensión k es equivalente a una distribución uniforme sobre un símplex k-1- dimensional . Tenga en cuenta que esto no es lo mismo que sucede cuando el parámetro de concentración tiende hacia el infinito. En el primer caso, todas las distribuciones resultantes son igualmente probables (la distribución sobre distribuciones es uniforme). En el último caso, solo son probables distribuciones casi uniformes (la distribución sobre distribuciones tiene un pico muy alto alrededor de la distribución uniforme). Mientras tanto, en el límite cuando el parámetro de concentración tiende a cero, solo son probables las distribuciones con casi toda la masa concentrada en uno de sus componentes (la distribución sobre las distribuciones tiene un pico muy alto alrededor de las k posibles distribuciones delta de Dirac centradas en uno de los componentes, o en términos del símplex k -dimensional, tiene un pico alto en las esquinas del símplex).
Escasa previa
Un ejemplo de dónde se requiere un previo escaso (parámetro de concentración mucho menor que 1), considere un modelo de tema , que se utiliza para aprender los temas que se discuten en un conjunto de documentos, donde cada "tema" se describe mediante un categórico distribución sobre un vocabulario de palabras. Un vocabulario típico puede tener 100.000 palabras, lo que da lugar a una distribución categórica de 100.000 dimensiones. La distribución previa para los parámetros de la distribución categórica probablemente sería una distribución de Dirichlet simétrica . Sin embargo, un tema coherente puede tener solo unos pocos cientos de palabras con una masa de probabilidad significativa. En consecuencia, un ajuste razonable para el parámetro de concentración podría ser 0,01 o 0,001. Con un vocabulario más amplio de alrededor de 1,000,000 de palabras, un valor aún menor, por ejemplo, 0,0001, podría ser apropiado.
Ver también
Referencias
- ^ Wallach, Hanna M .; Iain Murray; Ruslan Salakhutdinov; David Mimno (2009). "Métodos de evaluación para modelos temáticos". Actas de la 26a Conferencia Internacional Anual sobre Aprendizaje Automático . ICML '09. Nueva York, NY, EE.UU .: ACM. págs. 1105-1112. doi : 10.1145 / 1553374.1553515 . ISBN 978-1-60558-516-1.