En la estadística bayesiana , un hiperparámetro es un parámetro de una distribución previa ; el término se usa para distinguirlos de los parámetros del modelo para el sistema subyacente bajo análisis.
Por ejemplo, si uno está usando una distribución beta para modelar la distribución del parámetro p de una distribución de Bernoulli , entonces:
- p es un parámetro del sistema subyacente (distribución de Bernoulli), y
- α y β son parámetros de la distribución previa (distribución beta), por lo tanto, hiperparámetros .
Se puede tomar un valor único para un hiperparámetro dado, o se puede iterar y tomar una distribución de probabilidad en el hiperparámetro en sí, llamado hiperprior .
Propósito
A menudo se usa un prior que proviene de una familia paramétrica de distribuciones de probabilidad; esto se hace en parte para ser explícito (por lo que se puede escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de intentar producir una función arbitraria), y en parte para que se pueda variar el hiperparámetro, particularmente en el método de conjugar a priori , o para el análisis de sensibilidad.
A priori conjugados
Cuando se usa un previo conjugado, la distribución posterior será de la misma familia, pero tendrá diferentes hiperparámetros, que reflejan la información agregada de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución previa general, esto es computacionalmente muy complicado, y la posterior puede tener una forma inusual o difícil de describir, pero con una previa conjugada, generalmente existe una fórmula simple que relaciona los valores de los hiperparámetros de la posterior con los valores de los hiperparámetros del anterior y, por lo tanto, el cálculo de la distribución posterior es muy fácil.
Análisis de sensibilidad
Una preocupación clave de los usuarios de las estadísticas bayesianas, y la crítica de los críticos, es la dependencia de la distribución posterior de la anterior. Los hiperparámetros abordan esto al permitir que uno los varíe fácilmente y vea cómo varía la distribución posterior (y varias estadísticas de la misma, como los intervalos creíbles ): uno puede ver qué tan sensibles son las conclusiones de uno a los supuestos previos de uno, y el proceso se llama análisis de sensibilidad .
De manera similar, se puede usar una distribución previa con un rango para un hiperparámetro, tal vez reflejando la incertidumbre en la correcta antes de tomar, y reflejar esto en un rango para la incertidumbre final. [1]
Hiperpriors
En lugar de utilizar un valor único para un hiperparámetro dado, se puede considerar una distribución de probabilidad del hiperparámetro en sí; esto se llama " hiperprior ". En principio, uno puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.
Ver también
Referencias
Otras lecturas
- Bernardo, JM; Smith, AFM (2000). Teoría Bayesiana . Nueva York: Wiley. ISBN 0-471-49464-X.
- Gelman, A .; Hill, J. (2007). Análisis de datos mediante regresión y modelos jerárquicos / multinivel . Nueva York: Cambridge University Press. págs. 251-278. ISBN 978-0-521-68689-1.
- Kruschke, JK (2010). Realización de análisis de datos bayesianos: un tutorial con R y BUGS . Prensa académica. págs. 241-264. ISBN 978-0-12-381485-2.