Regresión lineal bayesiana

En estadística , la regresión lineal bayesiana es un enfoque de regresión lineal en el que el análisis estadístico se realiza dentro del contexto de la inferencia bayesiana . Cuando el modelo de regresión tiene errores que tienen una distribución normal , y si se asume una forma particular de distribución previa , los resultados explícitos están disponibles para las distribuciones de probabilidad posteriores de los parámetros del modelo.

Considere un problema de regresión lineal estándar , en el que para especificamos la media de la distribución condicional de un vector predictor dado : ${\ Displaystyle i = 1, \ ldots, n}$ ${\ Displaystyle y_ {i}}$ ${\ Displaystyle k \ times 1}$ ${\ Displaystyle \ mathbf {x} _ {i}}$

donde es un vector, y son variables aleatorias independientes e idénticamente distribuidas normalmente : ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ Displaystyle k \ times 1}$ ${\ Displaystyle \ varepsilon _ {i}}$

La solución de mínimos cuadrados ordinarios se usa para estimar el vector de coeficientes usando el pseudoinverso de Moore-Penrose :

donde está la matriz de diseño , cada fila de la cual es un vector predictor ; y es el vector de columna . ${\ Displaystyle \ mathbf {X}}$ ${\ Displaystyle n \ times k}$ ${\ Displaystyle \ mathbf {x} _ {i} ^ {\ rm {T}}}$ ${\ Displaystyle \ mathbf {y}}$ ${\ Displaystyle n}$ ${\ Displaystyle [y_ {1} \; \ cdots \; y_ {n}] ^ {\ rm {T}}}$

Este es un enfoque frecuentista y asume que hay suficientes medidas para decir algo significativo . En el enfoque bayesiano , los datos se complementan con información adicional en forma de distribución de probabilidad previa . La creencia previa sobre los parámetros se combina con la función de verosimilitud de los datos según el teorema de Bayes para producir la creencia posterior sobre los parámetros y . Lo anterior puede tomar diferentes formas funcionales según el dominio y la información que esté disponible a priori . ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ Displaystyle \ sigma}$