De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

En estadística , la distribución de Wishart es una generalización a múltiples dimensiones de la distribución gamma . Se nombra en honor a John Wishart , quien formuló por primera vez la distribución en 1928. [1] [2]

Es una familia de distribuciones de probabilidad definidas sobre variables aleatorias simétricas, no negativas-definidas valoradas en matrices (“matrices aleatorias”). Estas distribuciones son de gran importancia en la estimación de matrices de covarianza en estadísticas multivariadas . En las estadísticas bayesianas , la distribución de Wishart es el conjugado previo de la matriz de covarianza inversa de un vector aleatorio normal multivariante . [3]

Definición [ editar ]

Suponga que G es una matriz p × n , cada columna de la cual se extrae independientemente de una distribución normal p -variable con media cero:

Entonces la distribución de Wishart es la distribución de probabilidad de la matriz aleatoria p × p [4]

conocida como la matriz de dispersión . Uno indica que S tiene esa distribución de probabilidad escribiendo

El entero positivo n es el número de grados de libertad . A veces esto se escribe W ( V , p , n ) . Para np, la matriz S es invertible con probabilidad 1 si V es invertible.

Si p = V = 1, entonces esta distribución es una distribución chi-cuadrado con n grados de libertad.

Ocurrencia [ editar ]

La distribución de Wishart surge como la distribución de la matriz de covarianza muestral para una muestra de una distribución normal multivariante . Ocurre con frecuencia en las pruebas de razón de verosimilitud en el análisis estadístico multivariado. También surge en la teoría espectral de matrices aleatorias [ cita requerida ] y en el análisis bayesiano multidimensional. [5] También se encuentra en las comunicaciones inalámbricas, mientras se analiza el rendimiento de los canales inalámbricos MIMO con desvanecimiento de Rayleigh . [6]

Función de densidad de probabilidad [ editar ]

La distribución de Wishart se puede caracterizar por su función de densidad de probabilidad de la siguiente manera:

Sea X una matriz simétrica p × p de variables aleatorias que es definida positiva . Sea V una matriz definida positiva simétrica (fija) de tamaño p × p .

Entonces, si np , X tiene una distribución de Wishart con n grados de libertad si tiene la función de densidad de probabilidad

donde es el determinante de y Γ p es la función gamma multivariante definida como

La densidad anterior no es la densidad conjunta de todos los elementos de la matriz aleatoria X (tal densidad dimensional no existe debido a las restricciones de simetría ), es más bien la densidad conjunta de elementos para (, [1] página 38). Además, la fórmula de densidad anterior se aplica solo a matrices definidas positivas para otras matrices la densidad es igual a cero.

La densidad de valores propios conjuntos para los valores propios de una matriz aleatoria es, [7] [8]

donde es una constante.

De hecho, la definición anterior se puede extender a cualquier n > p - 1 real . Si np - 1 , entonces Wishart ya no tiene densidad; en cambio, representa una distribución singular que toma valores en un subespacio de menor dimensión del espacio de matrices p × p . [9]

Uso en estadísticas bayesianas [ editar ]

En la estadística bayesiana , en el contexto de la distribución normal multivariante , la distribución de Wishart es el conjugado anterior a la matriz de precisión Ω = Σ −1 , donde Σ es la matriz de covarianza. [10] : 135

Elección de parámetros [ editar ]

El previo de Wishart menos informativo y adecuado se obtiene estableciendo n = p . [ cita requerida ]

La media anterior de W p ( V , n ) es n V , lo que sugiere que una elección razonable para V sería n −1 Σ 0 −1 , donde Σ 0 es una estimación previa para la matriz de covarianza.

Propiedades [ editar ]

Expectativa de registro [ editar ]

La siguiente fórmula juega un papel en las derivaciones variacionales de Bayes para las redes de Bayes que involucran la distribución de Wishart: [10] : 693

donde es la función multivariante digamma (la derivada del logaritmo de la función multivariante gamma ).

Varianza logarítmica [ editar ]

El siguiente cálculo de la varianza podría ser de ayuda en las estadísticas bayesianas:

donde está la función trigamma. Esto surge al calcular la información de Fisher de la variable aleatoria Wishart.

Entropía [ editar ]

La entropía de información de la distribución tiene la siguiente fórmula: [10] : 693

donde B ( V , n ) es la constante de normalización de la distribución:

Esto se puede ampliar de la siguiente manera:

Entropía cruzada [ editar ]

La entropía cruzada de dos distribuciones de Wishart con parámetros y con parámetros es

Tenga en cuenta que cuando y recuperamos la entropía.

KL-divergencia [ editar ]

La divergencia de Kullback-Leibler de de es

Función característica [ editar ]

La función característica de la distribución de Wishart es

En otras palabras,

donde E [⋅] denota expectativa. (Aquí Θ e I son matrices del mismo tamaño que V ( I es la matriz identidad ) e i es la raíz cuadrada de -1). [8]

Dado que el rango del determinante contiene una línea cerrada que pasa por el origen para las dimensiones de la matriz mayores que dos, la fórmula anterior solo es correcta para valores pequeños de la variable de Fourier. (ver arXiv : 1901.09347 )

Teorema [ editar ]

Si una matriz aleatoria p × p X tiene una distribución de Wishart con m grados de libertad y una matriz de varianza V --escriba - y C es una matriz q × p de rango q , entonces [11]

Corolario 1 [ editar ]

Si z es un vector constante p × 1 distinto de cero , entonces: [11]

En este caso, es la distribución chi-cuadrado y (tenga en cuenta que es una constante; es positivo porque V es positivo definido).

Corolario 2 [ editar ]

Considere el caso donde z T = (0, ..., 0, 1, 0, ..., 0) (es decir, el j -ésimo elemento es uno y todos los demás cero). Entonces el corolario 1 anterior muestra que

da la distribución marginal de cada uno de los elementos en la diagonal de la matriz.

George Seber señala que la distribución de Wishart no se llama “distribución chi-cuadrado multivariante” porque la distribución marginal de los elementos fuera de la diagonal no es chi-cuadrado. Seber prefiere reservar el término multivariado para el caso en el que todos los marginales univariados pertenecen a la misma familia. [12]

Estimador de la distribución normal multivariante [ editar ]

La distribución de Wishart es la distribución muestral del estimador de máxima verosimilitud (MLE) de la matriz de covarianza de una distribución normal multivariante . [13] Una derivación de la MLE utiliza el teorema espectral .

Descomposición de Bartlett [ editar ]

La descomposición Bartlett de una matriz X de un p distribución Wishart -variate con matriz de escala V y n grados de libertad es la factorización:

donde L es el factor de Cholesky de V , y:

donde y n ij ~ N (0, 1) independientemente. [14] Esto proporciona un método útil para obtener muestras aleatorias de una distribución Wishart. [15]

Distribución marginal de elementos de la matriz [ editar ]

Sea V una matriz de varianza de 2 × 2 caracterizada por el coeficiente de correlación −1 < ρ <1 y L su factor de Cholesky más bajo:

Multiplicando mediante la descomposición de Bartlett anterior, encontramos que una muestra aleatoria de la distribución de Wishart 2 × 2 es

Los elementos diagonales, más evidentemente en el primer elemento, siguen la distribución χ 2 con n grados de libertad (escalados por σ 2 ) como se esperaba. El elemento fuera de la diagonal es menos familiar, pero se puede identificar como una mezcla normal de varianza-media donde la densidad de mezcla es una distribución χ 2 . La densidad de probabilidad marginal correspondiente para el elemento fuera de la diagonal es, por lo tanto, la distribución varianza-gamma

donde K ν ( z ) es la función de Bessel modificada del segundo tipo . [16] Se pueden encontrar resultados similares para dimensiones más altas, pero la interdependencia de las correlaciones fuera de la diagonal se vuelve cada vez más complicada. También es posible escribir la función generadora de momentos- incluso en el no central caso (esencialmente la n ésima potencia de Craig (1936) [17] ecuación 10) aunque la densidad de probabilidad se convierte en una suma infinita de funciones de Bessel.

El rango del parámetro de forma [ editar ]

Se puede demostrar [18] que la distribución de Wishart se puede definir si y solo si el parámetro de forma n pertenece al conjunto

Este conjunto lleva el nombre de Gindikin, quien lo introdujo [19] en los años setenta en el contexto de distribuciones gamma en conos homogéneos. Sin embargo, para los nuevos parámetros en el espectro discreto del conjunto de Gindikin, a saber,

la distribución de Wishart correspondiente no tiene densidad de Lebesgue.

Relaciones con otras distribuciones [ editar ]

  • La distribución de Wishart está relacionada con la distribución de Wishart inversa , denotada por , de la siguiente manera: Si X ~ W p ( V , n ) y si hacemos el cambio de variables C = X −1 , entonces . Esta relación puede derivarse observando que el valor absoluto del determinante jacobiano de este cambio de variables es | C | p +1 , ver, por ejemplo, la ecuación (15.15) en. [20]
  • En la estadística bayesiana , la distribución de Wishart es un conjugado previo para el parámetro de precisión de la distribución normal multivariante , cuando se conoce el parámetro medio. [10]
  • Una generalización es la distribución gamma multivariante .
  • Un tipo diferente de generalización es la distribución normal de Wishart , esencialmente el producto de una distribución normal multivariante con una distribución de Wishart.

Ver también [ editar ]

  • Distribución chi-cuadrado
  • Distribución compleja de Wishart
  • Distribución F
  • Distribución gamma
  • Distribución T cuadrado de Hotelling
  • Distribución inversa de Wishart
  • Distribución gamma multivariante
  • Distribución t de Student
  • Distribución lambda de Wilks

Referencias [ editar ]

  1. ↑ a b Wishart, J. (1928). "La distribución generalizada del momento del producto en muestras de una población multivariante normal". Biometrika . 20A (1–2): 32–52. doi : 10.1093 / biomet / 20A.1-2.32 . JFM  54.0565.02 . JSTOR  2331939 .
  2. ^ econofísica: una introducción, por S Sinha
  3. ^ Koop, Gary; Korobilis, Dimitris (2010). "Métodos bayesianos de series de tiempo multivariante para macroeconomía empírica" . Fundamentos y Tendencias en Econometría . 3 (4): 267–358. doi : 10.1561 / 0800000013 .
  4. ^ Gupta, AK; Nagar, DK (2000). Distribuciones variables de matriz . Chapman y Hall / CRC. ISBN 1584880465.
  5. ^ Gelman, Andrew (2003). Análisis de datos bayesianos (2ª ed.). Boca Raton, Fla .: Chapman & Hall. pag. 582. ISBN 158488388X. Consultado el 3 de junio de 2015 .
  6. ^ Zanella, A .; Chiani, M .; Win, MZ (abril de 2009). "Sobre la distribución marginal de los valores propios de las matrices de Wishart" (PDF) . Transacciones IEEE sobre comunicaciones . 57 (4): 1050–1060. doi : 10.1109 / TCOMM.2009.04.070143 .
  7. ^ Muirhead, Robb J. (2005). Aspectos de la teoría estadística multivariante (2ª ed.). Wiley Interscience. ISBN 0471769851.
  8. ↑ a b Anderson, TW (2003). Introducción al análisis estadístico multivariado (3ª ed.). Hoboken, Nueva Jersey: Wiley Interscience . pag. 259. ISBN 0-471-36091-0.
  9. ^ Uhlig, H. (1994). "Sobre distribuciones Beta Singular Wishart y Singular multivariante" . The Annals of Statistics . 22 : 395–405. doi : 10.1214 / aos / 1176325375 .
  10. ↑ a b c d Obispo, CM (2006). Reconocimiento de patrones y aprendizaje automático . Saltador.
  11. ↑ a b Rao, CR (1965). Inferencia estadística lineal y sus aplicaciones . Wiley. pag. 535.
  12. ^ Seber, George AF (2004). Observaciones multivariadas . Wiley . ISBN 978-0471691211.
  13. ^ Chatfield, C .; Collins, AJ (1980). Introducción al análisis multivariado . Londres: Chapman y Hall. págs.  103-108 . ISBN 0-412-16030-7.
  14. ^ Anderson, TW (2003). Introducción al análisis estadístico multivariado (3ª ed.). Hoboken, Nueva Jersey: Wiley Interscience . pag. 257. ISBN 0-471-36091-0.
  15. ^ Smith, WB; Hocking, RR (1972). "Algoritmo AS 53: generador de variables Wishart". Revista de la Sociedad Real de Estadística, Serie C . 21 (3): 341–345. JSTOR 2346290 . 
  16. ^ Pearson, Karl ; Jeffery, GB ; Elderton, Ethel M. (diciembre de 1929). "Sobre la distribución del coeficiente de momento del primer producto, en muestras extraídas de una población normal indefinidamente grande". Biometrika . Confianza Biometrika. 21 : 164-201. doi : 10.2307 / 2332556 . JSTOR 2332556 . 
  17. ^ Craig, Cecil C. (1936). "Sobre la función de frecuencia de xy" . Ana. Matemáticas. Estadista . 7 : 1-15. doi : 10.1214 / aoms / 1177732541 .
  18. ^ Peddada y Richards, Shyamal Das; Richards, Donald St. P. (1991). "Prueba de una conjetura de ML Eaton sobre la función característica de la distribución de Wishart" . Anales de probabilidad . 19 (2): 868–874. doi : 10.1214 / aop / 1176990455 .
  19. ^ Gindikin, SG (1975). "Funciones generalizadas invariantes en dominios homogéneos". Funct. Anal. Apl. 9 (1): 50–52. doi : 10.1007 / BF01078179 .
  20. ^ Dwyer, Paul S. (1967). "Algunas aplicaciones de las derivadas matriciales en el análisis multivariado". J. Amer. Estadístico. Assoc. 62 (318): 607–625. JSTOR 2283988 .  

Enlaces externos [ editar ]

  • Una biblioteca C ++ para generador de matrices aleatorias