Distribución normal multivariante

"MVN" vuelve a dirigir aquí. Para conocer el aeropuerto con ese código IATA , consulte Aeropuerto de Mount Vernon . Para el software de automatización de compilación mvn, consulte Apache Maven .

Generalización de la distribución normal unidimensional a dimensiones superiores

Normal multivariante

Función de densidad de probabilidad Muchos puntos muestrales de una distribución normal multivariante con y , que se muestran junto con la elipse 3-sigma, las dos distribuciones marginales y los dos histogramas 1-d.${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$
Notación	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
Parámetros	μ ∈ R k - ubicación Σ ∈ R k  ×  k - covarianza ( matriz semidefinida positiva )
Apoyo	x ∈ μ + intervalo ( Σ ) ⊆ R k
PDF	${\displaystyle (2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ existe solo cuando Σ es positivo-definido
Significar	μ
Modo	μ
Diferencia	Σ
Entropía	${\displaystyle {\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Divergencia de Kullback-Leibler	vea abajo

En teoría y estadística de probabilidad , la distribución normal multivariada , la distribución gaussiana multivariante o la distribución normal conjunta es una generalización de la distribución normal unidimensional ( univariante ) a dimensiones superiores . Una definición es que se dice que un vector aleatorio tiene una distribución normal k -variable si cada combinación lineal de sus componentes k tiene una distribución normal univariante. Su importancia deriva principalmente del teorema del límite central multivariado.. La distribución normal multivariada se utiliza a menudo para describir, al menos aproximadamente, cualquier conjunto de variables aleatorias de valor real (posiblemente) correlacionadas , cada una de las cuales se agrupa alrededor de un valor medio.

Definiciones

Notación y parametrización

La distribución normal multivariante de un vector aleatorio k -dimensional se puede escribir en la siguiente notación:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

o para hacer saber explícitamente que X es k- dimensional,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

con vector de media k -dimensional

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\textbf {T}},}$

y matriz de covarianza${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

tal que La inversa de la matriz de covarianza se llama matriz de precisión , denotada por .${\displaystyle 1\leq i,j\leq k.}$${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

Vector aleatorio normal estándar

Un vector aleatorio real se denomina vector aleatorio normal estándar si todos sus componentes son independientes y cada uno es una variable aleatoria distribuida normalmente de varianza unitaria de media cero, es decir, si es para todos . ^{[1] : pág. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle X_{n}}$${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$${\displaystyle n}$

Vector aleatorio normal centrado

Un vector aleatorio real se llama vector aleatorio normal centrado si existe una matriz determinista tal que tiene la misma distribución que donde es un vector aleatorio normal estándar con componentes. ^{[1] : pág. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Z} }$${\displaystyle \ell }$

Vector aleatorio normal

Un vector aleatorio real se llama vector aleatorio normal si existe un vector aleatorio , que es un vector aleatorio normal estándar, un vector y una matriz , tal que . ^{[2] : pág. 454 [1] : pág. 455}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle \ell }$${\displaystyle \mathbf {Z} }$${\displaystyle k}$${\displaystyle \mathbf {\mu } }$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$

Formalmente:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ for }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Aquí la matriz de covarianza es .${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

En el caso degenerado donde la matriz de covarianza es singular , la distribución correspondiente no tiene densidad; consulte la sección siguiente para obtener más detalles. Este caso surge con frecuencia en las estadísticas ; por ejemplo, en la distribución del vector de residuos en la regresión de mínimos cuadrados ordinarios. En general, no son independientes; pueden verse como el resultado de aplicar la matriz a una colección de variables gaussianas independientes .${\displaystyle X_{i}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {Z} }$

Definiciones equivalentes

Las siguientes definiciones son equivalentes a la definición dada anteriormente. Un vector aleatorio tiene una distribución normal multivariante si satisface una de las siguientes condiciones equivalentes.${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$

• Cada combinación lineal de sus componentes se distribuye normalmente . Es decir, para cualquier vector constante , la variable aleatoria tiene una distribución normal univariante, donde una distribución normal univariante con varianza cero es una masa puntual en su media.${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• Hay un k -vector y una matriz semidefinida positiva simétrica , tal que la función característica de es${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \mathbf {X} }$

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$

La distribución normal esférica se puede caracterizar como la distribución única donde los componentes son independientes en cualquier sistema de coordenadas ortogonales. ^{[3] [4]}

Función de densidad

Densidad articular normal bivariada

Caso no degenerado

Se dice que la distribución normal multivariada es "no degenerada" cuando la matriz de covarianza simétrica es definida positiva . En este caso la distribución tiene densidad ^[5]${\displaystyle {\boldsymbol {\Sigma }}}$

${\displaystyle f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}}$

donde es un vector de columna k -dimensional real y es el determinante de , también conocida como varianza generalizada . La ecuación anterior se reduce a la de la distribución normal univariante si es una matriz (es decir, un solo número real).${\displaystyle {\mathbf {x} }}$${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle 1\times 1}$

La versión circularmente simétrica de la distribución normal compleja tiene una forma ligeramente diferente.

Cada locus de isodensidad , el lugar de los puntos en el espacio k -dimensional, cada uno de los cuales da el mismo valor particular de la densidad, es una elipse o su generalización de dimensión superior; por tanto, la normal multivariante es un caso especial de las distribuciones elípticas .

La cantidad se conoce como distancia de Mahalanobis , que representa la distancia entre el punto de prueba y la media . Tenga en cuenta que en el caso en que , la distribución se reduce a una distribución normal univariante y la distancia de Mahalanobis se reduce al valor absoluto de la puntuación estándar . Consulte también Intervalo a continuación.${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$${\displaystyle {\mathbf {x} }}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k=1}$

Caso bivariado

En el caso bidimensional no singular ( ), la función de densidad de probabilidad de un vector es:${\displaystyle k={\text{rank}}\left(\Sigma \right)=2}$${\displaystyle {\text{[XY]′}}}$

${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\mathrm {e} ^{-{\frac {1}{2(1-\rho ^{2})}}\left[({\frac {x-\mu _{X}}{\sigma _{X}}})^{2}-2\rho ({\frac {x-\mu _{X}}{\sigma _{X}}})({\frac {y-\mu _{Y}}{\sigma _{Y}}})+({\frac {y-\mu _{Y}}{\sigma _{Y}}})^{2}\right]}}$

donde es la correlación entre y y donde y . En este caso,${\displaystyle \rho }$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \sigma _{X}>0}$${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

En el caso bivariado, la primera condición equivalente para la reconstrucción multivariada de la normalidad puede hacerse menos restrictiva, ya que es suficiente verificar que muchas combinaciones lineales distintas de y son normales para concluir que el vector de es normal bivariado. ^[6]${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\text{[XY]′}}}$

Los loci bivariados de isodensidad graficados en el plano-son elipses , cuyos ejes principales están definidos por los autovectores de la matriz de covarianza (los semidiámetros mayor y menor de la elipse son iguales a la raíz cuadrada de los autovalores ordenados).${\displaystyle x,y}$${\displaystyle {\boldsymbol {\Sigma }}}$

Distribución normal bivariada centrada en con una desviación estándar de 3 aproximadamente en la dirección y de 1 en la dirección ortogonal.${\displaystyle (1,3)}$${\displaystyle (0.878,0.478)}$

A medida que aumenta el valor absoluto del parámetro de correlación , estos loci se aprietan hacia la siguiente línea:${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Esto se debe a que esta expresión, con (donde sgn es la función de signo ) reemplazada por , es la mejor predicción lineal insesgada de un valor dado de . ^[7]${\displaystyle sgn(\rho )}$${\displaystyle \rho }$${\displaystyle Y}$${\displaystyle X}$

Caso degenerado

Si la matriz de covarianza no es de rango completo, entonces la distribución normal multivariante está degenerada y no tiene densidad. Más precisamente, no tiene densidad con respecto a la medida de Lebesgue k -dimensional (que es la medida habitual asumida en los cursos de probabilidad a nivel de cálculo). Se dice que solo los vectores aleatorios cuyas distribuciones son absolutamente continuas con respecto a una medida tienen densidades (con respecto a esa medida). Para hablar de densidades pero evitar lidiar con complicaciones de la teoría de la medida, puede ser más sencillo restringir la atención a un subconjunto de las coordenadas de tal que la matriz de covarianza para este subconjunto sea definida positiva; entonces las otras coordenadas se pueden considerar como un${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbf {x} }$función afín de estas coordenadas seleccionadas. ^{[ cita requerida ]}

Entonces, para hablar de densidades de manera significativa en casos singulares, debemos seleccionar una medida base diferente. Usando el teorema de la desintegración podemos definir una restricción de la medida de Lebesgue al subespacio afín -dimensional de donde se apoya la distribución gaussiana, es decir . Con respecto a esta medida la distribución tiene la densidad del siguiente motivo:${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\}}$

${\displaystyle f(\mathbf {x} )=\left(\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})\right)^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{+}(\mathbf {x} -{\boldsymbol {\mu }})}}$

donde es el inverso generalizado y det * es el pseudodeterminante . ^[8]${\displaystyle {\boldsymbol {\Sigma }}^{+}}$

Función de distribución acumulativa

La noción de función de distribución acumulativa (CDF) en la dimensión 1 se puede extender de dos maneras al caso multidimensional, basado en regiones rectangulares y elipsoidales.

La primera forma es definir la CDF de un vector aleatorio como la probabilidad de que todos los componentes de sean menores o iguales a los valores correspondientes en el vector : ^[9]${\displaystyle F(\mathbf {x} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

Aunque no existe una forma cerrada para , hay varios algoritmos que lo estiman numéricamente . ^{[9] [10]}${\displaystyle F(\mathbf {x} )}$

Otra forma es definir la CDF como la probabilidad de que una muestra se encuentre dentro del elipsoide determinada por su distancia de Mahalanobis del gaussiano, una generalización directa de la desviación estándar. ^[11] Para calcular los valores de esta función, existen fórmulas analíticas cerradas, ^{[11] de la} siguiente manera.${\displaystyle F(r)}$ ${\displaystyle r}$

Intervalo

Más información: región de confianza y estadístico t cuadrado de Hotelling

El intervalo para la distribución normal multivariante produce una región que consta de esos vectores x que satisfacen

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

Aquí hay un vector -dimensional, es el vector medio conocido -dimensional, es la matriz de covarianza conocida y es la función cuantílica para la probabilidad de la distribución chi-cuadrado con grados de libertad. ^[12] Cuando la expresión define el interior de una elipse y la distribución chi-cuadrado se simplifica a una distribución exponencial con media igual a dos (tasa igual a la mitad).${\displaystyle {\mathbf {x} }}$${\displaystyle k}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \chi _{k}^{2}(p)}$${\displaystyle p}$${\displaystyle k}$${\displaystyle k=2,}$

Función de distribución acumulativa complementaria (distribución de cola)

La función de distribución acumulativa complementaria (ccdf) o la distribución de cola se define como . Cuando , entonces la ccdf se puede escribir como una probabilidad el máximo de variables dependientes de Gauss: ^[13]${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} (\mathbf {X} \leq \mathbf {x} )}$${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} (\cup _{i}\{X_{i}\geq x_{i}\})=\mathbb {P} (\max _{i}Y_{i}\geq 0),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}).}$

Si bien no existe una fórmula cerrada simple para calcular la ccdf, el máximo de variables gaussianas dependientes se puede estimar con precisión mediante el método de Monte Carlo . ^{[13] [14]}

Propiedades

Probabilidad en diferentes dominios

Arriba: la probabilidad de una normal bivariada en el dominio (regiones azules). Medio: la probabilidad de una normal trivariada en un dominio toroidal. Abajo: integral de Monte-Carlo convergente de la probabilidad de una normal de 4 variables en el dominio poliédrico regular 4d definido por . Todos estos se calculan mediante el método numérico de trazado de rayos. ^[15]${\displaystyle x\sin y-y\cos x>1}$${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert <1}$

El contenido de probabilidad de la normal multivariante en un dominio cuadrático definido por (donde es una matriz, es un vector y es un escalar), que es relevante para la teoría de clasificación / decisión bayesiana que utiliza el análisis discriminante gaussiano, viene dado por la chi generalizada distribución al cuadrado . ^[15] El contenido de probabilidad dentro de cualquier dominio general definido por (donde es una función general) se puede calcular utilizando el método numérico de trazado de rayos ^[15] ( código Matlab ).${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$${\displaystyle f({\boldsymbol {x}})>0}$${\displaystyle f({\boldsymbol {x}})}$

Momentos superiores

Artículo principal: teorema de Isserlis

Los momentos de k -ésimo orden de x están dados por

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

donde r ₁ + r ₂ + ⋯ + r _N = k .

Los momentos centrales de k -ésimo orden son los siguientes

1. Si k es impar, μ _{1,…, N} ( x - μ ) = 0 .
2. Si k es par con k = 2 λ , entonces

${\displaystyle \mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)}$

donde la suma se toma sobre todas las asignaciones del conjunto en pares λ (desordenados). Es decir, para un momento central k ésimo (= 2 λ = 6) , se suman los productos de λ = 3 covarianzas (el valor esperado μ se toma como 0 en aras de la parsimonia):${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {[} X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

Esto produce términos en la suma (15 en el caso anterior), siendo cada uno el producto de λ (en este caso 3) covarianzas. Para los momentos de cuarto orden (cuatro variables) hay tres términos. Para momentos de sexto orden hay 3 × 5 = 15 términos, y para momentos de octavo orden hay 3 × 5 × 7 = 105 términos.${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

Las covarianzas se determinan reemplazando los términos de la lista por los términos correspondientes de la lista que consta de r ₁ unos, luego r ₂ dos, etc. Para ilustrar esto, examine el siguiente caso de momento central de cuarto orden:${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

donde es la covarianza de X _i y X _j . Con el método anterior, primero se encuentra el caso general para un k- ésimo momento con k X variables diferentes , y luego se simplifica esto en consecuencia. Por ejemplo, para , uno deja X _i = X _j y uno usa el hecho de que .${\displaystyle \sigma _{ij}}$${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

Funciones de un vector normal

a: Densidad de probabilidad de una función de una sola variable normal con y . b: Densidad de probabilidad de una función de un vector normal , con media y covarianza . c: Mapa de calor de la densidad de probabilidad conjunta de dos funciones de un vector normal , con media y covarianza . d: Densidad de probabilidad de una función de 4 iid variables normales estándar. Estos se calculan mediante el método numérico de trazado de rayos. ^[15]${\displaystyle \cos x^{2}}$${\displaystyle x}$${\displaystyle \mu =-2}$${\displaystyle \sigma =3}$${\displaystyle x^{y}}$${\displaystyle (x,y)}$${\displaystyle {\boldsymbol {\mu }}=(1,2)}$${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}}$${\displaystyle (x,y)}$${\displaystyle {\boldsymbol {\mu }}=(-2,5)}$${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}}$${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert }$

Una forma cuadrática de un vector normal , (donde es una matriz, es un vector y es un escalar), es una variable chi-cuadrado generalizada . ^[15]${\displaystyle {\boldsymbol {x}}}$${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$

Si es una función de valor escalar general de un vector normal, su función de densidad de probabilidad , función de distribución acumulativa y función de distribución acumulativa inversa se pueden calcular con el método numérico de trazado de rayos ( código Matlab ). ^[15]${\displaystyle f({\boldsymbol {x}})}$

Función de verosimilitud

Si se conocen la media y la matriz de covarianza, la probabilidad logarítmica de un vector observado es simplemente el logaritmo de la función de densidad de probabilidad :${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$,

La versión circularmente simétrica del caso complejo no central, donde es un vector de números complejos, sería${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

es decir, con la transposición conjugada (indicada por ) reemplazando la transpuesta normal (indicada por ). Esto es ligeramente diferente que en el caso real, porque la versión circularmente simétrica de la distribución normal compleja tiene una forma ligeramente diferente para la constante de normalización .${\displaystyle \dagger }$${\displaystyle '}$

Se utiliza una notación similar para la regresión lineal múltiple . ^[dieciséis]

Dado que la probabilidad logarítmica de un vector normal es una forma cuadrática del vector normal, se distribuye como una variable chi cuadrado generalizada . ^[15]

Entropía diferencial

La entropía diferencial de la distribución normal multivariante es ^[17]

${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} ,\\&={\frac {1}{2}}\ln \left(\left|\left(2\pi e\right){\boldsymbol {\Sigma }}\right|\right)={\frac {1}{2}}\ln \left(\left(2\pi e\right)^{k}\left|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}\ln \left(2\pi e\right)+{\frac {1}{2}}\ln \left(\left|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}+{\frac {k}{2}}\ln \left(2\pi \right)+{\frac {1}{2}}\ln \left(\left|{\boldsymbol {\Sigma }}\right|\right)\\\end{aligned}}}$

donde las barras indican el determinante de la matriz y k es la dimensionalidad del espacio vectorial.

Divergencia Kullback-Leibler

La divergencia de Kullback-Leibler de a , para matrices no singulares Σ ₁ y Σ ₀ , es: ^[18]${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\|{\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

donde es la dimensión del espacio vectorial.${\displaystyle k}$

El logaritmo debe tomarse en base e ya que los dos términos que siguen al logaritmo son en sí mismos logaritmos en base e de expresiones que son factores de la función de densidad o que surgen naturalmente. Por tanto, la ecuación da un resultado medido en nat . Dividir toda la expresión anterior por log _e  2 produce la divergencia en bits .

cuando ,${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\|{\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

Información mutua

La información mutua de una distribución es un caso especial de la divergencia de Kullback-Leibler en el que es la distribución multivariante completa y es el producto de las distribuciones marginales unidimensionales. En la notación de la sección de divergencia de Kullback-Leibler de este artículo, hay una matriz diagonal con las entradas diagonales de , y . La fórmula resultante para la información mutua es:${\displaystyle P}$${\displaystyle Q}$${\displaystyle {\boldsymbol {\Sigma }}_{1}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

de dónde se construye la matriz de correlación . ^{[ cita requerida ]}${\displaystyle {\boldsymbol {\rho }}_{0}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

En el caso bivariado, la expresión de la información mutua es:

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

Normalidad conjunta

Normalmente distribuidos e independientes

Si y están distribuidos normalmente y son independientes , esto implica que están "conjuntamente distribuidos normalmente", es decir, el par debe tener una distribución normal multivariante. Sin embargo, no es necesario que un par de variables distribuidas normalmente en conjunto sean independientes (solo lo serían si no estuvieran correlacionadas ).${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle \rho =0}$

No es necesario que dos variables aleatorias distribuidas normalmente sean normales bivariadas en conjunto

Ver también: normalmente distribuido y no correlacionado no implica independiente

El hecho de que dos variables aleatorias y ambas tengan una distribución normal no implica que el par tenga una distribución normal conjunta. Un ejemplo simple es uno en el que X tiene una distribución normal con valor esperado 0 y varianza 1, y si y si , dónde . Existen contraejemplos similares para más de dos variables aleatorias. En general, suman un modelo mixto . ^{[ cita requerida ]}${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle Y=X}$${\displaystyle |X|>c}$${\displaystyle Y=-X}$${\displaystyle |X|<c}$${\displaystyle c>0}$

Correlaciones e independencia

En general, las variables aleatorias pueden no estar correlacionadas pero son estadísticamente dependientes. Pero si un vector aleatorio tiene una distribución normal multivariante, dos o más de sus componentes que no están correlacionados son independientes . Esto implica que dos o más de sus componentes que son independientes por pares son independientes. Pero, como se ha señalado justo por encima, es no cierto que dos variables aleatorias que son ( por separado , marginalmente) distribuyen normalmente y no correlacionados son independientes.

Distribuciones condicionales

Si N -dimensional x se divide de la siguiente manera

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

y en consecuencia μ y Σ se dividen de la siguiente manera

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

entonces la distribución de x ₁ condicional a x ₂ = a es normal multivariante ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ ) donde

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

y matriz de covarianza

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[19]

Esta matriz es el complemento de Schur de Σ ₂₂ en Σ . Esto significa que para calcular la matriz de covarianza condicional, se invierte la matriz de covarianza general, se descartan las filas y columnas correspondientes a las variables a las que se está condicionando y luego se invierte para obtener la matriz de covarianza condicional. Aquí está el inverso generalizado de .${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$${\displaystyle {\boldsymbol {\Sigma }}_{22}}$

Tenga en cuenta que saber que x ₂ = a altera la varianza, aunque la nueva varianza no depende del valor específico de a ; quizás más sorprendentemente, la media se cambia por ; compare esto con la situación de no conocer el valor de a , en cuyo caso x ₁ tendría distribución .${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

Un hecho interesante derivado para probar este resultado, es que los vectores aleatorios y son independientes.${\displaystyle \mathbf {x} _{2}}$${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

La matriz Σ ₁₂ Σ ₂₂ ⁻¹ se conoce como la matriz de coeficientes de regresión .

Caso bivariado

En el caso bivariado donde x se divide en y , la distribución condicional de dado es ^[20]${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right).}$

donde es el coeficiente de correlación entre y .${\displaystyle \rho }$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

Expectativa condicional bivariada

En el caso general

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

La expectativa condicional de X ₁ dado X ₂ es:

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

Prueba: el resultado se obtiene tomando la expectativa de la distribución condicional anterior.${\displaystyle X_{1}\mid X_{2}}$

En el caso centrado con variaciones unitarias

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

La expectativa condicional de X ₁ dado X ₂ es

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

y la varianza condicional es

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

por tanto, la varianza condicional no depende de x ₂ .

La expectativa condicional de X ₁ dado que X ₂ es menor / mayor que z es: ^{[21] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\phi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\phi (z) \over (1-\Phi (z))},}$

donde la relación final aquí se llama la relación de Mills inversa .

Prueba: los dos últimos resultados se obtienen utilizando el resultado , de modo que${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$y luego usando las propiedades de la expectativa de una distribución normal truncada .

Distribuciones marginales

Para obtener la distribución marginal sobre un subconjunto de variables aleatorias normales multivariadas, solo es necesario eliminar las variables irrelevantes (las variables que se quieren marginar) del vector medio y la matriz de covarianza. La prueba de esto se deriva de las definiciones de distribuciones normales multivariadas y álgebra lineal. ^[22]

Ejemplo

Sea X = [ X ₁ , X ₂ , X ₃ ] variables aleatorias normales multivariadas con vector medio μ = [ μ ₁ , μ ₂ , μ ₃ ] y matriz de covarianza Σ (parametrización estándar para distribuciones normales multivariadas). Entonces, la distribución conjunta de X ′ = [ X ₁ , X ₃ ] es normal multivariante con el vector medio μ ′ = [ μ ₁ , μ ₃ ]y matriz de covarianza .${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

Transformación afín

Si Y = c + BX es una transformación afín de donde c es un vector de constantes y B es una constante de matriz, entonces Y tiene una distribución normal multivariante con valor esperado c + Bμ y varianza BΣB ^T es decir, . En particular, cualquier subconjunto de X _i tiene una distribución marginal que también es normal multivariante. Para ver esto, considere el siguiente ejemplo: para extraer el subconjunto ( X ₁ , X ₂ , X${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$${\displaystyle M\times 1}$${\displaystyle M\times N}$${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$₄ ) ^T , uso

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

que extrae los elementos deseados directamente.

Otro corolario es que la distribución de Z = b · X , donde b es un vector constante con el mismo número de elementos que X y el punto indica el producto escalar , es univariante gaussiano con . Este resultado sigue usando${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Observe cómo la definición positiva de Σ implica que la varianza del producto escalar debe ser positiva.

Una transformación afín de X tal como 2 X no es la misma que la suma de dos realizaciones independientes de X .

Interpretación geométrica

Ver también: región de confianza

Los contornos de equidensidad de una distribución normal multivariante no singular son elipsoides (es decir, transformaciones lineales de hiperesferas ) centradas en la media. ^[23] Por tanto, la distribución normal multivariante es un ejemplo de la clase de distribuciones elípticas . Las direcciones de los ejes principales de los elipsoides vienen dadas por los autovectores de la matriz de covarianza . Las longitudes relativas cuadradas de los ejes principales vienen dadas por los valores propios correspondientes.${\displaystyle {\boldsymbol {\Sigma }}}$

Si Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T es una descomposición propia donde las columnas de U son vectores propios unitarios y Λ es una matriz diagonal de los valores propios, entonces tenemos

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

Además, se puede elegir que U sea ​​una matriz de rotación , ya que la inversión de un eje no tiene ningún efecto sobre N (0, Λ ), pero la inversión de una columna cambia el signo del determinante de U. La distribución N ( μ , Σ ) es en efecto N (0, I ) escalada por Λ ^1/2 , rotada por U y traducida por μ .

Por el contrario, cualquier elección de μ , matriz U de rango completo y entradas diagonales positivas Λ _i produce una distribución normal multivariante no singular. Si cualquier Λ _i es cero y U es cuadrado, la matriz de covarianza resultante UΛU ^T es singular . Geométricamente, esto significa que cada elipsoide de contorno es infinitamente delgado y tiene un volumen cero en el espacio n -dimensional, ya que al menos uno de los ejes principales tiene una longitud de cero; este es el caso degenerado .

"El radio alrededor de la media verdadera en una variable aleatoria normal bivariada, reescrito en coordenadas polares (radio y ángulo), sigue una distribución de Hoyt ". ^[24]

En una dimensión, la probabilidad de encontrar una muestra de la distribución normal en el intervalo es aproximadamente 68.27%, pero en dimensiones más altas la probabilidad de encontrar una muestra en la región de la elipse de desviación estándar es menor. ^[25]${\displaystyle \mu \pm \sigma }$

Dimensionalidad	Probabilidad
1	0,6827
2	0.3935
3	0.1987
4	0.0902
5	0.0374
6	0.0144
7	0,0052
8	0,0018
9	0,0006
10	0,0002

Inferencia estadística

Estimación de parámetros

Más información: Estimación de matrices de covarianza

La derivación del estimador de máxima verosimilitud de la matriz de covarianza de una distribución normal multivariante es sencilla.

En resumen, la función de densidad de probabilidad (pdf) de una normal multivariante es

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

y el estimador ML de la matriz de covarianza de una muestra de n observaciones es

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{T}}$

que es simplemente la matriz de covarianza de la muestra . Este es un estimador sesgado cuya expectativa es

${\displaystyle E[{\widehat {\boldsymbol {\Sigma }}}]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

Una covarianza muestral insesgada es

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n-1}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}.={1 \over n-1}[X'(I-{\frac {1}{n}}*J)X]}$ (forma de matriz; I es matriz de identidad, J es matriz de unos)

La matriz de información de Fisher para estimar los parámetros de una distribución normal multivariante tiene una expresión de forma cerrada. Esto se puede utilizar, por ejemplo, para calcular el límite de Cramér – Rao para la estimación de parámetros en esta configuración. Consulte la información de Fisher para obtener más detalles.

Inferencia bayesiana

En la estadística bayesiana , el previo conjugado del vector medio es otra distribución normal multivariante y el previo conjugado de la matriz de covarianza es una distribución de Wishart inversa . Supongamos entonces que se han hecho n observaciones${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

y que se ha asignado un prior conjugado, donde

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

dónde

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

y

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

Entonces, ^{[ cita requerida ]}

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

dónde

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

Pruebas de normalidad multivariante

Las pruebas de normalidad multivariante comprueban la similitud de un conjunto de datos con la distribución normal multivariante . La hipótesis nula es que el conjunto de datos es similar a la distribución normal, por lo tanto, un valor p suficientemente pequeño indica datos no normales. Las pruebas de normalidad multivariante incluyen la prueba de Cox-Small ^[26] y la adaptación de Smith y Jain ^[27] de la prueba de Friedman-Rafsky creada por Larry Rafsky y Jerome Friedman . ^[28]

La prueba de Mardia ^[29] se basa en extensiones multivariadas de medidas de asimetría y curtosis . Para una muestra { x ₁ , ..., x _n } de k -vectores dimensionales calculamos

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{T}\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{T}\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{T}\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$

Bajo la hipótesis nula de normalidad multivariante, el estadístico A tendrá aproximadamente una distribución chi-cuadrado con1/6⋅ k ( k + 1) ( k + 2) grados de libertad, y B será aproximadamente normal estándar N (0,1).

La estadística de curtosis de Mardia está sesgada y converge muy lentamente a la distribución normal limitante. Para muestras de tamaño medio , se modifican los parámetros de la distribución asintótica del estadístico de curtosis ^[30]. Para pruebas de muestras pequeñas ( ) se utilizan valores críticos empíricos. Rencher ^{[31] proporciona} tablas de valores críticos para ambos estadísticos para k  = 2, 3, 4.${\displaystyle (50\leq n<400)}$${\displaystyle n<50}$

Las pruebas de Mardia son invariantes afines pero no consistentes. Por ejemplo, la prueba de asimetría multivariante no es consistente con alternativas simétricas no normales. ^[32]

La prueba BHEP ^[33] calcula la norma de la diferencia entre la función característica empírica y la función característica teórica de la distribución normal. El cálculo de la norma se realiza en el espacio L 2 ( μ ) de funciones cuadradas integrables con respecto a la función de ponderación gaussiana . La estadística de prueba es${\displaystyle \scriptstyle \mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}}$

${\displaystyle {\begin{aligned}T_{\beta }&=\int _{\mathbb {R} ^{k}}\left|{1 \over n}\sum _{j=1}^{n}e^{i\mathbf {t} ^{T}{\widehat {\boldsymbol {\Sigma }}}^{-1/2}(\mathbf {x} _{j}-{\bar {\mathbf {x} )}}}-e^{-|\mathbf {t} |^{2}/2}\right|^{2}\;{\boldsymbol {\mu }}_{\beta }(\mathbf {t} )\,d\mathbf {t} \\&={1 \over n^{2}}\sum _{i,j=1}^{n}e^{-{\beta ^{2} \over 2}(\mathbf {x} _{i}-\mathbf {x} _{j})^{T}{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-\mathbf {x} _{j})}-{\frac {2}{n(1+\beta ^{2})^{k/2}}}\sum _{i=1}^{n}e^{-{\frac {\beta ^{2}}{2(1+\beta ^{2})}}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{T}{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})}+{\frac {1}{(1+2\beta ^{2})^{k/2}}}\end{aligned}}}$

La distribución límite de este estadístico de prueba es una suma ponderada de variables aleatorias chi-cuadrado, ^[33] sin embargo, en la práctica es más conveniente calcular los cuantiles de la muestra utilizando las simulaciones de Monte-Carlo. ^{[ cita requerida ]}

Se encuentra disponible una revisión detallada de estos y otros procedimientos de prueba. ^[34]

Clasificación en clases normales multivariadas

Izquierda: Clasificación de siete clases normales multivariadas. Las elipses de colores son elipses de error de 1 sd. El negro marca los límites entre las regiones de clasificación. es la probabilidad de error de clasificación total. Derecha: la matriz de errores. es la probabilidad de clasificar una muestra de normal como . Estos se calculan mediante el método numérico de trazado de rayos ^[15] ( código Matlab ).${\displaystyle p_{e}}$${\displaystyle p_{ij}}$${\displaystyle i}$${\displaystyle j}$

Análisis discriminante gaussiano

Suponga que se supone que las observaciones (que son vectores) provienen de una de varias distribuciones normales multivariadas, con medias y covarianzas conocidas. Entonces, cualquier observación dada puede asignarse a la distribución de la que tiene la mayor probabilidad de surgir. Este procedimiento de clasificación se denomina análisis discriminante gaussiano. El rendimiento de la clasificación, es decir, las probabilidades de los diferentes resultados de clasificación y el error de clasificación general, se pueden calcular mediante el método numérico de trazado de rayos ^[15] ( código Matlab ).

Métodos computacionales

Extraer valores de la distribución

Un método ampliamente utilizado para dibujar (muestrear) un vector aleatorio x de la distribución normal multivariada N -dimensional con el vector medio μ y la matriz de covarianza Σ funciona de la siguiente manera: ^[35]

1. Encuentre cualquier matriz real A tal que A  A ^T = Σ . Cuando Σ es positivo-definido, típicamente se usa la descomposición de Cholesky , y siempre se puede usar la forma extendida de esta descomposición (ya que la matriz de covarianza puede ser solo positiva semi-definida) en ambos casos se obtiene una matriz A adecuada . Una alternativa es usar la matriz A = UΛ ^½ obtenida de una descomposición espectral Σ = UΛU ⁻¹ de Σ . El primer enfoque es más sencillo desde el punto de vista computacional, pero las matricesUn cambio para diferentes ordenamientos de los elementos del vector aleatorio, mientras que el último enfoque da matrices que están relacionadas mediante simples reordenamientos. En teoría, ambos enfoques ofrecen formas igualmente buenas de determinar una matriz A adecuada , pero existen diferencias en el tiempo de cálculo.
2. Sea z = ( z ₁ ,…, z _N ) ^T un vector cuyos componentes son N variables normales estándar independientes (que se pueden generar, por ejemplo, utilizando la transformada de Box-Muller ).
3. Vamos x sea μ + Az . Esto tiene la distribución deseada debido a la propiedad de transformación afín.

Ver también

• Distribución de chi , el pdf de la norma 2 (o norma euclidiana ) de un vector multivariado normalmente distribuido (centrado en cero).
• Distribución normal compleja , una aplicación de distribución normal bivariada
• Cópula , para la definición del modelo de cópula normal o gaussiano.
• Distribución t multivariante , que es otra distribución multivariada esféricamente simétrica ampliamente utilizada.
• Extensión de distribución estable multivariante de la distribución normal multivariada, cuando el índice (exponente en la función característica) está entre cero y dos.
• Distancia de Mahalanobis
• Distribución Wishart
• Distribución normal de la matriz

Referencias

1. Lapidoth, Amos (2009). Una base en la comunicación digital . Prensa de la Universidad de Cambridge. ISBN 978-0-521-19395-5.
2. Gut, Allan (2009). Un curso intermedio en probabilidad . Saltador. ISBN 978-1-441-90161-3.
3. Kac, M. (1939). "Sobre una caracterización de la distribución normal". Revista Estadounidense de Matemáticas . 61 (3): 726–728. doi : 10.2307 / 2371328 . JSTOR 2371328 . 
4. Sinz, Fabián; Gerwinn, Sebastián; Bethge, Matthias (2009). "Caracterización de la distribución normal p-generalizada". Revista de análisis multivariante . 100 (5): 817–820. doi : 10.1016 / j.jmva.2008.07.006 .
5. Simon JD Prince (junio de 2012). Visión por computadora: modelos, aprendizaje e inferencia . Prensa de la Universidad de Cambridge. 3.7: "Distribución normal multivariante".
6. Hamedani, GG; Tata, MN (1975). "Sobre la determinación de la distribución normal bivariada a partir de distribuciones de combinaciones lineales de las variables". The American Mathematical Monthly . 82 (9): 913–915. doi : 10.2307 / 2318494 . JSTOR 2318494 . 
7. Wyatt, John (26 de noviembre de 2008). "Estimación del error cuadrático mínimo lineal" (PDF) . Curso de apuntes sobre probabilidad aplicada . Archivado desde el original (PDF) el 10 de octubre de 2015 . Consultado el 23 de enero de 2012 .
8. Rao, CR (1973). Inferencia estadística lineal y sus aplicaciones . Nueva York: Wiley. págs. 527–528. ISBN 0-471-70823-2.
9. Botev, ZI (2016). "La ley normal bajo restricciones lineales: simulación y estimación mediante inclinación minimax". Revista de la Sociedad Real de Estadística, Serie B . 79 : 125-148. arXiv : 1603.04166 . Código bibliográfico : 2016arXiv160304166B . doi : 10.1111 / rssb.12162 . S2CID 88515228 . 
10. Genz, Alan (2009). Cálculo de probabilidades normales y t multivariadas . Saltador. ISBN 978-3-642-01689-9.
11. Bensimhoun Michael, función acumulativa N-dimensional y otros datos útiles sobre gaussianos y densidades normales (2006)
12. Siotani, Minoru (1964). "Regiones de tolerancia para una población normal multivariante" (PDF) . Anales del Instituto de Matemática Estadística . 16 (1): 135-153. doi : 10.1007 / BF02868568 . S2CID 123269490 .  
13. Botev, ZI; Mandjes, M .; Ridder, A. (6 a 9 de diciembre de 2015). "Distribución de la cola del máximo de variables aleatorias gaussianas correlacionadas". Conferencia de simulación de invierno de 2015 (CSM) . Huntington Beach, California, Estados Unidos: IEEE. págs. 633–642. doi : 10.1109 / WSC.2015.7408202 . ISBN 978-1-4673-9743-8.
14. Adler, RJ; Blanchet, J .; Liu, J. (7 a 10 de diciembre de 2008). "Simulación eficiente de probabilidades de cola de campos aleatorios gaussianos". Conferencia de simulación de invierno de 2008 (CSM) . Miami, Florida, Estados Unidos: IEEE. págs. 328–336. doi : 10.1109 / WSC.2008.4736085 . ISBN 978-1-4244-2707-9.
15. Das, Abhranil (2020). "Un método para integrar y clasificar distribuciones normales". arXiv : 2012.14331 [ stat.ML ].
16. Tong, T. (2010) Regresión lineal múltiple: MLE y sus resultados de distribución Archivado el 16 de junio de 2013 en WebCite , Lecture Notes
17. Gokhale, DV; Ahmed, NA; Res, BC; Piscataway, Nueva Jersey (mayo de 1989). "Expresiones de entropía y sus estimadores para distribuciones multivariadas". Transacciones IEEE sobre teoría de la información . 35 (3): 688–692. doi : 10.1109 / 18.30996 .
18. Duchi, J. "Derivaciones para optimización y álgebra lineal" (PDF) : 13.
19. Eaton, Morris L. (1983). Estadística multivariante: un enfoque de espacio vectorial . John Wiley e hijos. págs. 116-117. ISBN 978-0-471-02776-8.
20. Jensen, J (2000). Estadísticas para ingenieros petroleros y geocientíficos . Amsterdam: Elsevier. pag. 207.
21. Maddala, GS (1983). Variables dependientes y cualitativas limitadas en econometría . Prensa de la Universidad de Cambridge. ISBN 0-521-33825-5.
22. Un cálculo algebraico de la distribución marginal se muestra aquí http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html . Una prueba mucho más breve se describe aquí https://math.stackexchange.com/a/3832137
23. Nikolaus Hansen (2016). "La estrategia de evolución de CMA: un tutorial" (PDF) . arXiv : 1604.00772 . Código Bibliográfico : 2016arXiv160400772H . Archivado desde el original (PDF) el 31 de marzo de 2010 . Consultado el 7 de enero de 2012 .
24. Daniel Wollschlaeger. "La Distribución Hoyt (Documentación para el paquete R 'shotGroups' versión 0.6.2)" .^{[ enlace muerto permanente ]}
25. Wang, Bin; Shi, Wenzhong; Miao, Zelang (13 de marzo de 2015). Rocchini, Duccio (ed.). "Análisis de confianza de la elipse de desviación estándar y su extensión en el espacio euclidiano dimensional superior" . PLOS ONE . 10 (3): e0118537. Código Bibliográfico : 2015PLoSO..1018537W . doi : 10.1371 / journal.pone.0118537 . ISSN 1932-6203 . PMC 4358977 . PMID 25769048 .   
26. Cox, DR; Small, NJH (1978). "Prueba de normalidad multivariante". Biometrika . 65 (2): 263. doi : 10.1093 / biomet / 65.2.263 .
27. Smith, SP; Jain, AK (1988). "Una prueba para determinar la normalidad multivariante de un conjunto de datos". Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 10 (5): 757. doi : 10.1109 / 34.6789 .
28. Friedman, JH; Rafsky, LC (1979). "Generalizaciones multivariadas de las pruebas de dos muestras de Wald-Wolfowitz y Smirnov" . The Annals of Statistics . 7 (4): 697. doi : 10.1214 / aos / 1176344722 .
29. Mardia, KV (1970). "Medidas de asimetría y curtosis multivariante con aplicaciones". Biometrika . 57 (3): 519–530. doi : 10.1093 / biomet / 57.3.519 .
30. Rencher (1995), páginas 112-113.
31. Rencher (1995), páginas 493–495.
32. Baringhaus, L .; Henze, N. (1991). "Limitar distribuciones para medidas de asimetría multivariante y curtosis basadas en proyecciones". Revista de análisis multivariante . 38 : 51–69. doi : 10.1016 / 0047-259X (91) 90031-V .
33. Baringhaus, L .; Henze, N. (1988). "Una prueba consistente de normalidad multivariante basada en la función característica empírica". Metrika . 35 (1): 339–348. doi : 10.1007 / BF02613322 . S2CID 122362448 . 
34. Henze, Norbert (2002). "Pruebas invariantes de normalidad multivariante: una revisión crítica". Papeles estadísticos . 43 (4): 467–506. doi : 10.1007 / s00362-002-0119-6 . S2CID 122934510 . 
35. Gentle, JE (2009). Estadística computacional . Estadística y Computación. Nueva York: Springer. págs. 315–316. doi : 10.1007 / 978-0-387-98144-4 . ISBN 978-0-387-98143-7.

Literatura

• Rencher, AC (1995). Métodos de análisis multivariante . Nueva York: Wiley.
• Tong, YL (1990). La distribución normal multivariante . Springer Series en Estadística. Nueva York: Springer-Verlag. doi : 10.1007 / 978-1-4613-9655-0 . ISBN 978-1-4613-9657-4.