多元正态分布的性质

多元正态分布的性质
多元高斯分布
向量随机变量X=[X1...Xn]TX=[X1...Xn]T服从多元高斯分布，均值
为μ∈Rnμ∈Rn(这里μμ是一个n维向量)，协方差矩阵为
Σ∈S++nΣ∈S++n，(S++nS++n是对称的正定矩阵)，概率密度函数：。

p(x;μ,Σ)=1(2π)n2|Σ|12exp(−12(x−μ)TΣ−1(x−μ)) p ( x ;
μ , Σ ) = 1 ( 2 π ) n 2 | Σ | 1 2 e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) 。

单变量高斯分布的密度函数：
p(x;μ,σ2)=1(2π)12σexp(−12σ2(x−μ)2) p ( x ; μ , σ 2 ) = 1 ( 2 π ) 1 2 σ e x p ( − 1 2 σ 2 ( x − μ ) 2 ) 。

系数1(2π)12σ 1 ( 2 π ) 1 2 σ 是一个不依赖x的常量，可
以简单看做正则化因子(normalization foctor)确保：
∫∞−∞1(2π)12σexp(−12σ2(x−μ)2)=1 ∫ − ∞ ∞ 1 ( 2 π ) 1 2 σ e x p ( − 1 2 σ 2 ( x − μ ) 2 ) = 1
推广到多元高斯分布，即1(2π)n2|Σ|121(2π)n2|Σ|12也是一个
不依赖向量X的常数，做为正则化因子：
1(2π)n2|Σ|12∫∞−∞∫∞−∞...∫∞−∞exp(−12(x−μ)TΣ−1(x−μ)) 1 ( 2 π ) n 2 | Σ | 1 2 ∫ − ∞ ∞ ∫ − ∞ ∞ . . . ∫ −∞ ∞ e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) 。

协方差矩阵ΣΣ 是一个n×n n × n 矩阵，(i,j)位置代表Cov[Xi,Xj] C o v [ X i , X j ]
命题1：对任意均值为μμ,协方差矩阵为ΣΣ的随即向量X，有：Σ=E[(X−μ)(X−μ)T]=E[XXT]−μμTΣ=E[(X−μ)(X−μ)T]=E[XXT]−μμT
命题2：协方差矩阵ΣΣ是对称半正定的矩阵。

(证明略)
到此，还为了协方差矩阵的逆存在，所以该矩阵是满秩；又有满秩的对称半正定矩阵都是对称正定矩阵。

若协方差矩阵是对角矩阵的情况，结论：
对角协方差矩阵其多元高斯分布是各单变量高斯分布的积。

协方差矩阵非对角化的情况，结论：
定理1：X∼N(μ,Σ)X∼N(μ,Σ),μ∈Rnμ∈Rn，Σ∈S++nΣ∈S++n,存在矩阵B∈Rn×nB∈Rn×n,定义Z=B−1(X−μ)Z=B−1(X−μ),有
Z∼N(0,I)Z∼N(0,I)。

Z可以认为是n个独立标准正态随机变量的集合，即
Zi∼N(0,1)Zi∼N(0,1);也有X=BZ+μμ。

该定理指出，任何具有多元高斯分布的随机变量X都可以做为将线性变换(X=BZ+μμ)应用于n个独立标准正态随机变量(Z的每个分量ZiZi)的结果。