模式识别课件2.3 正态分布时的统计决策

⑶不相关性等价于独立性
不相关与独立的定义：
若
E{xi xj}= E{xi}·E{xj}
则定义随机变量xi和xj是不相关的。
若
p(xi,xj)= p(xi) p(xj)
则定义随机变量xi和xj是独立的。
2.3.1正态分布概率密度函数的定义及性质
一般情况下相关与独立的关系
独立性是比不相关性更强的条件，独立性要求
2.3.1正态分布概率密度函数的定义及性质
⑵等密度点的轨迹为一超椭球面
2(xμ)T1(xμ)
为x到μ的Mahalanobis距离的平方。所以等密 度点轨迹是x到μ的Mahalanobis距离为常数的 超椭球面。这个超椭球体大小是样本对于均 值向量的离散度度量。
可以证明对应于Mahalanobis距离为的超椭球
在正态分布中不相关性等价于独立性。 就随机向量x=[x1，x2，…xn]T进行证明。
2.3.1正态分布概率密度函数的定义及性质
证明: 根据xi与xj互不相关的定义，可求得：
i 2 j E [ x i (i) x j (j ) E ] ( x i i) E ( x j j ) 0
i，j=1，2，…，d；i≠j
多元正态分布被均值向量μ和协方差矩阵 ∑所完全确定。
均值向量μ由d个分量组成; 协方差矩阵∑由于其对称性故其独立元素有
d2 d
d(d1)
d
2
2
多元正态分布概率密度函数常记为
p(x)~N(μ,∑)
2.3.1正态分布概率密度函数的定义及性质
⑵等密度点的轨迹为一超椭球面
从正态分布总体中抽取的样本大部分落在由μ和∑所确
E[(xd d)(x1 1)] E[(xd d)(xd d)]
2.3.1正态分布概率密度函数的定义及性质
协方差的各分量为：
i2jE[(xi i)(xj j)]
(xii)(xjj)p(xi,xj)dixdjx
协方差矩阵总是对称阵，协方差矩阵为
2 11
2 12
2 12
2 22
标准差
σ2为x的方差
E{x}
x(px)dx
2(x)2p(x)dx
2.3.1正态分布概率密度函数的定义及性质
➢ 概率密度函数应满足 下列关系式 p(x)≥0 (－∞＜x＜∞)
μ－kσ
μ+kσ
p(x)dx1
k=1 P(μ-kσ<x< μ+kσ)=0.68 k=2 P(μ-kσ<x< μ+kσ)=0.95 k=3 P(μ-kσ<x< μ+kσ)=0.99
2.3 正态分布时的统计决策
正态分布概率密度函数的定义及 性质
多元正态概型下的最小错误率贝 叶斯判别函数和决策面
2.3.1正态分布概率密度函数的定义及性质
㈠2单.3变.1量正正态态分分布布概率密度函 数 单的变量定正义态分及布概性率质密度函数定义为随机变量
x的期望
p(x) 21 exp1 2({ x )2}
p (x i) p (x )d 1 d x 2 x d i 1 d x i 1 x d dx
2.3.1正态分布概率密度函数的定义及性质
㈡ 多元正态分布
E{(x μ)(x μ)T}
x1 1
E x1 1
xd d
xd d
E[(x1 1)(x1 1)] E[(x1 1)(xd d)]
p(x)~N(μ,σ2)
2.3.1正态分布概率密度函数的定义及性质
㈡ 多元正态分布
⒈多元正态分布的概率密度函数
p(x) 1 ex p1{ (xμ)T1(xμ)}
d
1
(2)2||2
2
μE(x)xp(x)dx Ed
i E { x i} E dx ip (x )d x x ip (x i)di x
|∑|≠0）。
2.3.1正态分布概率密度函数的定义及性质
⒉多元正态分布的性质
⑴参数μ和∑对分布的决定性 ⑵等密度点的轨迹为一超椭球面 ⑶不相关性等价于独立性 ⑷边缘分布和条件分布的正态性 ⑸线性变换的正态性 ⑹线性组合的正态性
2.3.1正态分布概率密度函数的定义及性质
⑴参数μ和∑对分布的决定性
体积是
1
V Vd | |2 d
其中Vd是d维单位超球体的体积。
2.3.1正态分布概率密度函数的定义及性质
⑵等密度点的轨迹为一超椭球面
d 2
Vd
(
d 2
)!
2d
d 1 2
(
d
2
1 )!
d!
d为偶数 d为奇数
1
• 对于给定的维数，样本离散度直接随| | 2 而变。
2.3.1正态分布概率密度函数的定义及性质
2 1d
2 2d
2 1d
2 2d
2 dd
2.3.1正态分布概率密度函数的定义及性质
协方差矩阵总是非负定阵。 对于任意随机向量x，xT∑x是∑的二次型。
如果对x≠0的一切x 有 xT∑x≥0 都成立，则称∑为非负定阵。 若xT∑x>0，则∑为正定阵。 对于正定矩阵，各阶主子式非零（包括
p(xi,xj)= p(xi) p(xj) 对于xi和xj都成立。 不相关性是两个随机变量的积的期望等于两个 随机变量的期望的积，它反映了xi与xj总体的性 质。
若xi和xj相互独立，则它们之间一定不相关；反 之则不一定成立。
2.3.1正态分布概率密度函数的定义及性质
多元正态分布情况
对多元正态分布的任意两个分量xi和xj而 言，若xi与xj互不相关，则它们之间一定 独立。
定的一个区域里。从一个以均值μ为中心的云团内的二
维高斯分布中取出的样本。椭圆显示了等概率密度的
高斯分布轨迹。
p(x)
x2
x2 μ2
μ
μ2
μ1 x1
μ
μ1
x1
2.3.1正态分布概率密度函数的定义及性质
⑵等密度点的轨迹为一超椭球面
p(x) 1 ex p1{ (xμ)T1(xμ)}
d
1
(2)2||2来自百度文库
2
2.3.1正态分布概率密度函数的定义及性质
⑵等密度点的轨迹为一超椭球面
当指数项为常数时，密度p(x)值不变，因此等 密度点应是此式的指数项为常数的点，即应满
足
(xμ)T1(xμ)常数
证明上式的解是一个超椭球面，且它的主轴方 向由∑阵的特征向量所决定，主轴的长度与相应 的协方差矩阵∑的本征值成正比。在数理统计中 上式所表示的数量：
2(xμ)T1(xμ)
因此协方差矩阵∑就成为对角阵
2 11
0
0
2 dd
d
| |
2 ii
i1
1
2 11
0
1
0
1
2 dd
1d