第三章 多元正态分布
第三章多元正态分布
1 n
nΣ
n
1 n
Σ
n 1 n
Σ
26
2.有效性
设θˆ 是θ的一个无偏估计，若对θ的任一无偏估计 θ有
V θˆ V θ，θ Θ 即V θ -V θˆ 为非负定矩阵，则称θˆ 为θ的一致最优
1 1
0 0
0 2
4 2
4 1
41
1 1
0 0
0 2
6 16
16 20
16
20 40
17
给定y2时y1的条件均值和条件协差阵分别为
2 1
+
16 20
1 40
y2
3
=
1 2
,
Σ
12 1 2
1 2
2 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
,
14 34
11 31
13 33
。
12
(5)设x1,x2,⋯,xn相互独立，且xi~Np(μi, Σi) ，i=1,2,⋯,n， 则对任意n个常数k1,k2,⋯,kn，有
n
ki xi
应用多元统计第三章汇总
X1
X
,
X n
则 X ~ Nn ( , 2In ) ，其中 (1,, n )' .
X 的二次型具有以下一些结论：
结论1 当 i 0 (i 1,, n) , 2 1 时，则
n
X ' X
X
2 i
~
2 (n)
;
i 1
当 i 0 (i 1,, n) , 2 1 时，则有
为Hale Waihona Puke n×p 矩阵，则称随机阵n
W
X
(
a)
X
' (a
)
X
'X
a 1
的分布为威沙特分布，记为W~Wp( n ,∑ ).
显然，p=1时，X(a) ~ N(0, 2) , 此时
n
W
X2 (a)
~
2 2 (n)
,
a 1
即 W1(n, 2 )就是 2 2 (n).当p=1, 2 1时,W1(n,1)就是 2 (n) .
n
aa' 或 M 'M a 1
这里
11
M
1
p
1'
n1
np
' n
其中 p 为随机阵 W 的阶数，n 为自由度，一元统计中的 2对
应 p 元统计中的协方差阵∑.
【注】随机阵 W 的密度函数是威沙特于1928年推导出来的， 故此分布称为威沙特分布。
2. 威沙特分布的性质
性质1 设X(a)～Np( ,∑ ) (a=1,2,…,n)相互独立，则样本离差阵A
www,
第三章 多元正态分布参数的假设检验
几个重要统计量的分布
单总体均值向量的检验及置信域
多元正态分布
p 2
12
1 1 exp ( x ) ( x ) 2
1
( 这里Σ=AA′,
1 1 1 ( AA ) ( A ) A )
§2.2 多元正态分布的定义
定义2.2.4 若 p 维随机向量X=(X1,X2…Xp)′的联合密 度函数为
⑤ 写出X=AU+μ的密度函数： 1 1 f X ( x) exp u u J (u x) p 2 (2 ) 2 1 1 2 1 1 1 exp [ A ( x )][ A ( x )] p 2 (2 ) 2
§2.2 多元正态分布的定义
1. 多元正态分布的定义
2. 多元正态分布的性质
§2.2 多元正态分布的定义
在一元统计中，若U～N(0,1),则U的任意线性变 换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准 正态分布来定义一般正态分布： 若U～N(0,1),则称X =σU+μ的分布为一般正态分 布,记为X ～N(μ, σ2 )。 此定义中，不必要求σ＞0,当σ退化为0时仍有意 义。把这种新的定义方式推广到多元情况，可得 出多元正态分布的第一种定义。
故 X2 0 2 0 1 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
§2.2 多元正态分布的性质
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 2 故有: z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
第3章-正态分布时的统计决策
第3章 正态分布时的统计决策在统计决策理论中，涉及到类条件概率密度函数)|(i w x P 。
对许多实际的数据集，正态分布通常是合理的近似。
如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。
另外，正态分布概率模型有许多好的性质，有利于作数学分析。
概括起来就是： （1） 物理上的合理性 （2） 数学上的简单性下面重点讨论正态分布分布及其性质，以及正态分布下的Bayes 决策理论。
3.1 正态分布概率密度函数的定义及性质 1．单变量正态分布 定义：])(21ex p[21)(2σμσπρ--=x x（3.1-1）其中：μ为随机变量x 的期望，也就是平均值；2σ为x 的方差，σ为均方差，又称为标准差。
⎰∞∞-⋅==dx x x x E )()(ρμ （3.1-2）⎰∞∞-⋅-=dx x x )()(22ρμσ（3.1-3）概率密度函数的一般图形如下：)(x ρ具有一下性质：)(,0)(∞<<-∞≥x x ρ1)(=⎰∞∞-dx x ρ （3.1-4）从)(x ρ的图形上可以看出，只要有两个参数2σμ和就可以完全确定其曲线。
为了简单，常记)(x ρ为),(2σμN 。
若从服从正态分布的总体中随机抽取样本x ，约有95％的样本落在)2,2(σμσμ+-中。
样本的分散程度可以用σ来表示，σ越大分散程度越大。
2．多元正态分布 定义：∑---∑=-)]()(21ex p[||)2(1)(1212μμπρx x x T d（3.1-5）其中： T d x x x x ],,,[21 =为d 维随机向量，对于d 维随机向量x ，它的均值向量μ是d 维的。
也就是：T d ],,,[21μμμμ =为d 维均值向量。
∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，||∑为∑的行列式。
协方差矩阵∑是对称的，其中有2/)1(+⨯d d 个独立元素。
第3章统计实验(多元正态总体检验)
实验零多元正态总体检验（均值向量检验）1．实验目的：本实验讨论利用多元正态总体检验中的均值向量检验方法去判断满足多元正态分布的总体的均值是否等于预先判断的向量（单正态总体检验）或判断两个独立的、满足多元正态分布的总体的均值是否相等（双正态总体检验）。
通过该实验，能够起到如下的效果：(1) 理解多元正态总体检验中的均值向量检验方法的作用、思想、数学基础、方法和步骤；(2) 熟悉如何利用多元正态总体检验中的均值向量检验方法，提出问题、分析问题、解决问题、得出结论；（3）会调用SAS软件实现多元正态总体检验中的均值向量检验方法的各个步骤，根据计算的结果进行分析，得出正确的结论，解决实际的问题。
2．知识准备：多元正态总体检验中的均值向量检验是从判断满足多元正态分布的总体的均值是否等于预先判断的向量（单正态总体检验）或判断两个独立的、满足多元正态分布的总体的均值是否相等（双正态总体检验）。
其思想和步骤是：1.假设“需判断的总体均值等于预先判断的向量（单正态总体检验）”或“需判断的两个总体的均值相等（双正态总体检验）”；2.在该假设下，构造适当的统计量并给出其分布；3.根据观测数据算出其统计量的值；4.根据预先确定的检验水平查阅相应的分布表确定临界值和拒绝域；5.根据结果判断接受或拒绝原假设，得出结论。
（具体见书【1】第三章）3．实验内容：一、单正态总体检验：人出汗多少与人体内钠、钾含量有一定关系。
今测20名健康成年女性出汗多少(X1)、钠含量(X2)、钾含量(X3)，其数据如下表１：表1 健康成年女性出汗情况的基本数据序号X1 X2 X3 序号X1 X2 X31 3.7 48.5 9.3 11 3.9 36.9 12.72 5.7 65.1 8 12 4.5 58.8 12.33 3.8 47.2 10.9 13 3.5 27.8 9.84 3.2 53.2 12 14 4.5 40.2 8.45 3.1 55.5 9.7 15 1.5 13.5 10.16 4.6 36.1 7.9 16 8.5 56.4 7.17 2.4 24.8 14 17 4.5 71.6 8.28 7.2 33.1 7.6 18 6.5 52.8 10.99 6.7 47.4 8.5 19 4.1 44.1 11.210 5.4 54.1 11.3 20 5.5 40.9 9.4利用多元正态总体检验中的单正态均值向量检验方法判断“（X1,X2,X3）的均值是否等于（4，50，10）”【1】(假设总体服从正态分布，分别取检验水平为0.05、0.01)。
第三章 多元正态分布均值向量和协方差的检验
第三章多元正态分布均值向量和协方差的检验
1.基本思想和步骤
2.均值向量的检验
（1）分布：设且X与S相互独立，，则称统计量的分布为非中心分布
当时，称服从（中心）分布，记为
（2）转换为F分布：若且X与S相互独立，令，则
3.一个正态总体均值向量的检验
（1）协差阵已知，检验统计量为
（2）协差阵未知，检验统计量为
4.两个正态总体均值向量的检验
设为来自p维正态总体的容量为n的样本，
为来自p维正态总体的容量为m的样本，且两组样本相互独立
①针对共同已知协差阵，检验统计量为
②针对共同未知协差阵，检验统计量为
（2）协差阵不等
①针对n=m的情形，检验统计量为
②针对n≠m的情形，检验统计量为
5.多个正态总体均值向量的检验
（1）单因素方差分析：设k个正态总体分别为，从k个总体中取个独立样本，，假设H0成立，检验统计量为
其中，组间平方和为，组内平方和为，总平方和为，其中，
（2）若，则为X的广义方差，为样本广义方差
（3）Wilks分布：若且二者相互独立，
为Wilks统计量，分布为Wilks分布，简记为
（4）多元方差分析：检验统计量为
其中，，A为组间离差阵，E为组内离差阵，T为总离差阵，且T=A+E
6.协差阵的检验
（1）一个正态总体协差阵的检验：构造检验统计量
（2）多个协差阵相等的检验：构造检验统计量。
多元统计分析-第三章 多元正态分布
第三章 多元正态分布多元正态分布是一元正态分布在多元情形下的直接推广，一元正态分布在统计学理论和应用方面有着十分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。
多元分析中的许多理论都是建立在多元正态分布基础上的，要学好多元统计分析，首先要熟悉多元正态分布及其性质。
第一节 一元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，学习多元统计分析，首先要对随机向量和随机矩阵有所把握，为了学习的方便，先对一元统计分析中的有关概念和性质加以复习，并在此基础上推广给出多元统计分析中相应的概念和性质。
一、随机变量及概率分布函数 （一）随机变量随机变量是随机事件的数量表现，可用X 、Y 等表示。
随机变量X 有两个特点：一是取值的随机性，即事先不能够确定X 取哪个数值；二是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。
(二)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。
1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。
设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（Λ,2,1=k ）称k k p x XP ==)(（Λ,2,1=k ）为离散型随机变量X 的概率分布。
离散型随机变量的概率分布具有两个性质： （1）0≥k p ，Λ,2,1=k（2）11=∑∞=k k p2、连续型随机变量的概率分布若随机变量X 的分布函数可以表示为dt t f x F x⎰∞-=)()(对一切R x ∈都成立，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。
多元统计分析：第三章 多元正态总体参数的假设检验(补充)
第三章 多元正态总体参数的假设检验
所涉及的最大似然估计量—单个总体
ˆ X时 (4) 当 0 (0 0巳知)时, 取 似然函数达最大值:
L( X , 0 ) 2
np 2
0
n 2
n 1 etr - 0 A 2
19
第三章 多元正态总体参数的假设检验
15
第三章 多元正态总体参数的假设检验
所涉及的最大似然估计量—单个总体
单个p维正态总体Np(μ,Σ)，设X(i)(i=1,…,n)为来自p 维总体的随机样本.样本的似然函数为
L( , ) 2
np 2
1 ˆ A时, 似然函数达最大值 : ˆ X , (1)当 n n np A 2 A np L( X , ) 2 2 exp - n n 2
9
第三章 多元正态总体参数的假设检验
§3.6正态性检验--p维数据的正态性检验
D2(1)≤ D2(2) ≤…≤ D2(n) 统计量 D2 的经验分布函数取为
.
其中H(D2(t) |p)表示χ2 (p)的分布函数在D2(t)的值. 设χ2 分布的pt分位数为χt2 ,显然χt2满足: H(χt 2 |p)= pt. 即χ2 分布的pt 分位数χt2 ＝H-1(pt |p). 由经验分布得到样本的pt 分位数D2(t)=Fn-1(pt ). 若H(x|p)≌Fn(x)，应有D2(t) ≌ χt2 ,绘制点(D2(t) , χt2 )的散 布图,当X为正态总体时,这些点应散布在一条直线上. 10
(1) (1) ( 2) ( 2)
np 2
A1 A2 n
(t )
np 2 2
e
X )( X
第三章 常用概率分布之正态分布
图4.13 离均差的绝对值≤1 , 2 和3 的概率值
随机变量x在区间( μ – kσ, μ + kσ )外取值的概率P ( x<μ – kσ ) + P( x>μ + kσ )为两尾概率，记为α P ( x<μ – kσ ) + P( x>μ + kσ )=α P ( x<μ – kσ ) = P( x>μ + kσ )=α/2 两尾分位数Uα
=0.0227
0.020
fN (x)
0.020
fN (x)
0.016
0.016
0.012
0.012
0.008
P( y 40) 0.9773
P( y 26) 0.2119
0.008
0.004
0.004
0.000 10 15 20 25 30 35 40 45
0.000 10 15 20 25 30 35 40 45
第三章
常用概率分布
第一节 事件与概率 第二节 概率分布 第三节 二项式分布 第四节 正态分布 第五节 样本平均数抽样分布与标准误 第六节 t分布，x2分布和F分布
第三章
常用概率分布
第一节 事件与概率 第二节 概率分布 第三节 二项式分布 第四节 正态分布 第五节 样本平均数抽样分布与标准误 第六节 t分布，x2分布和F分布
首先计算：
查附表2，当u=－0.8时，FN(26)=0.2119，说明这 一分布从－∞到26范围内的变量数占全部变量数的 21.19%，或者说，y≤26概率为0.2119. 同理可得： FN(40)=0.9773
所以：P(26＜y≤40)=FN(40)－FN(26)=0.9773－0.2119
多元正态分布均值向量和协差阵的检验
而
Y n(X 0) ~ Np (0,)
故 T02 n(X 0)T 1(X 0) ~ 2( p)
(2)协差阵未知时，均值向量的检验
H0：＝（0 0为已知向量），H1： 1
假设H
成立，检验统计量为
0
F (n 1) p 1T 2 ~ F ( p, n p) (n 1) p
第三章 多元正态分布均值向量和
协差阵的检验
一、均值向量的检验
二、协差阵的检验
一、均值向量 •的假设检验
1、霍特林（Hotelling）T 2分布
定义1：设X ~ N p (, ),S ~ Wp (n, )，且X与S相互独立，n p,
则称统计量 T 2 nX T S 1X的分布为非中心霍特林T 2分布，
X (i) ~ N4 (1, ), i 1,2,,10； Y(i) ~ N4 (2 , ), i 1,2,,10
且两组样本相互独立，有共同未知协方差阵 0
假设检验 H0 : 1 2 , H1 : 1 2
构造统计量
F
(n＋m 2) (n＋m
p 2) p
X
～N
p
(0,
2
n
)
，
在一元统计中，若 t ~ t(n 1) 分布， 则 t2 ~ F (1, n 1) 分布，即把t分布转化为F分 布来处理，在多元统计分析中统计量也有类 似的性质。
定理1：设X ~ N p (0, ), S ~ Wp (n, )，且X与S相互独立， 令 T 2 nX T S 1 X 则 n p 1T 2 ~ F ( p, n p 1)
再由样本值计算出统计量T02，比较
若T02
经典：第三章---多元正态均值向量和协方差矩阵的检验
2020/12/16
22
1 1 0 0
令
C
1
0
1
0
1 0 0 1
则与上面的原假设等价的假设为
H0 : C 0
H1 : C 0
例 假定人类的体形有这样的一般规律：身高、胸围和
上臂围平均尺寸比例为6：4：1。检验身高、胸围和上臂 围平均尺寸比例是否符合这一规律。
(
p,
n
p)
，接受原假设。
2020/12/16
9
【例】人的出汗多少与人体内的钠和钾的含量 有一定的关系，今测量了20位成年女性的出汗 量、钠含量和钾含量。试检验：
H 0 :μ μ0 4 50 10
2020/12/16
10
例 在企业市场结构研究中，起决定作用
的指标有市场份额X1，企业规模（资产净值 总额的自然对数）X2，资本收益率X3和总收 益增长率X4。为了研究美国市场的变动，夏 菲尔德抽取了美国231个大型企业，调查这些 企业某十年的资料。假设以前企业市场结构 的均值向量为(20,7.5,10,2)’，该调查所得的 样本均值向量和样本协方差矩阵如下。
2020/12/16
2
第一节 单个总体均值向量的推断
一、均值向量的检验
设 x1, x2,, xn 是取自多元正态总体 N p (,) 的一个样
本， 0 ，现欲检验
H0 :μ μ0
H1 : μ μ0
由于总体的协方差矩阵可能未知或已知，所以在检验时
必须采用有不同的的统计量，所以我们分成两种情况来讨
2020/12/16
11
x (20.92 8.06 11.78 .639
多元正态分布
另，x1 和
1 x1 1 2 f1 ( x1 ) exp[ ( ) ] 21 2 1 2 1 1 x2 2 f 2 ( x2 ) exp 2 2 2 2 1
x2 的边际密度函数分别是
，其中 u ~ N 2 (0, I ) ，
1 0 ，则 X 的分布就是退化的三元正 A 0 1 1 1
态分布，即 x ~ N3 (0, ) ，其中
1 0 1 0 1 1 0 1 T AA 0 1 0 1 1 0 1 1 1 1 2 1 1
(2 )
p 2
1 2
1 T 1 exp (x ) (x ) 2
专业课件讲义教材PPT文档 4
设随机向量 u ~ N P (0, I ) ， 为 p 维常 数向量， A 是一个 p q 常数矩阵，则称 x Au 的分布为多元正态分布，仍记 T X ~ N ( , ) 作 ，其中 AA 。 P
专业课件讲义教材PPT文档 1
u 的均值和协方差矩阵分别为
E (u) E (u1 ),, E (u p )
V (u) E (uuT )
T
0
u12 u1u2 u1u p 1 0 0 2 u2u1 u2 u2u p 0 1 0 E I u u u u u2 0 0 1 p 2 p p 1 u 的分布称为均值为 0 ，协方差矩阵为 I 的多元正态分布，记作 u ~ N P (0, I )
第三章
第一节
多元正态分布
多元正态分布的定义
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元正态分布参数的假设检验
2 22.74 32.56 51.49 61.39 9 22.62 32.57 51.23 61.39 16 23.02 33.05 51.48 61.44
3 22.60 32.76 51.50 61.22 10 22.67 32.67 51.64 61.50 17 23.02 32.95 51.55 61.62
5
武汉理工大学统计学系唐湘晋
一、Σ已知时单个总体均值向量的检验
设 X1, X2,…, Xn 是来自正态总体 N p ( μ , Σ ) 的样本, 考虑假设: H 0 :μ = μ 0 ,
H 1 :μ ≠ μ 0
a) p = 1 b) p > 1
U 1 )
T02 = n ( X − μ 0 )′ Σ − 1 ( X − μ 0 ) .
4
武汉理工大学统计学系唐湘晋
§3.2 多元正态分布的均值向量的检验
p维正态总体 N p (μ, Σ) 的统计推断问题，包括均 值向量的检验和均值的置信域问题。 p维正态随 机向量的每一个分量都是一元正态变量，若将p 维均值向量的检验问题化为p个一元正态的均值 检验问题，虽然可以使问题简化，但忽略了p个 分量间的互相依赖关系，常常得不出正确的结 论。
13
武汉理工大学统计学系唐湘晋
解:
⎡ X 1 ⎤ ⎡ 22.82 ⎤ ⎢ ⎥ ⎢ X 2 ⎥ ⎢ 32.79 ⎥ ⎥ = X=⎢ ⎢ X 3 ⎥ ⎢ 51.45 ⎥ ⎢ ⎥ ⎢ ⎥ X 4 ⎥ ⎣ 61.38 ⎦ ⎢ ⎦ ⎣
1 21 V= ∑ (Xi − X)(Xi − X)′ 21 − 1 i=1 ⎡ 70.3076 ⎤ ⎢ −52.1469 ⎥ 73.5511 ⎥ =⎢ ⎢ 3.4462 −19.3637 ⎥ 90.4098 ⎢ ⎥ 1.2022 −33.6989 40.0895⎦ −6.9624 ⎣
多元正态分布
混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06
第三章 多元正态分布
作业
P.91 3.6
x
2
x1 和x2 的边际密度分别是
2 1 1 x1 1 f1 ( x1 ) exp 2 1 2 1 2 1 1 x2 2 f 2 ( x2 ) exp 2 2 2 2
第三章 多元正态分布
多元正态分布是一元正态分布在多元情形下 的推广，是多元统计中最重要的一个分布，多 元分析中的许多理论都是建立Байду номын сангаас多元正态分布 的基础上。
3.1多元正态分布的定义
一元回顾
定理
f X h( y) h( y ) , y , fY ( y ) 0, 其它， 其中 min(g (), g ()), max(g (), g ()), h( y )是 g ( x) 的反函数。
x1 x x , 2
1 , 2
是 x1和 x2 的相关系数。由于 易见， 故当 1 时， 0,这时有
12 1 2 2 2 1 2
2 12 2 (1 2 ),
3.2多元正态分布的性质
例子
3.3极大似然估计及估计量的性质
一、样本的联合分布概率密度
和 的极大似然估计 二、
三、相关系数的极大似然估计
简单相关系数
和 四、 的极大似然估计的性质
3.4 x 和(n 1)S 的抽样分布
一、x 的抽样分布
(n 1) S 的抽样分布 二、
2 x1 1 1 1 f ( x1 , x2 ) exp 2 2 （ 2 1 ） 21 2 1 1
第3章多元正态分布
2019/9/4
© 谢中华, 天津科技大学数学系.
例 3.2.4 设 x ~ N4 (, ) ，这里
多元统计分析
x1
1
11 12 13 14
x
x2
2
© 谢中华, 天津科技大学数学系.
二、多元正态分布的定义
多元统计分析
iid
定义3.2 设p 维随机向量 u(u1,u2, ,up),u1,u2, ,up ~N(0,1)
则 u 的密度函数为
f(u)i p1(2)12exp1 2ui2 (2)p2exp12ip1ui2
(2)
x1和
x2 x3
独立。
多元统计分析
2019/9/4
© 谢中华, 天津科技大学数学系.
多元统计分析
第三节 极大似然估计及估计量的性质
一、总体、样本、样本数据矩阵
1. 总体 x~Np(,), 0
2. 样本 x1,x2, ,xn ，其中 xixi1,xi2, ,xip,i1,2, ,n
(2)p2exp12uu, u i ,i 1 ,2 , ,p
u的均值和协方差矩阵分别为
E ( u ) ( E ( u 1 ) ,E ( u 2 ) , ,E ( u p ) ) 0
V ( u ) d i a g ( V ( u 1 ) ,V ( u 2 ) , ,V ( u p ) ) I
n
所以 f(X)f(x1,x2, ,xn) f(xi) i1
多元统计分析
(2)p| | n 2e x p 1 2i n 1(x i) 1 (x i)
多元正态分布及检验
协方差分析
以前介绍的方差分析可用于两组或多组均数间 的比较，其处理因素一般是可以控制的。方差 分析要求各比较组除了所施加的处理因素不同 外，其他对观察指标有影响得因素齐同或均衡， 即要求控制对观察指标有影响的其它因素。在 实际工作中，有时有些因素无法加以控制，或 由于实验设计的疏忽、实验条件的限制等原因， 造成对观察指标有影响的个别因素未加控制或 难以控制。此时用方差分析不合适，应考虑用 协方差分析。
x1i x2i
x1i n
n 1
x2i
12 21 /
11 22 r12
x1ix2i
x1i
x2i
n
x2
1i
x1i
2
n
x2 2i
x2i
2
n
协方差阵与逆阵
11 21
12
22
1
1
11
22
2 12
22
12
21
11
1122
2 12
11 22
N k m ni nj
Di2j
F
一组资料（单样本）
对于单变量且服从正态分布资料的样本 与总体的比较，
变形
t = (X - m0) = n (X - m0)
S/ n
S
t2 = n(X - m0)S- 2 (X - m0)
当为多元资料时，此公式推广为HoTt2eling
T 2 = n(X - ) m0 ' S- (X - m0)
( ) ( ) T 2 = n1n2
n1 + n2
X1 -
X2
Sc- 1
X1 -
X2
其中 X1, X2为样本均数向量，S1, S2 为样本协方差阵， Sc 为合并 样本协方差阵。
第三章正态分布.
第三章 正态分布一、教学大纲要求(一) 掌握内容1．正态分布的概念和特征 （1）正态分布的概念和两个参数； （2）正态曲线下面积分布规律。
2．标准正态分布标准正态分布的概念和标准化变换。
3．正态分布的应用 （1）估计频数分布； （2）制定参考值范围。
(二) 熟悉内容 标准正态分布表。
(三) 了解内容1．利用正态分布进行质量控制 2．正态分布是许多统计方法的基础二、教学内容精要(一)正态分布 1.正态分布若X 的密度函数（频率曲线）为正态函数（曲线）2．正态分布的特征服从正态分布的变量的频数分布由μ、σ完全决定。
(1)μ是正态分布的位置参数，描述正态分布的集中趋势位置。
正态分布以x μ=为对称轴，左右完全对称。
正态分布的均数、中位数、众数相同，均等于μ。
(2)σ描述正态分布资料数据分布的离散程度，σ越大，数据分布越分散，σ越小，数据分布越集中。
σ也称为是正态分布的形状参数，σ越大，曲线越扁平，反之，σ越小，曲线越瘦高。
(二)标准正态分布1．标准正态分布是一种特殊的正态分布，标准正态分布的0=μ，12=σ ，通常用u（或Z ）表示服从标准正态分布的变量，记为u ～N （0，21）。
2．标准化变换：σμ-=X u ，此变换有特性：若X 服从正态分布),(2σμN ，则u 就服从标准正态分布，故该变换被称为标准化变换。
3. 标准正态分布表标准正态分布表中列出了标准正态曲线下从-∞到u 范围内的面积比例()u Φ。
（三）正态曲线下面积分布1．实际工作中，正态曲线下横轴上一定区间的面积反映该区间的例数占总例数的百分比，或变量值落在该区间的概率（概率分布）。
不同),(21X X 范围内正态曲线下的面积可用公式3-2计算。
)()(2112)22(2)(21u u dx eD X X X Φ-Φ==--⎰σμπσ （3-2）1212X X u u μμσσ--==其中， ， 。
2.几个重要的面积比例X 轴与正态曲线之间的面积恒等于1。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.简单相关系数
❖ 相关系数ρij的极大似然估计为
n
rij
ˆij
ˆii ˆ jj
sij
sii s jj
(xki xi )(xkj x j )
k 1
n
n
(xki xi )2
(xkj x j )2
k 1
k 1
其中 Σˆ
ˆij
,x
则
y : Nr Cμ b,CΣC
➢ 该性质表明，（多元）正态变量的任何线性变换仍 为（多元）正态变量。
❖ 例3.2.2 设x~Np (μ, Σ)，a为p维常数向量，则由上 述性质（2）或（3）知，
ax : N aμ,aΣa
❖ （4）设x~Np (μ, Σ)，则x的任何子向量也服从（多 元）正态分布，其均值为μ的相应子向量，协方差 矩阵为Σ的相应子矩阵。
3 0 0
Σ
0 0
5 1
11
则x2和x3不独立，x1和(x2,x3)独立。
❖ *（8）略
❖ *（9）略
❖ *（10）略
❖ （11）设x~N p (μ, Σ), Σ>0，作如下剖分
x
x1 x2
k p
, k
μ
μ1 μ2
k p
ijgk 1,L , p
ijgk 1,L , p
,
iigk 1,L , p jjgk 1,L , p
1 i, j k
其中Σ11g2 ijgk1,L , p 。
❖ ρij∙k+1,⋯,p度量了剔除xk+1, ⋯,xp的（线性）影响之后， xi和xj间相关关系的强弱。
➢ 该性质说明了多元正态分布的任何边缘分布仍为 （多元）正态分布。
➢ 需注意，随机向量的任何边缘分布皆为（多元）正 态分布未必表明该随机向量就服从多元正态分布。 例2.2.2就是这样的一个反例。
❖ 还需注意，正态变量的线性组合未必就是正态变量。
➢ 这是因为：
x1,x2, ⋯,xn均为一元正态变量 ⟸(⇏)x1,x2, ⋯,xn的联合分布为多元正态分布 ⟺x1,x2, ⋯,xn的一切线性组合是一元正态变量 ❖ 例3.2.4 设x~N4(μ, Σ)，这里
（ii）
x1 x4
:
N
2
1 4
,
11 41
14 44
；
x4
4 44 41 43
（iii）
x1 x3
:
N
3
1 3
第三章 多元正态分布
❖ §3.1 多元正态分布的定义 ❖ §3.2 多元正态分布的性质 ❖ §3.3 复相关系数和偏相关系数 ❖ §3.4 极大似然估计及估计量的性质 ❖ §3.5 x 和(n − 1) S的抽样分布 ❖ *§3.6 二次型分布
§3.1 多元正态分布的定义
❖ 一元正态分布N(μ,σ2)的概率密度函数为
, 1
Σ
11
σ21
1
σ21 1
Σ
22
p
1
p 1
❖ x1和x2的线性函数 lx2间的最大相关系数称为 x1和x2 间的复(或多重)相关系数(multiple correlation
coefficient)，记作ρ1∙2,⋯,p, 它度量了一个变量x1与一 组变量x2, ⋯,xp间的相关程度。
❖ 可推导出
1g2,L
,p
max l0
x1, lx2
σ
21
Σ
σ 1
22 21
11
1
2
❖ 例3.3.1 随机变量x1,⋯,xp的任一线性函数F=l1x1+⋯+
lp xp与x1,⋯,xp的复相关系数为1。
➢ 证明
Q
F g1,L
,p
max a0
❖ 对于多元正态变量x，由于Σ11∙2也是条件协方差矩阵 ，故此时偏相关系数与条件相关系数是同一个值，
从而ρij∙k+1,⋯,p同时也度量了在xk+1, ⋯,xp值给定的条件 下xi和xj间相关关系的强弱。
§3.4 极大似然估计及估计量的性质
❖ 本课程第二章和第三章前三节的内容属概率论的范 畴。
❖ 从第三章§3.4 开始的内容属数理统计的范畴，特点 是推断和分析从样本出发。
12 1 2
1 2
2 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
2
x1 1 1
❖ 一、复相关系数 ❖ 二、偏相关系数
一、复相关系数
❖ （简单）相关系数度量了一个随机变量x1与另一个 随机变量x2之间线性关系的强弱。
❖ 复相关系数度量了一个随机变量x1与一组随机变量 x2, ⋯,xp之间线性关系的强弱。
❖ 将x, Σ(>0)剖分如下：
x
x1 x2
1 p
x1, x2,L
, xp
,S
1 A n 1
sij
。
称S为样本协方差矩阵、rij为样本相关系数、Rˆ rij
为样本相关矩阵。
2.复相关系数
❖ 将x, Σ(>0),S剖分如下：
x
f x
1
x 2
e 2 2
2
2 1 2
2
1
2
exp
1 2
x
2
1 x ,
x
❖ 若随机向量 x (x1, x2,L , xp )的概率密度函数为
f
x 2 p
2
Σ
x1
1
11 12 13 14
x
x2
,
μ
2
,
Σ
21
22
23
24
x3
3
31 32 33 34
x4
4
41
42
43
44
则
（i） xi : N i ,ii , i 1,2,3,4；
,
14 34
11 31
13 33
。
§3.2 多元正态分布的性质
❖ （5）设x1,x2, ⋯,xn相互独立，且xi~N p (μi, Σi) ， i=1,2,⋯,n，则对任意n个常数，有
n
ki xi :
N
p
n
ki μi ,
n
ki2
Σi
F, a1x1 L
apxp
F,l1x1 L lpxp 1
F g1,L , p 1
二、偏相关系数
❖ 将x, Σ(>0)剖分如下：
x
x1 x2
k p
k
,
Σ
Σ11 Σ 21
Σ12 k
Σ
2
2
p
k
k pk
称Σ11g2 Σ11 Σ12 Σ221Σ21为给定x2时x1的偏协方差矩
❖令
x1 x11 x12 L x1p
X
x2
x21
x22
L
x2
p
M M M
M
xn
xn1
xn 2
L
xnp
称之为（样本）数据矩阵或观测值矩阵。
一、样本x1,x2, ⋯,xn的联合概率密度
❖ 极大似然估计是通过似然函数来求得的，似然函数
可以是样本联合概率密度 f (x1,x2,⋯,xn)的任意正常 数倍，我们不妨取成相等，记为L(μ, Σ)。可具体表 达为：
n
L μ, Σ f x1, x2,L , xn f xi i1
n
2 p 2
i1
Σ
1
2
exp
1 2
xi
μ
Σ
n i1
xi x 2
L μˆ, Σˆ max L μ, Σ μ,Σ
μˆ x, Σˆ 1 A n
其中x 称为样本均值向量（简称为样本均值），
n
A xi x xi x 称为样本离差矩阵。 i 1
三、相关系数的极大似然估计
❖ 1. ❖ 2. ❖ 3.偏相关系数
k
,
Σ
Σ11 Σ 21
Σ12 k
Σ
2
2
p
k
k pk
则给定x2时x1的条件分布为 Nk μ1g2 , Σ11g2 ，其中