第二章多元正态分布及参数的估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则称 E( X ) ( E( X1 ), E( X 2 ), 容易推得均值（向量）具有以下性质： （1） E ( AX ) AE ( X ) （2） E ( AXB) AE ( X ) B （3） E ( AX BY ) AE ( X ) BE (Y ) 其中， X 、 Y 为随机向量， A 、 B 为大小适合运算的常数矩阵。
若 X ( X1, X 2 , , X p ) 的协差阵存在，且每个分量的方差大于零，则称随 机向量 X 的相关阵为 R Corr ( X ) ( ij ) p p ，其中
ij
Cov( X i , X j ) D( X i ) D( X j )
ij ii jj
简记为 X。 定义 2.1 将 p 个随机变量 X1 , X 2 , 维随机向量，记为 X ( X1 , X 2 ,
, X p 的整体称为 p
, X p ) 。
二、多元分布
定义 2.2 设 X ( X1 , X 2 ,
, X p ) 是 p 维随机向量，它 , X p xp )
（2.2）
定 义 2.7 设 X ( X1 , X 2 ,
, X p ) ， Y (Y1, Y2 , Cov( X,Y )E( X E(Y ))( X E(Y ))
, Yp ) ， 称
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov ( X 1 , Y p ) Cov( X 1 , Y1 ) Cov ( X 1 , Y2 ) Cov ( X , Y ) Cov ( X , Y ) Cov ( X , Y ) 2 1 2 2 2 p （2.5） Cov( X , Y ) Cov ( X , Y ) Cov ( X , Y ) p 1 p 2 p p 当 X = Y 时，即为 D( X ) 。 若 Cov( X , Y ) 0 ，则称 X 和 Y 不相关.
i, j 1,, p
（2.6）
为 X i 与 X j 的相关系数。
四、欧氏距离和马氏距离
（一）欧氏距离
X x1 , x2 , , x p 和Y y1 , y2 ,
2
之间的欧氏距离为 , y p
2
d X ,Y
平方欧氏距离为
x1 y1 x2 y2
D( X ) Cov( X, X )E( X E( X ))( X E( X ))
Cov( X 1 , X p ) Cov( X 1 , X 1 ) Cov( X 1 , X 2 ) Cov( X 2 , X 1 ) Cov( X 2 , X 2 ) Cov( X 2 , X p ) （2.4） Cov( X , X ) Cov( X , X ) Cov ( X , X ) p 1 p 2 p p 为 X 的方差或协差阵，有时把 D( X ) 简记为 Σ ， Cov( X i , X j ) 简记为 ij ，
表示对第 j 个变量 X j Байду номын сангаас n 次观测数值。
因此，表 2.1 所反映出的样本资料可用矩阵表示为
X 11 X 21 X X n1 X 12 X 22 X n2 X1 p X (1) X2p X (2) ( X 1 , X 2， ，X p ) X np X (n) （2.1）
马哈拉诺比斯（Mahalanobis，1936年）提出的“马氏距离”的概 念。
（二）马氏距离 X x1 , x2 , , x p 和Y y1 , y2 ,
X x1 , x2 ,
, y p 之间的平方马氏
距离定义为 d 2 X ,Y X Y Σ 1 X Y
xp yp
2
d
2
X ,Y x1 y1 x2 y2
2
2
xp yp
2
X Y X Y
欧氏距离经变量的标准化之后能够消除各变量的单位或方差 差异的影响，但不能消除变量之间相关性的影响，以致有时用欧
氏距离显得不太合适。为此，我们引入一个由印度著名统计学家
x1 xp
, xp ) ，若存在一个非负函数
f ( x1 , x2 ,, x p ) ， 使 得 对 一 切 x ( x1, x2 , , xp ) R p 有
F ( x)F ( x1 , x2 , , x p )
f (t , t ,
1 2
, t p )dt1
dt p （2.3）
，而全体n个样品组成一个样本。
表 2.1 变量 序号 1 2
数据
X1
X2
Xp
X 11
X 12 X 22
X1 p X2 p
X 21
n
X n1
X n2
X np
在这里横看表 2.1，记为
,X p )， 1, 2 , n, 表示第 个样品的观测值。竖看表 2.1，第 j 列的元素 X j ( X1 j , X 2 j , , X nj ) ， j 1, 2 , p, X ( ) ( X 1, X 2,
, x p 到总体π 的平方马氏距离定义为 d 2 X , X μ Σ 1 X μ
第二节 多元正态分布
一、多元正态分布的定义
我们先来回顾一元正态分布的密度函数，即为
1 2 f ( x) e 2 , 0 2 上式可以改写为 1 1 2 1 （2.8） f ( x) exp ( x ) ( ) ( x ) 1/ 2 2 1/ 2 (2 ) ( ) 2 由于（ 2.8）式中的 x ， 均为一维的数字，可以用 ( x ) 代表 ( x ) 的转置。 定义 2.8 若 p 维随机向量 X ( X1, , X p ) 的密度函数为：
设X X1, 定义2.5 ：
2
定X X X X ,
1 1
, X p 是p维连续型的随机向量，在给 2 , X p f 2 x 0 的条件下， q 1 , , X q 的条件密度定义为：
, xp
f x1 ,
, xq | xq 1 ,
, xq , ,
, )
当 X 有分布密度 f ( x1 , x2 ,, x p ) 时（亦称联合分布密度函数） ，则
X (1) 也有分布密度，即边缘密度函数为：
f1 ( x1 , x2 ,, xq ) f ( x1 ,, x p )dxq1 ,, dxp
从而有 Σ ( ij ) p p 。
协差阵Σ 既包含了x各分量的方差，也包含了每两个分量之 间的协方差。显然，Σ 是一个对称矩阵。
例 :随机向量一分为二后，其协差阵分为四块：
Cov X ,Y X D X D D Y Y Cov Y , X
分布，或虽本身不是正态分布，但它的样本均值近似于正态分
布。因此现实世界中许多实际问题的解决办法都是以总体服从 正态分布或近似正态分布为前提的。 在实际问题中，多元正态分布中均值向量和协差阵通常是 未知的，一般的做法是由样本来估计。
第一节 基本概念
一、随机向量
我们所讨论的是多个变量的总体。我们把这个p指标表示
则称 X 为连续型随机变量，称 f ( x1 , x2 ,, x p ) 为分布密度函 数，简称为密度函数或分布密度。 一个 p 元函数 f ( x1 , x2 ,, x p ) 能作为 R p 中某个随机向量的密 度函数的主要条件是：
（1） f ( x1 , x2 ,, x p ) 0 ， ( x1 , x2 ,, x p ) R p ；
其中，对角线块为子向量的协差阵，非对角线块为两个子向 量之间的协差阵。
协差阵的性质
当 A 、 B 为常数矩阵时，由定义可以推出协方差阵有 如下性质： （1）对于常数向量 a ，有 D( X a) D( X ) （2） D( AX ) AD( X ) A AΣA （3） Cov( AX , BY ) ACov( X , Y ) B 这里我们应该注意到，对于任何的随机向量 X ( X1 , X 2 , , X p ) 来说，其协差阵 Σ 都是对称阵，同时 总是非负定（半正定）的，大多数情况是正定的。
的多元分布函数定义为
F ( x)F ( x1, x2 ,
, xp ) P( X1 x1, X 2 x2 ,
记为 X ~ F ( x ) ，其中 x ( x1, x2 ,
p , xp ) R ，多维随
机向量的统计特性可用它的分布函数来完整地描述。
定义 2.3 设 X ~ F ( x)F ( x1, x2 ,
为X1
，X2，„，Xp，常用向量 X X 1 , X 2 ,
, X p 表示对同一
个体观测的p个变量。 如果构成总体的个体是具有p个需要观测指标的个体，我 们称这样的总体为p维总体（或p元总体）。这里“维”（或 “元”）的概念，表示共有几个分量。若观测了n个个体，则 可得到如表2.1的数据，称每一个个体的p个变量为一个样品
当 X 的分布函数是 F ( x1, x2 , 数为： F ( x1, x2 ,
X (1) 的分布函数即边缘分布函 , xq ) 时，
, xq ) P( X1 x1,
, X q xq ) , X q xq , X q1 , , X p )
P( X1 x1,
F ( x1, x2 ,
第二章 多元正态分布及参数的估计
多元统计分析涉及到的都是随机向量或多个随机向量放在 一起组成的随机矩阵。 如研究国家财政收入时，税收收入、企业收入、债务收入 、国家能源交通重点建设基金收入、基本建设贷款归还收入、 国家预算调节基金收入、其他收入等都是需要同时考察的指标 。 在实用中遇到的随机向量常常是服从正态分布或近似正态
f 2 xq 1 ,
f x1 ,
, xp
, xp
或表达为
f x |x
1
(2)
f x
(2) 2
f x
独立性 • 两个连续型随机向量的独立
f x , y f X x fY y
• n个连续型随机向量的独立
f x1 , , xn f1 x1
认为它们之间是相互独立的。
f n xn
• 在实际应用中，若随机向量之间的取值互不影响，则
三、随机向量的数字特征
定义 2.6 设 X ( X1 , X 2 ,
, X p ) ，若 E ( X i ) (i 1, , p) 存在且有限，
, E( X p )) 为 X 的均值（向量）或数学期 望，有时也把 E ( X ) 和 E ( X i ) 分别记为 μ 和 i ，即 μ (1 , 2 , , p ) ，
X 的边缘（或边际）分布，相对地把 X 的分布称为联合分布。 通过变换 X 中各分量的次序，总可假定 X (1) 正好是 X 的前 q 个
分量，其余 p q 个分量为 X
(2)
X ，则 X (2) ， X p q
(1)
q
x (1) 相应的取值也可分为两部分 x (2) 。 x
（2）
f ( x , x ,, x
1 2
p
)dx1 dxp 1
定义 2.4 设 X ( X1 , X 2 ,
称由它 , X p ) 是 p 维随机向量，
的 q( p) 个分量组成的子向量 X (i ) ( X i1 , X i2 ,
, X iq ) 的分布为
若 X ( X1, X 2 , , X p ) 的协差阵存在，且每个分量的方差大于零，则称随 机向量 X 的相关阵为 R Corr ( X ) ( ij ) p p ，其中
ij
Cov( X i , X j ) D( X i ) D( X j )
ij ii jj
简记为 X。 定义 2.1 将 p 个随机变量 X1 , X 2 , 维随机向量，记为 X ( X1 , X 2 ,
, X p 的整体称为 p
, X p ) 。
二、多元分布
定义 2.2 设 X ( X1 , X 2 ,
, X p ) 是 p 维随机向量，它 , X p xp )
（2.2）
定 义 2.7 设 X ( X1 , X 2 ,
, X p ) ， Y (Y1, Y2 , Cov( X,Y )E( X E(Y ))( X E(Y ))
, Yp ) ， 称
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov ( X 1 , Y p ) Cov( X 1 , Y1 ) Cov ( X 1 , Y2 ) Cov ( X , Y ) Cov ( X , Y ) Cov ( X , Y ) 2 1 2 2 2 p （2.5） Cov( X , Y ) Cov ( X , Y ) Cov ( X , Y ) p 1 p 2 p p 当 X = Y 时，即为 D( X ) 。 若 Cov( X , Y ) 0 ，则称 X 和 Y 不相关.
i, j 1,, p
（2.6）
为 X i 与 X j 的相关系数。
四、欧氏距离和马氏距离
（一）欧氏距离
X x1 , x2 , , x p 和Y y1 , y2 ,
2
之间的欧氏距离为 , y p
2
d X ,Y
平方欧氏距离为
x1 y1 x2 y2
D( X ) Cov( X, X )E( X E( X ))( X E( X ))
Cov( X 1 , X p ) Cov( X 1 , X 1 ) Cov( X 1 , X 2 ) Cov( X 2 , X 1 ) Cov( X 2 , X 2 ) Cov( X 2 , X p ) （2.4） Cov( X , X ) Cov( X , X ) Cov ( X , X ) p 1 p 2 p p 为 X 的方差或协差阵，有时把 D( X ) 简记为 Σ ， Cov( X i , X j ) 简记为 ij ，
表示对第 j 个变量 X j Байду номын сангаас n 次观测数值。
因此，表 2.1 所反映出的样本资料可用矩阵表示为
X 11 X 21 X X n1 X 12 X 22 X n2 X1 p X (1) X2p X (2) ( X 1 , X 2， ，X p ) X np X (n) （2.1）
马哈拉诺比斯（Mahalanobis，1936年）提出的“马氏距离”的概 念。
（二）马氏距离 X x1 , x2 , , x p 和Y y1 , y2 ,
X x1 , x2 ,
, y p 之间的平方马氏
距离定义为 d 2 X ,Y X Y Σ 1 X Y
xp yp
2
d
2
X ,Y x1 y1 x2 y2
2
2
xp yp
2
X Y X Y
欧氏距离经变量的标准化之后能够消除各变量的单位或方差 差异的影响，但不能消除变量之间相关性的影响，以致有时用欧
氏距离显得不太合适。为此，我们引入一个由印度著名统计学家
x1 xp
, xp ) ，若存在一个非负函数
f ( x1 , x2 ,, x p ) ， 使 得 对 一 切 x ( x1, x2 , , xp ) R p 有
F ( x)F ( x1 , x2 , , x p )
f (t , t ,
1 2
, t p )dt1
dt p （2.3）
，而全体n个样品组成一个样本。
表 2.1 变量 序号 1 2
数据
X1
X2
Xp
X 11
X 12 X 22
X1 p X2 p
X 21
n
X n1
X n2
X np
在这里横看表 2.1，记为
,X p )， 1, 2 , n, 表示第 个样品的观测值。竖看表 2.1，第 j 列的元素 X j ( X1 j , X 2 j , , X nj ) ， j 1, 2 , p, X ( ) ( X 1, X 2,
, x p 到总体π 的平方马氏距离定义为 d 2 X , X μ Σ 1 X μ
第二节 多元正态分布
一、多元正态分布的定义
我们先来回顾一元正态分布的密度函数，即为
1 2 f ( x) e 2 , 0 2 上式可以改写为 1 1 2 1 （2.8） f ( x) exp ( x ) ( ) ( x ) 1/ 2 2 1/ 2 (2 ) ( ) 2 由于（ 2.8）式中的 x ， 均为一维的数字，可以用 ( x ) 代表 ( x ) 的转置。 定义 2.8 若 p 维随机向量 X ( X1, , X p ) 的密度函数为：
设X X1, 定义2.5 ：
2
定X X X X ,
1 1
, X p 是p维连续型的随机向量，在给 2 , X p f 2 x 0 的条件下， q 1 , , X q 的条件密度定义为：
, xp
f x1 ,
, xq | xq 1 ,
, xq , ,
, )
当 X 有分布密度 f ( x1 , x2 ,, x p ) 时（亦称联合分布密度函数） ，则
X (1) 也有分布密度，即边缘密度函数为：
f1 ( x1 , x2 ,, xq ) f ( x1 ,, x p )dxq1 ,, dxp
从而有 Σ ( ij ) p p 。
协差阵Σ 既包含了x各分量的方差，也包含了每两个分量之 间的协方差。显然，Σ 是一个对称矩阵。
例 :随机向量一分为二后，其协差阵分为四块：
Cov X ,Y X D X D D Y Y Cov Y , X
分布，或虽本身不是正态分布，但它的样本均值近似于正态分
布。因此现实世界中许多实际问题的解决办法都是以总体服从 正态分布或近似正态分布为前提的。 在实际问题中，多元正态分布中均值向量和协差阵通常是 未知的，一般的做法是由样本来估计。
第一节 基本概念
一、随机向量
我们所讨论的是多个变量的总体。我们把这个p指标表示
则称 X 为连续型随机变量，称 f ( x1 , x2 ,, x p ) 为分布密度函 数，简称为密度函数或分布密度。 一个 p 元函数 f ( x1 , x2 ,, x p ) 能作为 R p 中某个随机向量的密 度函数的主要条件是：
（1） f ( x1 , x2 ,, x p ) 0 ， ( x1 , x2 ,, x p ) R p ；
其中，对角线块为子向量的协差阵，非对角线块为两个子向 量之间的协差阵。
协差阵的性质
当 A 、 B 为常数矩阵时，由定义可以推出协方差阵有 如下性质： （1）对于常数向量 a ，有 D( X a) D( X ) （2） D( AX ) AD( X ) A AΣA （3） Cov( AX , BY ) ACov( X , Y ) B 这里我们应该注意到，对于任何的随机向量 X ( X1 , X 2 , , X p ) 来说，其协差阵 Σ 都是对称阵，同时 总是非负定（半正定）的，大多数情况是正定的。
的多元分布函数定义为
F ( x)F ( x1, x2 ,
, xp ) P( X1 x1, X 2 x2 ,
记为 X ~ F ( x ) ，其中 x ( x1, x2 ,
p , xp ) R ，多维随
机向量的统计特性可用它的分布函数来完整地描述。
定义 2.3 设 X ~ F ( x)F ( x1, x2 ,
为X1
，X2，„，Xp，常用向量 X X 1 , X 2 ,
, X p 表示对同一
个体观测的p个变量。 如果构成总体的个体是具有p个需要观测指标的个体，我 们称这样的总体为p维总体（或p元总体）。这里“维”（或 “元”）的概念，表示共有几个分量。若观测了n个个体，则 可得到如表2.1的数据，称每一个个体的p个变量为一个样品
当 X 的分布函数是 F ( x1, x2 , 数为： F ( x1, x2 ,
X (1) 的分布函数即边缘分布函 , xq ) 时，
, xq ) P( X1 x1,
, X q xq ) , X q xq , X q1 , , X p )
P( X1 x1,
F ( x1, x2 ,
第二章 多元正态分布及参数的估计
多元统计分析涉及到的都是随机向量或多个随机向量放在 一起组成的随机矩阵。 如研究国家财政收入时，税收收入、企业收入、债务收入 、国家能源交通重点建设基金收入、基本建设贷款归还收入、 国家预算调节基金收入、其他收入等都是需要同时考察的指标 。 在实用中遇到的随机向量常常是服从正态分布或近似正态
f 2 xq 1 ,
f x1 ,
, xp
, xp
或表达为
f x |x
1
(2)
f x
(2) 2
f x
独立性 • 两个连续型随机向量的独立
f x , y f X x fY y
• n个连续型随机向量的独立
f x1 , , xn f1 x1
认为它们之间是相互独立的。
f n xn
• 在实际应用中，若随机向量之间的取值互不影响，则
三、随机向量的数字特征
定义 2.6 设 X ( X1 , X 2 ,
, X p ) ，若 E ( X i ) (i 1, , p) 存在且有限，
, E( X p )) 为 X 的均值（向量）或数学期 望，有时也把 E ( X ) 和 E ( X i ) 分别记为 μ 和 i ，即 μ (1 , 2 , , p ) ，
X 的边缘（或边际）分布，相对地把 X 的分布称为联合分布。 通过变换 X 中各分量的次序，总可假定 X (1) 正好是 X 的前 q 个
分量，其余 p q 个分量为 X
(2)
X ，则 X (2) ， X p q
(1)
q
x (1) 相应的取值也可分为两部分 x (2) 。 x
（2）
f ( x , x ,, x
1 2
p
)dx1 dxp 1
定义 2.4 设 X ( X1 , X 2 ,
称由它 , X p ) 是 p 维随机向量，
的 q( p) 个分量组成的子向量 X (i ) ( X i1 , X i2 ,
, X iq ) 的分布为