多元统计分析课件随机向量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ki k j cov X i , X j
i 1 j 1 n n n
证明
由独立性可得，
ki2 cov X i , X i ki2V ( xi )
j 1 i 1
n
例3 设随机向量 X ( X1 , X 2 , X 3 ) / 的数学期望和协方差矩 5 4 1 2 阵分别为 2 和 1 9 3 7 2 3 25 令y1=2x1−x2+4x3,y2=x2−x3,y3=x1+3x2−2x3,试求y=(y1,y2,y3)′的
, X q 的条件密度定义为：
, xp
f x1 ,
, xq | xq1 ,
f x
2
f x1 ,
q 1
, xp ,
, xp
或表达为：
f x1 | x 2
f x
f 2 x 2
五、独立性
两个连续型随机向量的独立
二、协方差矩阵
协方差定义为
Cov X ,Y E X E X Y E Y
若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的随机 变量未必独立。 当X=Y时，协方差即为方差，也就是
Cov X , X Var X
E X E X ij
随机矩阵X的数学期望的性质
(1)设a为常数，则
E(aX)=aE(X)
(2)设A,B,C为常数矩阵，则
E(AXB+C)=AE(X)B+C
特别地，对于随机向量X，有
E(AX)=AE(X)
(3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则 E(X1+X2+⋯+ Xn)=E(X1)+E(X2)+⋯+E(Xn)
m n n m Cov Ai X i , B jY j Ai Cov X i ,Y j Bj j 1 i 1 i 1 j 1 m n n m 推论 Cov X i , Y j Cov X i, Y j j 1 i 1 i 1 j 1
1
11
0
0 1
0 0
22
0
0
1
pp
标准化变换
在数据处理时，常常因各变量的单位不完全相同而需要对 每个变量作标准化变换，最常用的标准化变换是令
X
* i
* * 记 X * ( X1 , X2 ,
X i i
ii
, i 1, 2,
数学期望和协方差矩阵。
2 1 4 X 1 Y 0 1 1 X 2 AX , 1 3 2 X 3 E (Y ) AE ( X ) ( 40, 9, 15) / , 477 126 256 V (Y ) AV ( X ) A / 126 40 91 . 256 91 219
前述关系式即为:
R 1
ij
ii jj
11
0
0 1
0 0
22
0
0
1
pp
12 11 21 22 p1 p 2
1p 2 p pp
, y p 之间的欧氏距离为:
, x p ) 0， 对一切实数x1 ,
, x p；
f ( x1 ,
, x p )d x1
d x p 1。
三、边缘分布
设X是p维随机向量，由它的q(<p) 个分量组成的
向量X(1)的分布称为X的关于X(1)的边缘分布。
不妨设 X 1 X1 , , X q ，则对连续型的分布，有
1 21 R p1
12
1
p2
2 p 1
1 p
R=(ρij)和Σ =(σij)之间有关系式：R=D−1ΣD−1 其中 D diag( 11 , 22 ,
, pp ) 。
R和Σ的相应元素之间的关系式为:
ij
,Yq E Yq
Biblioteka Baidu E X E X Y E Y
X和Y的协方差矩阵与Y和X的协方差矩阵互为转置关系，
Cov Y , X 即有 Cov X ,Y
若Cov(X,Y)=0，则称X和Y不相关。两个独立的随机向量 必然不相关，但两个不相关的随机向量未必独立。 X=Y时的协差阵Cov(X,X)称为X的协方差矩阵，记作V(X)，
,p
，于是 , X* p)
E X * 0, V X * R
即标准化后的协差阵正好是原始向量的相关阵。可见，相 关阵R也是一个非负定阵。
§2.4 欧氏距离和马氏距离 一、欧氏距离
二、马氏距离
一、欧氏距离
x x1 , x2 ,
, x p 和y y1, y2 ,
2
X E X X E X 即 VX E V X1 Cov x1 , x2 Cov X , X V x2 2 1 Cov X p , X 1 Cov x p , x2 Cov X 1 , X p Cov X 2 , X p V Xp
三、相关矩阵
随机变量X和Y的相关系数定义为:
X ,Y
X ( X1 , X 2 ,
义为:
Cov X ,Y V X V Y
,Yq ) 的相关阵定
X 2 ,Yq X p ,Yq
, X p )和Y (Y1 ,Y2 ,
一、数学期望（均值）
随机向量 X ( X1 , X 2 , , X p )的数学期望 记为μ=(μ1,μ2,⋯,μp)′。
E X E X1 , E X 2 , ,E Xp
随机矩阵X=(Xij)的数学期望
E X11 EX 21 E X p1 E X 12 E X 22 E X p2 E X 1q E X 2q E X pq
V(X)亦记作Σ=(σij)，其中σij=Cov(Xi,Xj)。
协差阵Σ既包含了X各分量的方差，也包含了每两个分
量之间的协方差。显然，Σ是一个对称矩阵。
例1 随机向量一分为二后，其协差阵分为四块：
Cov X ,Y X VX V V Y Y Cov Y , X
附2 随机向量
§2.1 一元分布
§2.2 多元分布
§2.3 数字特征 §2.4 欧氏距离和马氏距离 §2.5 随机向量的变换 §2.6 特征函数（不讲）
§2.2 多元分布
一、多元概率分布 二、多元概率密度函数 三、边缘分布 四、条件分布 五、独立性
一、多元概率分布
随机向量：元素为随机变量的向量。
f x , y f X x fY y
n个连续型随机向量的独立
f x1 ,
, xn f1 x1
f n xn
在实际应用中，若随机向量之间的取值互不影响，则
认为它们之间是相互独立的。
§2.3 数字特征
一、数学期望（均值） 二、协方差矩阵 三、相关矩阵
x
d F x f x dx
, t p )d t1 dtp
多元的情形：
F ( x1 , , xp)
x1
xp
f ( t1 ,
f ( x1 ,
p , xp) F ( x1 , x1 x p
, xp)
多元概率密度函数f (x1, ⋯,xp) ：
(1) f ( x1 , (2)
n n
协差阵的性质
（5）设k1,k2, ⋯,kn是n个常数，X1,X2, ⋯,Xn是n个相互独 立的p维随机向量，则
n n 2 V ki X i ki V X i i 1 i 1 n n n V ki X i cov( ki X i , ki X i ) i 1 i 1 i 1
V aX b a 2V X
（3）设A和B为常数矩阵，则
Cov AX , BY A Cov X ,Y B
例2 Σ 0 X 的各分量间存在线性关系（依概率1）。
协差阵的性质
（4）设 A1 , A2 , , An和B1 , B2 , , Bm 为常数矩阵，则
其中，对角线块为子向量的协差阵，非对角线块 为两个子向量之间的协差阵。熟悉这四块子矩阵的含 义很有益处。
协差阵的性质
（1）协差阵是非负定阵，即Σ≥0。 推论 若|Σ|≠0，则Σ>0。 （2）设A为常数矩阵，b为常数向量，则
V AX b AV X A
当p=1时，上述等式就是我们熟知的如下等式：
f1 ( x1 ,
, xq )
f ( x1 ,
, x p )d xq1
d xp
四、条件分布
设 X X1 , , X p 是p维连续型的随机向量，在给 定 X 2 X q1 , , X p , f 2 x 2 0 的条件下，
X 1 X1 ,
随机矩阵：元素为随机变量的矩阵。 随机变量X的分布函数：
F x P X a
随机向量 X X1 , X 2 , , X p
的分布函数：
F x1 , x2 ,
, x p P X 1 x1 , X 2 x2 ,
, X p xp
二、多元概率密度函数
一元的情形： F ( x ) f t d t ,
X1 ,Y2 X 2 ,Y2 X p ,Y2
X1 ,Y1 X ,Y 2 1 X ,Y X p ,Y1
X1 ,Yq
若ρ(X,Y)=0，则表明X和Y不相关。 X=Y时的相关阵ρ(X,X)称为X的相关阵，记作R=(ρij)， 这里ρij=ρ(Xi,Xj), ρii=1。即
证明
m n Cov X i , Y j j 1 i 1
m m E X i E X i Y j E Y j i 1 i 1 j 1 j 1 n m n m E X i E X i Y j E Y j Cov X i ,Y j i 1 j 1 i 1 j 1
X X1 , X 2 ,
, X p 和Y Y1 ,Y2 ,
,Yq 的协方差矩阵（简
称协差阵）定义为:
Cov X1 ,Y1 Cov X 1 ,Y2 Cov X ,Y Cov X ,Y 2 1 2 2 Cov X ,Y Cov X p ,Y1 Cov X p ,Y2 X E X 1 1 Y1 E Y1 , E Xp E Xp Cov X 1 ,Yq Cov X 2 ,Yq Cov X p ,Yq
i 1 j 1 n n n
证明
由独立性可得，
ki2 cov X i , X i ki2V ( xi )
j 1 i 1
n
例3 设随机向量 X ( X1 , X 2 , X 3 ) / 的数学期望和协方差矩 5 4 1 2 阵分别为 2 和 1 9 3 7 2 3 25 令y1=2x1−x2+4x3,y2=x2−x3,y3=x1+3x2−2x3,试求y=(y1,y2,y3)′的
, X q 的条件密度定义为：
, xp
f x1 ,
, xq | xq1 ,
f x
2
f x1 ,
q 1
, xp ,
, xp
或表达为：
f x1 | x 2
f x
f 2 x 2
五、独立性
两个连续型随机向量的独立
二、协方差矩阵
协方差定义为
Cov X ,Y E X E X Y E Y
若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的随机 变量未必独立。 当X=Y时，协方差即为方差，也就是
Cov X , X Var X
E X E X ij
随机矩阵X的数学期望的性质
(1)设a为常数，则
E(aX)=aE(X)
(2)设A,B,C为常数矩阵，则
E(AXB+C)=AE(X)B+C
特别地，对于随机向量X，有
E(AX)=AE(X)
(3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则 E(X1+X2+⋯+ Xn)=E(X1)+E(X2)+⋯+E(Xn)
m n n m Cov Ai X i , B jY j Ai Cov X i ,Y j Bj j 1 i 1 i 1 j 1 m n n m 推论 Cov X i , Y j Cov X i, Y j j 1 i 1 i 1 j 1
1
11
0
0 1
0 0
22
0
0
1
pp
标准化变换
在数据处理时，常常因各变量的单位不完全相同而需要对 每个变量作标准化变换，最常用的标准化变换是令
X
* i
* * 记 X * ( X1 , X2 ,
X i i
ii
, i 1, 2,
数学期望和协方差矩阵。
2 1 4 X 1 Y 0 1 1 X 2 AX , 1 3 2 X 3 E (Y ) AE ( X ) ( 40, 9, 15) / , 477 126 256 V (Y ) AV ( X ) A / 126 40 91 . 256 91 219
前述关系式即为:
R 1
ij
ii jj
11
0
0 1
0 0
22
0
0
1
pp
12 11 21 22 p1 p 2
1p 2 p pp
, y p 之间的欧氏距离为:
, x p ) 0， 对一切实数x1 ,
, x p；
f ( x1 ,
, x p )d x1
d x p 1。
三、边缘分布
设X是p维随机向量，由它的q(<p) 个分量组成的
向量X(1)的分布称为X的关于X(1)的边缘分布。
不妨设 X 1 X1 , , X q ，则对连续型的分布，有
1 21 R p1
12
1
p2
2 p 1
1 p
R=(ρij)和Σ =(σij)之间有关系式：R=D−1ΣD−1 其中 D diag( 11 , 22 ,
, pp ) 。
R和Σ的相应元素之间的关系式为:
ij
,Yq E Yq
Biblioteka Baidu E X E X Y E Y
X和Y的协方差矩阵与Y和X的协方差矩阵互为转置关系，
Cov Y , X 即有 Cov X ,Y
若Cov(X,Y)=0，则称X和Y不相关。两个独立的随机向量 必然不相关，但两个不相关的随机向量未必独立。 X=Y时的协差阵Cov(X,X)称为X的协方差矩阵，记作V(X)，
,p
，于是 , X* p)
E X * 0, V X * R
即标准化后的协差阵正好是原始向量的相关阵。可见，相 关阵R也是一个非负定阵。
§2.4 欧氏距离和马氏距离 一、欧氏距离
二、马氏距离
一、欧氏距离
x x1 , x2 ,
, x p 和y y1, y2 ,
2
X E X X E X 即 VX E V X1 Cov x1 , x2 Cov X , X V x2 2 1 Cov X p , X 1 Cov x p , x2 Cov X 1 , X p Cov X 2 , X p V Xp
三、相关矩阵
随机变量X和Y的相关系数定义为:
X ,Y
X ( X1 , X 2 ,
义为:
Cov X ,Y V X V Y
,Yq ) 的相关阵定
X 2 ,Yq X p ,Yq
, X p )和Y (Y1 ,Y2 ,
一、数学期望（均值）
随机向量 X ( X1 , X 2 , , X p )的数学期望 记为μ=(μ1,μ2,⋯,μp)′。
E X E X1 , E X 2 , ,E Xp
随机矩阵X=(Xij)的数学期望
E X11 EX 21 E X p1 E X 12 E X 22 E X p2 E X 1q E X 2q E X pq
V(X)亦记作Σ=(σij)，其中σij=Cov(Xi,Xj)。
协差阵Σ既包含了X各分量的方差，也包含了每两个分
量之间的协方差。显然，Σ是一个对称矩阵。
例1 随机向量一分为二后，其协差阵分为四块：
Cov X ,Y X VX V V Y Y Cov Y , X
附2 随机向量
§2.1 一元分布
§2.2 多元分布
§2.3 数字特征 §2.4 欧氏距离和马氏距离 §2.5 随机向量的变换 §2.6 特征函数（不讲）
§2.2 多元分布
一、多元概率分布 二、多元概率密度函数 三、边缘分布 四、条件分布 五、独立性
一、多元概率分布
随机向量：元素为随机变量的向量。
f x , y f X x fY y
n个连续型随机向量的独立
f x1 ,
, xn f1 x1
f n xn
在实际应用中，若随机向量之间的取值互不影响，则
认为它们之间是相互独立的。
§2.3 数字特征
一、数学期望（均值） 二、协方差矩阵 三、相关矩阵
x
d F x f x dx
, t p )d t1 dtp
多元的情形：
F ( x1 , , xp)
x1
xp
f ( t1 ,
f ( x1 ,
p , xp) F ( x1 , x1 x p
, xp)
多元概率密度函数f (x1, ⋯,xp) ：
(1) f ( x1 , (2)
n n
协差阵的性质
（5）设k1,k2, ⋯,kn是n个常数，X1,X2, ⋯,Xn是n个相互独 立的p维随机向量，则
n n 2 V ki X i ki V X i i 1 i 1 n n n V ki X i cov( ki X i , ki X i ) i 1 i 1 i 1
V aX b a 2V X
（3）设A和B为常数矩阵，则
Cov AX , BY A Cov X ,Y B
例2 Σ 0 X 的各分量间存在线性关系（依概率1）。
协差阵的性质
（4）设 A1 , A2 , , An和B1 , B2 , , Bm 为常数矩阵，则
其中，对角线块为子向量的协差阵，非对角线块 为两个子向量之间的协差阵。熟悉这四块子矩阵的含 义很有益处。
协差阵的性质
（1）协差阵是非负定阵，即Σ≥0。 推论 若|Σ|≠0，则Σ>0。 （2）设A为常数矩阵，b为常数向量，则
V AX b AV X A
当p=1时，上述等式就是我们熟知的如下等式：
f1 ( x1 ,
, xq )
f ( x1 ,
, x p )d xq1
d xp
四、条件分布
设 X X1 , , X p 是p维连续型的随机向量，在给 定 X 2 X q1 , , X p , f 2 x 2 0 的条件下，
X 1 X1 ,
随机矩阵：元素为随机变量的矩阵。 随机变量X的分布函数：
F x P X a
随机向量 X X1 , X 2 , , X p
的分布函数：
F x1 , x2 ,
, x p P X 1 x1 , X 2 x2 ,
, X p xp
二、多元概率密度函数
一元的情形： F ( x ) f t d t ,
X1 ,Y2 X 2 ,Y2 X p ,Y2
X1 ,Y1 X ,Y 2 1 X ,Y X p ,Y1
X1 ,Yq
若ρ(X,Y)=0，则表明X和Y不相关。 X=Y时的相关阵ρ(X,X)称为X的相关阵，记作R=(ρij)， 这里ρij=ρ(Xi,Xj), ρii=1。即
证明
m n Cov X i , Y j j 1 i 1
m m E X i E X i Y j E Y j i 1 i 1 j 1 j 1 n m n m E X i E X i Y j E Y j Cov X i ,Y j i 1 j 1 i 1 j 1
X X1 , X 2 ,
, X p 和Y Y1 ,Y2 ,
,Yq 的协方差矩阵（简
称协差阵）定义为:
Cov X1 ,Y1 Cov X 1 ,Y2 Cov X ,Y Cov X ,Y 2 1 2 2 Cov X ,Y Cov X p ,Y1 Cov X p ,Y2 X E X 1 1 Y1 E Y1 , E Xp E Xp Cov X 1 ,Yq Cov X 2 ,Yq Cov X p ,Yq