协方差与相关系数

8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第9页
EX:设随机变量XB（12,0.5),Y N(0,1),
Cov(X,Y)=-1,求V=4X+3Y+1与W=-2X+4Y
的方差与协方差
答 : E( X ) 12 0.5 6, D( X ) 3, D(Y ) 1
D(V ) 16D( X ) 9D(Y ) 24Cov( X ,Y ) 33
P( X xi | Y y)
F(x
|
y)
x
xi x
p(t | y)dt
x
p(t, y) dt
p( y)
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
3.5.2 条件数学期望
第26页
定义 3.5.4
E ( X
|Y
y)
i
xi P( X xi | Y y)
D(W ) 4D( X ) 16D(Y ) 16Cov( X ,Y ) 44
Cov(V ,W ) Cov(4X 3Y ,2X 4Y )
8D( X ) 16Cov( X ,Y ) 6Cov(Y , X ) 12D(Y )
22
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
布，求证：X与Y不相关，但不是相互独立的。
证:
f
(
x,
y)
1
x2 y2 1
0 others
1
1 1 x2
E( X ) xdx
dy 0
1
1 x2
1
1 x2 xy
E( XY ) dx
dy 0
1 1 x2
8 April 2020
1
1
1
1
数学计算机科学学院
第三章 多维随机变量及其分布
Cov
(
X
2
,
X
1
)
Var( X 2 )
L
Cov( X1, X n )
Cov(
X
2
,
X
n
)
M
M
O
M
Cov( X n , X1) Cov( X n , X 2 ) L
Var( X n )
为
v X
的协方差阵，记为
Cov(
v X ),
或
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第11页
2.相关系数的性质
(1) |Corr(X,Y)|1； (2) |Corr(X,Y)|=1存在常数a, b 使
P{Y= aX+b}=1； (3) X与Y不相关 Corr(X,Y)=0;
1.设(X,Y)服从区域D:0<x<1,0<y<x上的均匀分 布,求X与Y的相关系数
解
2 (x, y) D
f ( x, y) 0 others
8 April 2020
x=y D
1
数学计算机科学学院
第三章 多维随机变量及其分布
第12页
1
x
2
E( X )
0
2 xdx
0
dy
3
1
x
1
E(Y
)
0
2dx
0
ydy
3
1
x
1
E( XY ) 2xdx ydy
0
0
4
D( X ) 1 2x2dx x dy 4 1
,
求相关阵 R.
R
1 1/
3
1/ 3 1
第22页
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第23页
§3.5 条件分布与条件期望
对二维随机变量(X, Y), ➢ 在给定Y取某个值的条件下, X的分布; ➢ 在给定X取某个值的条件下, Y的分布.
8 April 2020
数学计算机科学学院
第10页
二.相关系数
1. 定义 若r.v. X，Y的方差和协方差均存在, 且DX>0,DY>0，则
Corr( X ,Y ) cov( X ,Y ) DX DY
称为X与Y的相关系数. 注：若记 X * X E( X )
DX
称为X的标准化，易知EX*=0，DX*=1.且
Corr(X ,Y ) cov(X *,Y *) E(X *Y*).
期望
方差
协方差
E(c)=C
D(c)=0
Cov(c,X)=0
E(aX)=aE(X),
E(X+Y) =E(X)+E(Y) 当X与Y独立时 E(XY)=E(X)E(Y)
D(aX)=a2D(X),
D(X+Y)=D(X)+ D(Y)+2Cov(X,Y)
Cov(aX,bY) =abCov(X,Y) Cov(X+Y,Z) =Cov(X,Z) +Cov(Y,Z)
重期望公式
第28页
定理 3.5.1 E( X ) E(E( X | Y ))
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
4.4 矩、协方差矩阵
第29页
1. K阶原点矩 Ak=E(Xk), k=1, 2, … 而E(|X|k)称为X的K阶绝对原点矩； 2. K阶中心矩 Bk=E[X-E(X)]k, k=1, 2, … 而E|X-E(X)|k称为X的K阶绝对中心矩；
1
12 0.9682) E( X ) 0, E( XY ) 0
1 4
Corr(X ,Y ) 0
12 45
以上EX的结果说明了什么？
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
例3 设 (X, Y) 的联合分 布列为
X Y 1 0 1 1 1/8 1/8 1/8 0 1/8 0 1/8 1 1/8 1/8 1/8
=abE(XY)-aE(X)bE(Y)
=ab[E(XY)-E(X)E(Y)]
=abCov(X,Y)
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第6页
(4) Cov(X+Y，Z)=Cov(X, Z)+Cov(Y, Z);
证: Cov(X+Y，Z)= E[(X+Y)Z]-E(X+Y)E(Z)
第三章 多维随机变量及其分布
3.5.1 条件分布
(1) 条件分布列：
pi| j
P(X
xi
|Y
yj)
pij p• j
(2) 条件密度函数：
p(x | y) p(x, y) p( y)
第24页
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第25页
(3) 条件分布函数：
数学计算机科学学院
第三章 多维随机变量及其分布
第21页
课堂练习1
设 X ~ N(0, 1), Y ~ N(0, 1), D(XY) = 0, 求 (X, Y) 的协差阵 .
1 1
1 1
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
课堂练习2
设
X,
Y
的协差阵为
9
4
4 16
协方差阵的性质
第19页
定理3.4.2 协方差阵对称、非负定.
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
注意点
称
11 12 ... 1n
R
21
22
...
2n
... ... ... ...
n1
n2
...
nn
为
v X
的相关矩阵.
第20页
8 April 2020
第13页
注意点
Corr(X, Y) 的大小反映了X与Y之间的线性关系： ➢ Corr(X, Y) 接近于1， X 与 Y 间 正相关.
➢ Corr(X, Y) 接近于 1， X 与 Y 间 负相关. ➢ Corr(X, Y) 接近于 0， X 与 Y 间 不相关.
没有线性关系
8 April 2020
11/ 36
11
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
二维正态分布的特征数
(X
,Y
)
~
N (1,
2
,
2 1
,
2 2
,
)
(1) X ~ N( 1, 12), Y~ N( 2, 22); (2) 参数 为 X 和 Y 的相关系数;
(3) X, Y 独立
= 0.
(4) 不相关与独立等价.
第4页
Cov(X ,Y ) E(XY ) E(X )E(Y ) 0
X与Y不相关.而
f
X
(
x)
1 x2 1 x2
1
dy
0
2
1 x2
1 x 1 others
fY
(
y)
Байду номын сангаас
1 y2 1 y2
1
dy
2
0
1 y2
1 y 1 others
f ( x, y) fX ( x) fY ( y)
Cov(X, Y)=E{[XE(X)][YE(Y)]}. 为X与Y的协方差, 易见
Cov(X, Y)=E(XY）-E(X)E(Y).
当Cov(X,Y)=0时，称X与Y不相关。
“X与Y独立”和“X与Y不相关”有何关系？
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第3页
例2 设(X, Y)在D={(X, Y)：x2+y21}上服从均匀分
=E(XZ)+E(YZ)-E(X)E(Z)-E(Y)E(Z)
=Cov(X,Z)+Cov(Y,Z)
(5) D(X+Y)=D(X)+D(Y)+2Cov(X, Y).
证: 由方差性质(3)的证明过程有
D( X Y ) D( X ) D(Y ) 2E( XY ) 2E( X )E(Y )
注:D(X-Y)=D[X+(-Y)]
求 X, Y 的相关系数.
解: E(X )
xi pij = 0
ij
E(X 2 )
xi2 pij= 3/4
ij
8 April 2020
第15页
同理 E(Y) = E(X) = 0 E(Y2) = E(X2) = 3/4
另一方面
E(XY )
xi y j pij
ij
= 1/81/81/8+1/8 = 0
00 8
E(X 2 ) E(Y 2 ) 2 2 x2 1 (x y)dxdy = 5/3
00 8
所以, Var(X) = Var(Y) = 11/36
E(XY ) 2 2 xy 1 (x y)dxdy = 4/3
00 8
Corr( X ,Y ) 4 / 3 7 / 6 7 / 6 1
xp(x | y)dx
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
注意点
E(X| Y=y) 是 y 的函数. 所以记 g(y) = E(X| Y=y). 进一步记 g(Y) = E(X| Y).
第27页
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
所以 Cov(X, Y) = E(XY)E(X)E(Y) = 0
即 Corr(X, Y) = 0
数学计算机科学学院
第三章 多维随机变量及其分布
第16页
例4 (X, Y) ~ p(x, y) = 求 X, Y 的相关系数
1 8
(x
y),
0 x 2,
0 y2
0
其它
解:
E(X ) E(Y ) 2 2 x 1 (x y)dxdy = 7/6
0
0 9 18
D(Y ) 1 2dx x y2dy 1 1
0
0
9 18
COV (X ,Y ) E(XY ) E(X )E(Y ) 1 36
Corr(X ,Y ) COV (X ,Y ) 1 D(X )D(Y ) 2
8 April 2020
D
1
数学计算机科学学院
第三章 多维随机变量及其分布
8 April 2020
故,X与Y不独立.
数学计算机科学学院
第三章 多维随机变量及其分布
第5页
2.协方差性质
(1) Cov(X, Y)=Cov(Y, X);
(2) Cov(X,X)=D(X);Cov(X,c)=0 (3) Cov(aX, bY)=abCov(X, Y), 其中a, b为 常数
证: Cov(aX, bY)=E(aXbY)-E(aX)E(bY)
数学计算机科学学院
第三章 多维随机变量及其分布
1)X ~ U (0,1),Y X 2 ,求 XY 2）X ~ U(1,1),Y X 2 ,求 XY
第14页
解1)
E( X ) 1 , E(Y ) 1 , E( XY ) 1 , D( X ) 1 , D(Y ) 4
2
3
4
12
45
Corr( X ,Y )
第17页
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
第18页
随机向量的数学期望与协方差阵
定义3.4.3 记 v
v X
( X1,
X2,
L
,
Xn )，' 则
E( X ) (E( X1), E(X2 ), L , E(Xn ))'
称 Var( X1) Cov( X1, X 2 ) L
=D(X)+D(Y)-2Cov(X,Y)
8 April 2020
2Cov( X ,Y )
数学计算机科学学院
第三章 多维随机变量及其分布
第7页
方差与协方差的定义
期望、方差、协方差的性质对比
不相关与独立
8 April 2020
切比雪夫不等式
数学计算机科学学院
第三章 多维随机变量及其分布
第8页
期望、方差、协方差的性质对比
第三章 多维随机变量及其分布
第1页
随机变量的协方差与相关系数
开课系：环科院环境工程、经管院物流管理 徐林，数计学院
8 April 2020
数学计算机科学学院
第三章 多维随机变量及其分布
3.3 协方差，相关系数
第2页
一.协方差定义与性质
1.协方差定义 (P129)若r.v. X的期望E(X)和Y的期 望E(Y)存在, 则称