4.3协方差及相关系数及其性质

3. 协方差的计算公式 法1.若 ( X ,Y ) 为离散型，已知pij
cov( X , Y ) [ xi E ( X )][ y j E (Y )]pij
i 1 j 1
若 ( X ,Y ) 为连续型，已知f(x,y)
cov( X , Y )



C 11 写为矩阵的形式： C 21
C 12 , C 22
称为随机变量(X1,X2)的协方差矩阵。
(2)推广 定义 设X=(X1,X2,…,Xn) 为n维随机向量,并记 μi=E(Xi)， C ij Cov( X i , X j ) i , j 1,2,, n
[ x E ( X )][ y E (Y )] f ( x, y)dxdy
法2.
4. 性质
(1) Cov( X ,Y ) E ( XY ) E ( X ) E (Y );
( 2) D( X Y ) D( X ) D(Y ) 2 Cov( X ,Y ).
(1) Cov( X ,Y ) Cov(Y , X );
1. 定义
量 E { [ X E ( X ) ][Y E (Y ) ] } 称为随机变量 X C ov( X , Y ) E { [ X E ( X )][Y E (Y )]} . 与 Y 的协方差. 记为 Cov( X , Y ) , 即
若D (X ) > 0, D (Y ) > 0 ,称 Cov( X , Y ) ρ XY D ( X ) D (Y )
j 1 i 1 j 1 i 1 n n n n
E{ti [ X i E ( X i )] t j [ X j E ( X j )]}
j 1 i 1
n
n
n
E{ ti [ X i E ( X i )] t j [ X j E ( X j )]}
j 1 i 1
即 | Cov( X , Y ) | D( X ) D(Y )
所以|ρXY|≦1。
(2) ρ XY 1 的充要条件是存在常数 a, b 使 P{Y aX b} 1.
(2)证： 由柯西一许瓦兹不等式中等号成立（ ρ XY 1 ） 充要条件知 存在常数 a 使 P{Y E (Y ) a( X E ( X ))} 1.
解 cov( X , Y ) ( x 1 )( y 2 ) f ( x, y )dxdy
x 1 1 y 2 2

s t
1 2
2 1 2



ste
1 2 (s t ) t 2 2 2 (1 )
为随机变量 X 与 Y 的相关系数.
无量纲 的量
若 XY 0, 称 X ,Y 不相关.
2. 说明
若随机变量 X 和 Y 相互独立 Cov( X ,Y ) E{[ X E ( X )][Y E (Y )]} E[ X E ( X )]E[Y E (Y )] 0.
不相关
4. 相关系数的性质
(1) ρ XY 1.
(2) ρ XY 1 的充要条件是 : 存在常数 a, b 使 P{Y aX b} 1.
(1)证： 由柯西一许瓦兹不等式知
[ E ( XY )]2 E ( X 2 ) E (Y 2 )
所以 | E[( X E ( X ))(Y E (Y ))] | E[( X E ( X )) 2 ] E[(Y E (Y )) 2 ]
4.3协方差与相关系数
一、基本概念 二、n 维正态变量的性质
问题的提出
对于二维随机变量(X ,Y ):
已知联合分布
边缘分布
对二维随机变量,除每个随机变量各自的 概率特性外, 相互之间还有某种联系,问题是用 一个怎样的数去反映这种联系.
若随机变量 X 和 Y 相互独立, 那么
D( X Y ) D( X ) D(Y ).
若随机变量 X 和 Y 不相互独立
D( X Y ) ?
D( X Y ) E ( X Y )2 [ E ( X Y )]2
D( X ) D(Y ) 2 E{[ X E ( X )][Y E (Y )]}.
协方差
反映了随机变量 X , Y 之间的某种关系
一 .协方差和相关系数的定义
1 1 1 D( X ) D(Y ) ρXY D( X ) D(Y ) 1 4 2 3. 9 4 3
已知随机变量 X , Y 分别服从 N (1,32 ) , N (0,42 ) , ρXY 1 2 , 设 Z X 3 Y 2 .
(1) 求 Z 的数学期望和方差.(2) 求 X 与 Z 的相关系数.
2 D( X ) 12 , D(Y ) 2 , Cov( X , Y ) 1 2
所以(X，Y)的均值为μ=(μ1,μ2) (X，Y)协方差矩阵为
12 1 2
1 2 2 2
3. 协方差矩阵的性质
(1)协方差矩阵对角线上的元素Cii为Xi的方差即Cii=D(Xi) i=1，2，…，n；
将 a0 , b0 代入 e E[(Y (a bX ))2 ] 中, 得 min e min E[(Y ( a bX )) 2 ]
a ,b a ,b
E[(Y (a0 b0 X ))2 ]
2 (1 ρXY ) D(Y ).
2. 相关系数的意义
当 ρXY 较大时 e 较小, 表明 X , Y 的线性关系联 系较紧密.
(2)协方差矩阵C为对称矩阵,即Cij=Cji ,i，j=1，2，…，n；
(3)C为非负定矩阵,即对于任意实向量t=(t1，t2，…，tn), 有tCt≥0； 证：性质(1)，(2)显然，只证(3)
t Ct C ij t i t j t i E {[ X i E ( X i )][ X j E ( X j )]}t j
du t e
dt
1 2
于是 XY
Cov( X ,Y ) . D( X ) D(Y )
结论
二维正态分布密度函数 , 参数 ρ 代表了X (1) 中 与 Y 的相关系数;
) 二维正态随机变量 X 与 Y 相关系数为零等 (2 价于 X 与 Y 相互独立.
( 2) Cov( aX , bY ) ab Cov( X ,Y ) , a , b 为常数;
( 3) Cov( X 1 X 2 ,Y ) Cov( X 1 ,Y ) Cov( X 2 ,Y ).
例1
已知 X ,Y 的联合分布为
Y
pij X
1
0
1 p 0 1 0 p q
0 0 q
0 < p <1 p+q=1
二、相关系数的意义
1. 问题的提出
问 a , b 应如何选择, 可使 a bX最接近 Y ? 接近的程度又应如何来衡量 ?
设 e E[(Y (a bX ))2 ]
则 e 可用来衡量 a bX 近似表达 Y 的好坏程度. 当 e 的值越小, 表示 a bX 与 Y 的近似程度越好. 确定 a , b 的值, 使 e 达到最小.
1 0 p q
求cov (X ,Y )
XY
解
X
Y
P
XY P
1
p
0
q
P
E ( X ) p, E (Y ) p, D( X ) pq, D(Y ) pq, E ( XY ) p,
cov( X , Y ) pq,
XY 1
2 例2 设 ( X ,Y ) ~ N ( μ1 , μ2 , σ12 , σ 2 , ρ) ，求XY
三.协方差矩阵
(1)．二维随机向量的协方差矩阵 二维随机变量(X1,X2)有四个二阶中心矩(设他们存在)， 分别记为
C11 E{[ X 1 E ( X 1 )]2 } , C12 E{[ X 1 E ( X 1 )][ X 2 E ( X 2 )]}
C21 E{[ X 2 E ( X 2 )][ X 1 E ( X 1 )]} , C22 E{[ X 2 E ( X 2 )]2 }
即X ,Y 相互独立
X ,Y 不相关
已知随机变量 X , Y 分别服从 N (1,3 ) , N (0,4 ) , 例3 ρXY 1 2 , 设 Z X 3 Y 2 .
(1) 求 Z 的数学期望和方差 2) 求 X 与 Z 的相关系数. .(
2
2
解
(1)由E ( X ) 1, D( X ) 9, E (Y ) 0, D(Y ) 16.
e E[(Y (a bX )) ]
2
E (Y 2 ) b 2 E ( X 2 ) a 2 2bE ( XY ) 2abE ( X ) 2aE (Y ).
将 e 分别关于 a ,b 求偏导数, 并令它们等于零, 得 e a 2a 2bE ( X ) 2 E (Y ) 0, e 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0. b Cov( X ,Y ) Cov( X ,Y ) 解得 b0 , a0 E (Y ) E ( X ) . D( X ) D( X )
当 ρXY 较小时, X ,Y 线性相关的程度较差 .
当 ρ XY 0 时, 称 X 和 Y 不相关.
3. 注意
(1) 不相关与相互独立的关系 相互独立 (2) 不相关的充要条件
1o 2o 3o X , Y 不相关 ρ XY 0; X , Y 不相关 Cov( X ,Y ) 0; X , Y 不相关 E ( XY ) E ( X ) E (Y ).