《概率论》第4章3-4协方差相关性协方差矩阵

ቤተ መጻሕፍቲ ባይዱXY
Cov( X , Y ) D( X ) D (Y )
为随机变量X 与Y的相关系数. XY 是一个无量纲的量
1
协方差的性质：
1. Cov( X , Y ) Cov(Y , X )，Cov ( X , X ) D ( X ) 2. Cov( X , Y ) E ( XY ) E ( X ) E (Y )
随机变量X 与Y 不相关，即 XY 0的等价条件有：
1. Cov( X , Y ) 0
2. E ( XY ) E ( X ) E (Y ) 3. D( X Y ) D( X ) D(Y )
从而可知，当X 与Y 相互独立 X 与Y 一定不相关 反之，若X 与Y 不相关，X 与Y 却不一定相互独立
T 1
于是( X 1 , X 2 )的概率密度可写成：f ( x1 , x2 )
1 2 (2 ) 2 C
1 2
exp 1 ( X )T C 1 ( X ) 2
11


上式容易推广到 n维正态变量 ( X 1 , X 2 , X n )的情况 X1 1 E ( X 1 ) X E ( X ) 2 , 引入列向量： X 2 = 2 Xn n E ( X n ) C是 ( X 1 , X 2 , X n )的协方差矩阵, ( X 1 , X 2 , X n )的概率密度定义为： 1 1 ( X )T C 1 ( X ) f ( x1 , x2 , xn ) ex p 1 n 2 2 ( 2 ) C 2
2 X1 1 1 引入列向量：X ， , ( X , X )的协方差矩阵为：C 1 2 X2 2 1 2
]
1 2 2 2
2 它的行列式为 C 12 2 (1 2 )
E ( X ) (1) 1 4 0 1 2 11 4 0 E ( XY ) 0
所以，Cov( X , Y ) 0, 即X 与Y 不相关.
P( X 1, Y 1) 0, P( X 1) P (Y 1) 1 4 1 4
P ( X 1, Y 1) P( X 1) P(Y 1) 所以，X 与Y 不独立。
8
§4 矩、协方差矩阵
定义：设X 和Y 是随机变量
若E ( X k ) k 1, 2, 存在， 则称它为X 的k阶(原点)矩；
若E [ X E ( X )]k k 1, 2, 存在， 则称它为X 的k阶中心矩； 若E X k Y l 存在 k , l 1, 2, 存在，
§3 协方差及相关系数
对于二维随机变量(X,Y)，除了讨论X与Y的数学期 望和方差外，还需讨论描述X与Y之间相互关系的数字 特征。这就是本节的内容。
记为：Cov( X , Y )，即 Cov( X , Y ) E [ X E ( X )][Y E (Y )] . 称
定义： 量E [ X E ( X )][Y E (Y )] 称为随机变量X 与Y的协方差，
已得：a0 E (Y ) b0 E ( X ), b0
Cov( X , Y ) D( X )
2
此时e(a0 , b0 ) E [Y (a0 b0 X )] D[Y (a0 b0 X )] E Y (a0 b0 X )
2 D(Y b0 X ) D(Y ) b0 D( X ) 2b0Cov( X , Y )
2
相关系数的性质：
1. XY 1
2. XY 1 存在常数a, b，使P (Y a bX ) 1 特别的， XY 1时，b 0； XY 1时，b 0
证明：以X 的线性函数a bX 来近似表示Y ,以均方误差e(a, b) E [Y (a bX )]2 来衡量以a bX 近似表达Y的好坏程度,e(a, b)越小，a bX 与Y的近似程度越好。
3. Cov(aX , bY ) abCov( X , Y ) a, b是常数
4. Cov( X 1 X 2 , Y ) Cov( X 1 , Y ) Cov( X 2 , Y )
思考题： Cov(aX bY , cX dY ) ?
D (aX bY ) ?
答案：acD ( X ) bdD (Y ) (ad bc)Cov( X , Y ) a 2 D( X ) b 2 D (Y ) 2abCov( X , Y )
9
定义：协方差矩阵 设二维随即变量( X 1 , X 2 )的四个二阶中心矩存在，将它们 Cov( X 1 , X 2 ) D( X 1 ) 排成矩阵： ，称为( X 1 , X 2 )的协方差矩阵。 D( X 2 ) Cov( X 2 , X 1 )
设 n 维随机变量( X 1 , X 2 , X n )，Cov( X i , X j ) 都存在，i, j 1, 2, n Cov( X 1 , X 2 ) D( X 1 ) Cov( X 2 , X 1 ) D( X 2 ) 称矩阵 Cov( X n , X 1 ) Cov( X n , X 2 ) Cov( X 1 , X n ) Cov( X 2 , X n ) D( X n )


12
2
[Cov( X , Y )]2 2 D(Y ) (1 XY ) D(Y ) D( X ) 2 0 XY 1 1. 由e(a0 , b0 ) 0 1 XY
2. XY 1 E Y (a0 b0 X )

2
0
D Y (a0 b0 X ) 0且E[Y (a0 b0 X )] 0
6
例1：设X,Y服从同一分布，其分布律为： X -1 0 1 P 1/4 1/2 1/4
已知P(|X| = |Y| )=0,判断X和Y是否相关？是否独立？
解： 先求X , Y的联合分布率： X Y 1 0 1 1 0 1 pi.
p. j 14 12 14
7
0
14
14
0
14
0
14 12
0
14
0
14
P Y (a0 b0 X ) 0 1
4
相关系数 XY 是一个用来表征X , Y 之间线性关系紧密程度的量
当 XY 较大时，e(a0 , b0 )较小，表明X , Y 线性关系的程度较好； 当 XY 1 时， e(a0 , b0 ) 0，表明X , Y 之间以概率1存在线性关系；
为n维随即变量( X 1 , X 2 , X n )的协方差矩阵， 协方差矩阵是一个对称矩阵。
10
利用协方差矩阵，可由二维正态变量的概率密度推广，得到n维正态变量的概率密度。
已知( X 1 , X 2 )服从二维正态分布，其概率密度为： 1 ( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 f ( x1 , x2 ) exp [ 2 2 2 2 2 1 2 1 2 2 1 2 1 2(1 )
2 2 C的逆矩阵为C 1 C 1 2 1
1 2 12
1 2 1 1 2 1 1 2

1 2
2 2
1

( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 经计算， (X ) C (X ) [ 2 ] 2 2 2 1 1 2 1 2
当 XY 较小时，e(a0 , b0 )较大，表明X , Y 线性关系的程度较差；
定义： XY 0，称X 与Y 不相关
思考
Cov( X , aX b) ? 相关性如何？
5
相关性与独立性辨析（重点）
定义： XY 0，称X 与Y 不相关
注意，X 与Y 不相关，只是对于线性关系而言的 X 与Y 相互独立是就一般关系而言的
注：工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量（测量量）的相似性程度
计算得: e(a, b) E (Y 2 ) b 2 E ( X 2 ) a 2 2bE ( XY ) 2abE ( X ) 2aE (Y ) e( a , b ) 下面来求最佳近似式：e(a0 , b0 ) min a ,b e(a, b) a0 E (Y ) b0 E ( X ) a 2a 2bE ( X ) 2 E (Y ) 0 Cov( X , Y ) e a b b ( , ) 0 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0 D( X ) b 3
则称它为X 和Y的k l阶混合矩； 若E [ X E ( X )]k [Y E (Y )]l k , l 1, 2, 存在， 则称它为X , Y的k l 阶混合中心矩；
显然，最常用到的是一、二阶矩
E ( X ), D( X ), Cov( X ,Y )分别对应于上述哪些原点矩？中心矩？混合矩？