概率论第章协方差相关性协方差矩阵

1
(2
)
2 2
1
C2
exp
1 ( X )T C1( X )
2
11
上式容易推广到n维正态变量( X1, X 2 , X n )的情况
X1
引入列向量：X


X
2

1 E( X1)

=


2




E

(
X
2
)

排成矩阵： CovD((XX21,)X1)
Cov( X1, D( X 2
X )
2
)
，称为(
X
1
,
X
2
)的协方差矩阵。
设 n 维随机变量( X1, X 2 , X n )，Cov( Xi , X j )
都存在，i, j 1, 2,n
D(X1)
Cov( X1, X 2 ) Cov( X1, X n )
6
例1：设X,Y服从同一分布，其分布律为：
X -1
01
P 1/4 1/2 1/4
已知P(|X| = |Y| )=0,判断X和Y是否相关？是否独立？
解： 先求X ,Y的联合分布率：
XY 1
1 0 1 p. j
0 14 0 14
0 14 0 14 12
1 0 14 0 14
pi. 1 4 1 2 1 4
D(Y b0 X ) D(Y ) b02D( X ) 2b0Cov( X ,Y )

D(Y
)

[Cov( X ,Y D(X )
)]2

(1


2 XY
)
D(Y
)
1.
由e(a0 , b0 ) 0

1

2 XY
0

XY
1
2. XY 1 E Y (a0 b0 X )2 0
7
E( X ) (1) 1 4 01 2 11 4 0 E( XY ) 0
所以，Cov( X ,Y ) 0,即X 与Y不相关.
P( X 1,Y 1) 0, P( X 1)P(Y 1) 1 41 4
P( X 1,Y 1) P( X 1)P(Y 1) 所以，X 与Y不独立。

1 2

1 2

1

2 2

经计算，( X
)T C 1( X
)
1
1 2
[
(
x1
1 12
)2
2
(x1 1)(x2 2 ) 1 2

(x2 2 )2

2 2
]
于是( X1, X 2 )的概率密度可写成：f (x1, x2 )
特别的，XY 1时，b 0；XY 1时，b 0
证明：以X的线性函数a bX 来近似表示Y ,以均方误差e(a,b) E [Y (a bX )]2
来衡量以a bX 近似表达Y的好坏程度,e(a,b)越小，a bX 与Y的近似程度越好。
注：工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量（测量量）的相似性程度
若E [ X E( X )]k[Y E(Y )]l k,l 1, 2,存在，
则称它为X ,Y的k l 阶混合中心矩；
显然，最常用到的是一、二阶矩
E( X ), D( X ),Cov( X ,Y )分别对应于上述哪些原点矩？中心矩？混合矩？
9
定义：协方差矩阵
设二维随即变量( X1, X 2 )的四个二阶中心矩存在，将它们
XY
Cov( X ,Y ) D( X )D(Y )
为随机变量X 与Y的相关系数.XY是一个无量纲的量
1
协方差的性质：
1. Cov( X ,Y ) Cov(Y , X )，Cov(X , X ) D( X ) 2. Cov( X ,Y ) E( XY ) E( X )E(Y ) 3. Cov(aX ,bY ) abCov( X ,Y ) a,b是常数 4. Cov( X1 X 2 ,Y ) Cov( X1,Y ) Cov( X 2 ,Y )
，



1 2

,
(
X1,
X
2
)的协方差矩阵为：C



2 1
1
2
1

2 2
2

它的行列式为
C


12
2 2
(1


2
)
1
C的逆矩阵为C 1
1 C



2 2
1
2

1

2 1
2


1


2 1
1
2

思考题： Cov(aX bY , cX dY ) ? D(aX bY ) ?
答案：acD( X ) bdD(Y ) (ad bc)Cov( X ,Y ) a2D( X ) b2D(Y ) 2abCov( X ,Y )
2
相关系数的性质：
1. XY 1 2. XY 1 存在常数a,b，使P(Y a bX ) 1
§3 协方差及相关系数
对于二维随机变量(X,Y)，除了讨论X与Y的数学期 望和方差外，还需讨论描述X与Y之间相互关系的数字 特征。这就是本节的内容。
定义：量E [ X E( X )][Y E(Y )]称为随机变量X 与Y的协方差，
记为：Cov( X ,Y )，即
Cov( X ,Y ) E [ X E( X )][Y E(Y )]. 称
DY (a0 b0 X ) 0且E[Y (a0 b0 X )] 0
PY (a0 b0 X ) 0 1
4
相关系数XY是一个用来表征X ,Y之间线性关系紧密程度的量
当 XY 较大时，e(a0,b0 )较小，表明X ,Y线性关系的程度较好； 当 XY 1 时， e(a0 ,b0 ) 0，表明X ,Y之间以概率1存在线性关系； 当 XY 较小时，e(a0 , b0 )较大，表明X ,Y线性关系的程度较差；
定义：XY 0，称X 与Y不相关
思考
Cov( X , aX b) ?
相关性如何？
5
相关性与独立性辨析（重点）
定义：XY 0，称X 与Y不相关
注意，X 与Y不相关，只是对于线性关系而言的 X 与Y相互独立是就一般关系而言的
随机变量X 与Y不相关，即XY 0的等价条件有：
1. Cov( X ,Y ) 0 2. E( XY ) E( X )E(Y ) 3. D( X Y ) D( X ) D(Y ) 从而可知，当X 与Y相互独立 X 与Y一定不相关 反之，若X 与Y不相关，X 与Y却不一定相互独立
计算得: e(a,b) E(Y 2 ) b2E( X 2 ) a2 2bE( XY ) 2abE( X ) 2aE(Y )
下面来求最佳近似式：e(a0
,
b0
)

min a,b
e(a,
b)
e(a,b)

a e(a,
b)
b

2a 2bE( X ) 2E(Y ) 2bE( X 2 ) 2E( XY )
已知( X1, X 2 )服从二维正态分布，其概率密度为：
f
(x1, x2 )

1 21 2
1
2
exp

1 2(1
2
)
[
( x1
1

2 1
)2
2
(x1 1)(x2 1 2
2)

(x2 2 )2

2 2
]
引入列向量：X



X1 X2
0 2aE
(
X
)

0

a0 b0

E(Y ) b0E( X )
Cov( X ,Y ) D(X )
3
已得：a0

E(Y ) b0E( X ),b0

Cov( X ,Y ) D(X )
此时e(a0,b0 ) E [Y (a0 b0 X )]2 D[Y (a0 b0 X )] E Y (a0 b0 X ) 2
,
Xn


n



E(Xn)
C是( X1, X 2 , X n )的协方差矩阵,
( X1, X 2 , X n )的概率密度定义为：
f (x1, x2 , xn )
1
(2
)
n 2
C
1 2
exp
1 ( X )T C 1( X )
2
12
称矩阵

Cov(
X
2
,
X
1
)
D( X 2 )

Cov(
X
2
,
X
n
)





Cov( X n , X1)
Cov( X n , X 2 )

D(Xn )
为n维随即变量( X1, X 2, X n )的协方差矩阵，
协方差矩阵是一个对称矩阵。
10
利用协方差矩阵，可由二维正态变量的概率密度推广，得到n维正态变量的概率密度。
8
§4 矩、协方差矩阵百度文库
定义：设X 和Y是随机变量
若E( X k ) k 1, 2,存在， 则称它为X的k阶(原点)矩；
若E [ X E( X )]k k 1, 2,存在，
则称它为X的k阶中心矩；
若E X kY l 存在 k,l 1, 2,存在，
则称它为X 和Y的k l阶混合矩；