第四章 协方差及相关系数 矩及协方差矩阵2016

而X与Y 的边缘分布及数学期望为:
X -1 0 2
P
Y P
5/12
0 7/12
1/6
1/3 1/12
5/12
1 1/3
则
5 10 5 1 1 13 EX , EY 12 12 12 36 3 36
Cov(X,Y) E(XY) EXEY 13 5 13 221 36 12 36 432
2. XY 1.
3. XY 1的必要条件是存在常数 a，b使 PY aX b 1.
4.如果随机变量 Y是X的线性函数 , 即Y aX ba 0 , 则
XY
1 , a 0, 1 , a 0.
定义3 设随机变量X 与Y的相关系数为 1 若 0，则称X 与Y 不相关. 2 若 0，则称X 与Y 相关; 特别地, 若
0 y 1 1 y, fY ( y ) 1 y, 1 y 0 others 0,
因而 =0， 即X和Y不相关 . 但X和Y不独立 .
设(X,Y )服从二维正态分布, 它的概率密度为
f(x,y) 1 2πσ1σ 2
2 1 (x μ1 ) exp 2 2 2 2 ( 1 ρ ) σ 1 ρ 1
当程度上描述两个随机变量的联系程度.
当然, 从数学上看, 这是不可能的，因为联合分布 的信息量为许多个数, 甚至无穷多个数, 因此一个数不 可能反映出无穷多个数携带的信息. 但是我们仍然希望 能够找到描述它们之间相互关系的一个数, 至少在大多 数实际情况下能够描绘两个随机变量联系的紧密程度, 例如, 如果这个数字越接近于零, 说明这两个随机变量
一、协方差
对于两个随机变量X 和Y 当它们是完全相等的时候, 联系是最紧密的了.而当它们相互独立的时候, 联系是最
差的了.
我们先研究它们的和X +Y 的方差:
D(X+ Y)=E{X + Y -E(X + Y)}2
=E{X -E X + Y -E Y}2 =E{(X -EX)2+(Y -E Y)2+2(X -EX)(Y -E Y)} =E(X -EX)2+E(Y -E Y)2+2E{(X -EX)(Y -E Y)} =DX +DY+2E{(X -EX)(Y -E Y)}
ρ XY
Cov(X,Y) D(X) D(Y)
“X与Y独立”和“X与Y不相关”有何关系？
例：
1, y x, 0 x 1 f ( x, y ) 0, others
2 x , f X ( x) 0,
0 x 1 others
E(X)=2/3
E(Y)=0
E(XY)=0=E(X)E(Y) Cov(X,Y)=0




例3
xi~N(0,1)(i=1,2,3), 并且x1,x2,x3相互独立,
1 ξ 3

ξ1 ξ 2 ξ 3 ξi ,η 3 i 1
3

i 1
3
(ξ i ξ )2 ,
求 Cov(ξ ,ξ1 ), E , Cov x , .


解
1 1 ξ i ,则ξ ~N( 0, ) 3 3 i 1 1 3 1 2 1 Cov(ξ ,ξ1 ) E(ξ ξ1 ) E ξ i ξ1 Eξ1 3 3 3 i 1
(x μ1 )(y μ 2 ) (y μ 2 )2 2ρ , 2 σ1σ 2 σ2
则可以证明X,Y 的相关系数 XY 正好就是 , 即
XY=, 而且服从二维正态分布的随机变量X,Y 相互独立的
充分必要条件是此相关系数为0.
对服从二维正态分布的随机向量（X，Y）而言，X与 Y 不 线性相关与相互独立是等价的.
=0， Y 与
X 无线性关系;
若 0<| |<1, | | 的值越接近于1, Y 与 X 的线性相关程度越高;
| | 的值越接近于0, Y与X的线性相关程度越弱.
结 论
1.如果 X与Y相互独立 , 则X与Y不相关 .
2. X与Y不相关时， X、Y未必独立 .
Cov(X,Y)=E(XY)-E(X)E(Y)
假设X,Y 的联合概率函数如下表所示
例1 X Y -1 0 2 0 0 1/6 5/12 1/3 1/12 0 0 1 1/3 0 0
1 1 1 E(XY) ( 1 ) 0 0 ( 1 ) ( 1 ) 1 3 12 3 1 1 0 0 0 0 0 1 0 6 3 5 1 13 2 0 2 0 2 1 0 12 3 36
的联系越差, 越接近于相互独立, 反之则联系越紧密,
越接近于相互之间有关系.
例如 •一个人的身高和体重是非常有关系的, 但是又并不完全 是严格的函数关系, 那么关系程度究竟有多大呢? •一个人的吸烟量和他的平均寿命是有关系的, 这个关系量 又有多大呢? •一种化肥的施用量和农作物的产量是有关系的, 这个关系 的大小又是如何呢? 这样一些问题都希望能够用一个数字就表示出来, 这就人 们想到要用协方差和相关系数的原因.
以概率1线性相关.
1, 则称X 与Y
对于随机变量 X与Y，下面结论是等价的 .
1X与Y不线性相关 2Cov X , Y 0 3 0 4E XY E X E Y 5D X Y D X DY
相关系数刻划了X和Y间“线性相关”的程度. 若 若 Y与X有严格线性关系;
若 E{[X-E(X)]k}, k=1,2,... 存在, 称它为X 的k 阶中心矩.
若
E(XkYl), （ k,l=1,2,…）
存在, 称它为X 和Y 的k+l 阶原点混合矩. 若 E{[X-E(X)]k[Y-E(Y)]l}, k,l=1,2,...
=E(XY)-EXEY-EYEX+EXEY =E(XY)-EXEY
即相乘的均值减去均值的相乘.
其中EX和EY是通过边缘分布计算的, 因此关键是如何计
算E(XY).
对于离散型随机变量, 假设X,Y 的概率函数为 P(X=Xi,Y=yj)=pij, (i,j=1,2,...),则
E(XY)
x y
i i j
j
pij
对于连续型随机变量, 假设X,Y 的联合概率密 度为 ( x, y) , 则

E(XY)

xy(x,y)dydx
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}. 由定义, 知协方差具有下述性质:
(1) Cov(aX, bY)=abCov(X,Y), a,b是常数.
Cov(X,Y)=E(XY)-E(X)E(Y)
Cov(X,Y)=E(XY)-E(X)E(Y)
D(X+Y)=DX+DY+2Cov(X, Y)
当X 和Y 相互独立时, 联系最不紧密, 这时候 Cov(X,Y)=0, 因此 D(X+Y)=DX +DY
而当X=Y 时, 联系最紧密, 这时候 DX =DY =Cov(X,Y), 因此D(X +Y)=D(2X)=4DX

即 ξ i ξ 与 ξ 互不相关, 而它们都是正态分布, 因此 ξ i ξ 与 ξ 相互独立, 则(ξ i ξ )2 与 ξ 也相互独立, 则η

i 1
3
(ξ i ξ )2 与 ξ 也相互独立, 而相互独立必互不相关 ,
因此Cov(ξ ,ηη 0.
二、相关系数与随机变量的相关性
0

xe x dx 1

0
x 12 e x dx 1
D X 3 0 1.
Cov X , X 3Y Cov X , X 3Cov X , Y
若 X i ~ N i , i2 (i=1,2,...,n), 且它们相互独立,则它们的和 Z=X1+X2+...+Xn 仍然服从正态分布,且有
2 2 2 Z ~ N 1 2 n , 1 2 n .




更一般地, 可以证明有限个相互独立的正态分布随机变量
的线性组合仍然服从正态分布.
若X ~ N ， 2 ，则 Y kX b ~ N k b，k 2 2 ，其中 k，b为常数， k 0.
前面我们介绍了随机变量的数学期望和方差，对于二 维随机变量（X, Y），我们除了讨论X与Y的数学期望和方 差以外，还要讨论描述X和Y之间关系的数字特征，这就是 本讲要讨论的
协方差和相关系数
第四节 协方差及相关系数

第五节 矩、协方差矩阵
一、协方差 二、相关系数 三、矩
定性的思考
通常人们在研究单个的随机变量的时候, 并不关心
定义1 量E{[X-E(X)][Y-E(Y)]}称为随机变量X与Y 的
协方差.记为Cov(X,Y), 即 Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}.
协方差的计算
在已知两个随机变量X 和Y 的联合分布的情况下怎样计 算它们的协方差Cov(X,Y)呢, Cov(X,Y)=E[(X-EX)(Y-EY)] =E[XY-XEY-YEX+EXEY]
例2
设随机变量 X，Y相互独立，它们的概率 密度分别为
x e , x 0, f X x 0 , 其它.
求Cov X , X 3Y .
2 y, 0 y 1, fY y 0 , 其它.
解
由题设条件可得
E X
D X
1 Eξ 0,Dξ D 3

3
E(ξi ξ )
2
E(ξi2
2 1 2 2ξi ξ ξ ) 1 3 3 3
2
Cov(X,Y)=E(XY)-E(X)E(Y)
因此
3 2 2 2 Eη E (ξ i ξ ) 3 2,因ξ i ξ ~N( 0, ),而 3 3 i 1 1 1 2 cov(ξ i ξ ,ξ ) E[(ξ i ξ )ξ ] E(ξ i ξ ) Eξ 0, 3 3
高等院校非数学类本科数学课程
大 学 数 学(四)
—— 概率论与数理统计
脚本编写：孟益民
教案制作：孟益民
第四章
数字特征
理解数学期望概念，掌握它的性质与计算。 理解方差概念，掌握它的性质与计算。 掌握（0－1）分布，二项分布，泊松分布，正态 正态分布，指数分布的数学期望与方差。 掌握协方差、相关系数的概念及计算。 了解矩、协方差矩阵的概念。
(2)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y). (3) Cov[X,Y]=Cov[Y,X], Cov[X,X]=D(X). 对于任意两个随机变量X 和Y, 下列等式成立: D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 随机变量和的方差与协方差的关系
将Cov(X,Y)的定义式展开, 易得
定义2
则
设随机变量X 与Y 的方差均存在，并且均不为零，
ρ XY
Cov(X,Y) D(X) D(Y)
称为随机变量X 与Y 的相关系数.
Cov(X,Y)=E(XY)-E(X)E(Y)
ρ XY
Cov(X,Y) D(X) D(Y)
相关系数具有以下性质 ：
1.若随机变量 X与Y相互独立 , 则 XY 0.
前面，我们已经看到： 若 X 与 Y 独立，则 X 与Y不相关， 但由X与Y不相关，不一定能推出X与Y独立. 但对下述情形，独立与不相关等价: 若(X,Y)服从二维正态分布，则
X与Y独立

X与Y不相关
三、矩
定义 设X 和Y 是随机变量, 若 E(Xk), k=1,2,...
存在, 称它为X 的k 阶原点矩, 简称k 阶矩.
它们的分布, 而是关心它们的数学期望和方差, 这也是
因为分布携带了太多的信息, 很难给人们一个快捷的印 象.而人们在研究两个随机变量的关系的时候, 也不关心 它们的联合分布, 这是因为携带了更多信息的内容. 人 们关心的是, 这两个随机变量是联系非常紧密呢? 还是
毫无关系?即相互独立? 人们希望用一个数字就能够在相