第13讲 协方差及相关系数 矩及协方差矩阵

2 2 i 2
因此
2 2 3 2 Eη E(ξ 2, 因ξ 而 i ξ ) 3 i ξ ~ N(0, ), 3 3 i1
2
1 1 cov(ξ ξ ) E[(ξ 0, i ξ , i ξ ) ξ ] E(ξ i ξ ) E ξ 3 3 即ξ 而它们都是正态分布, i ξ 与 ξ 互不相关,
则
ρ XY
Cov(X,Y) D(X) D(Y)
称为随机变量X与Y的相关系数. XY是一个无量纲的量.
现证明||1
令X'=X-EX,Y'=Y-EY, 则X',Y'都是期望值为0的随机变量. 对于任给的实数t, 相信E(X'+tY')20, 即 EX'2+2tE(X'Y')+t2EY'20, 即是说关于t的一元二次方程 EX'2+2tE(X'Y')+t2EY'2=0最多只有单个实根或者没有实根, 也就说明判别式 b2-4ac0
四、矩
定义 设X和Y是随机变量, 若 E(Xk), k=1,2,... 存在, 称它为X的k阶原点矩, 简称k阶矩. 若 若 E{[X-E(X)]k}, k=1,2,... E(XkYl), k,l=1,2,...
存在, 称它为X的k阶中心矩.
存在, 称它为X和Y的k+l阶混合矩.
若
E{[X-E(X)]k[Y-E(Y)]l}, k,l=1,2,...
定理
两个随机变量X和Y呈线性关系的充分必要条件,
是它们的相关系数的绝对值为1, 即 ||=1
而另一方面, 如果X与Y相互独立, 则它们的相关系数必为0,
即=0.
当然, 数学家们会喋喋不休地宣传当=0时未见得X与Y相互
独立, 并在作业或者例子中经常给出反例. 但是, 作为经验之谈, 当=0时, 两个随机变量确实关系不 大了.这也是相关系数被广泛使用的原因.
例2
xi~N(0,1)(i=1,2,3), 并且x1,x2,x3相互独立,
3 ξ ξ ξ 1 3 2 1 2 3 ξ ξ , η (ξ i i ξ ), 3 i1 3 i1
求cov( ξ , ξ Eη,cov(ξ, η). 1 ),
1 1 3 1 解 E ξ 0,D ξ D ξ ,则 ξ ~ N(0, ) i 3 3 i1 3 1 3 1 2 1 cov( ξ , ξ ξ ξ Eξ 1 ) E( ξ ξ 1 ) E i 1 1 3 3 i1 3 2 1 2 E(ξ i ξ ) E(ξ 2ξ iξ ξ ) 1 3 3 3
它的行列式det C=s12s22(12), C的逆阵为
2 ς 1 2 detC ρς1 ς2
C
1
ρς1 ς2 2 ς1
对于离散型随机变量, 假设X,Y的概率函数为P(X=Xi,Y=yj)=pij, (i,j=1,2,...),则
E(XY) xiyjpij
i j
对于连续型随机变量, 假设X,Y的联合概率密度为j(X,y), 则

E(XY)

xy(x,y)dydx
例1
假设X,Y的联合概率函数如下表所示 X Y 0 1/3 1
到要用协方差和相关系数的原因.
一、协方差
对于两个随机变量X和Y当它们是完全相等的时候, 联系是 最紧密的了.而当它们相互独立的时候, 联系是最差的了. 因此我们先研究它们的和X +Y的方差: D(X+ Y)=E{X + Y -E(X + Y)}2
=E{X -E X + Y -E Y}2
=E{(X -EX)2+(Y -E Y)2+2(X -EX)(Y -E Y)} =E(X -EX)2+E(Y -E Y)2+2E{(X -EX)(Y -E Y)} =DX +DY+2E{(X -EX)(Y -E Y)}
例如 • 一个人的身高和体重是非常有关系的, 但是又并不完全是严格的 函数关系, 那么关系程度究竟有多大呢? • 一个人的吸烟量和他的平均寿命是有关系的, 这个关系量又有多 大呢?
• 一种化肥的施用量和农作物的产量是有关系的, 这个关系的大小
又是如何呢?
• 这样一些问题都希望能够用一个数字就表示出来, 这就是人们想
XY是一个可以用来表征X,Y之间线性关系紧密程度的量. 当| XY |较大时, 通常说X,Y线性相关的程度较好; 当 | XY |较小时, 说X,Y线性相关的程度较差. 当XY =0时, 称X和Y不相关. 如X,Y相互独立, 则必不相关. 但X,Y不相关, 却不一定 相互独立.
设(X,Y)服从二维正态分布, 它的概率密度为
而人们在研究两个随机变量的关系的时候, 也不关心它 们的联合分布, 这是携带了更多信息的内容. 人们关心 的是, 这两个随机变量是联系非常紧密呢? 还是毫无关 系?即相互独立? 人们希望用一个数字就能够在相当程度
上描述两个随机变量的联系程度.
当然, 从数学上看, 这是不可能的
因为联合分布的信息量为许多个数, 甚至无穷多个数, 因此一个数不可能反映出无穷多个数携带的信息. 但是我们仍然希望能够找到描述它们之间相互关系的一 个数, 至少在大多数实际情况下能够描绘两个随机变量 联系的紧密程度, 例如, 如果这个数字越接近于零, 说 明这两个随机变量的联系越差, 越接近于相互独立, 反 之则联系越紧密, 越接近于相互之间有关系.
而X与Y的边缘分布及数学期望为: X -1 0 2
P
Y P
5/12
0 7/12
1/6
1/3 1/12
5/12
1 1/3
5 10 5 1 1 13 则EX ,EY 12 12 12 36 3 36 cov(X,Y) E(XY) EXEY 13 5 13 221 36 12 36 432
第四章
数字特征
第四节 协方差及相关系数
第五节 矩、协方差矩阵
一、协方差 二、相关系数 三、随机变量的相关性 四、矩
五、随机向量的协方差矩阵
定性的思考
通常人们在研究单个的随机变量的时候, 并不关心它们 的分布, 而是关心它们的数学期望和方差, 这也是因为
分布携带了太多的信息, 很难给人们一个快捷的印象.
高等院校非数学类本科数学课程
大 学 数 学（四）
—— 概率论与数理统计
第13讲 协方差及相关系数;矩、协方差矩阵
脚本编写：肖庆丰
教案制作：肖庆丰
第四章
数字特征
理解数学期望概念，掌握它的性质与计算。 理解方差概念，掌握它的性质与计算。 掌握（0－1）分布，二项分布，泊松分布，正态 正态分布，指数分布的数学期望与方差。 掌握协方差、相关系数的概念及计算。 了解矩、协方差矩阵的概念。
2 因此ξ ξ 与 ξ 相互独立, 则(ξ ξ ) 与 ξ 也相互 i i 2 独立,则η (ξ ξ ) 与 ξ 也相互独立, 而相互 i i1 3
独立必互不相关, 因此cov( ξ , η) 0
二、相关系数与随机变量的相关性
定义2 设随机变量X与Y的方差均存在，并且均不为零，
D(X+Y)=DX+DY+2cov(X, Y) 当X和Y相互独立时, 联系最不紧密, 这时候 cov(X,Y)=0, 因此D(X+Y)=DX +DY 而当X=Y时, 联系最紧密, 这时候 DX =DY =cov(X,Y), 因此D(X +Y)=D(2X)=4DX
协方差的计算
在已知两个随机变量X和Y的联合分布的情况下怎样计算它们的协 方差cov(X,Y)呢, cov(X,Y)=E[(X-EX)(Y-EY)] =E[XY-XEY-YEX+EXEY] =E(XY)-EXEY-EYEX+EXEY =E(XY)-EXEY 即相乘的均值减去均值的相乘. 其中EX和EY是通过边缘分布计算的, 因此关键是如何计算E(XY).
存在, 称它为X和Y的k+l阶混合中心矩. 因此, E(X)是X的一阶原点矩, D(X)是X的二阶中心矩, Cov(X,Y) 是X和Y的二阶混合中心矩.
五、随机变量的协方差矩阵 二维随机变量(X1,X2)有四个二阶中心矩(设它们都存在), 分别记为 c11=E{[X1-E(X1)]2}, c12=E{[X1-E(X1)][X2-E(X2)]}, c21=E{[X2-E(X2)][X1-E(X1)]},
都存在, 则称矩阵
c11 c 21 C c n1
c12 c22 c n2
c1n c2n c nn
为n维随机变量(X1,X2,...,Xn)的协方差矩阵, 易知此矩阵是一个对称矩阵.
二维正态随机变量(X1,X2)的概率密度为
2 (x μ ) 1 1 1 f(x1 ,x2 ) exp 2 2 2 2(1 ρ ) ς 2πς1 ς2 (1 ρ 1
c22=E{[X2-E(X2)]2}.
将它们排成矩阵的形式:
c11 c 21
c12 c22
这个矩阵称为随机变量(X1,X2)的协方差矩阵.
设n维随机变量(X1,X2,...,Xn)的二阶混合中心矩 cij=Cov(Xi,Xj)=E{[Xi-E(Xi)][Xj-E(Xj)]}, i,j=1,2,...,n
1
(x1 μ1 )(x2 μ2 ) (x2 μ2 )2 2ρ . 2 ς1 ς2 ς2
现要将上式用矩阵形式表示, 引入下面列矩阵:
μ1 x1 X , μ μ2 x2
(X1,X2)的协方差矩阵为
2 ρς1 ς2 c11 c12 ς1 C 2 ρς1 ς2 ς2 c21 c22
定义1 量E{[X-E(X)][Y-E(Y)]}称为随机变量X与Y的协方差. 记 为Cov(X,Y), 即 Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}.
由定义, 知协方差具有下述性质:
(1) Cov(aX, bY)=abCov(X,Y), a,b是常数. (2) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y). (3) Cov[X,Y]=Cov[Y,X], Cov[X,X]=D(X). 由上述定义知道, 对于任意两个随机变量X和Y, 下列等式成立: D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 将Cov(X,Y)的定义式展开, 易得 Cov(X,Y)=E(XY)-E(X)E(Y)
-1
0
0
1/6
1/12
0
1/3
0
2
E(XY) ( 1) 0 0 ( 1) ( 1) 1 3 12 3 1 1 0 0 0 0 0 1 0 6 3 5 1 13 2 0 2 0 2 10 12 3 36
2 (x μ ) 1 1 1 f(x,y) exp 2 2 2 2(1 ρ ) ς 2πς1 ς2 1 ρ 1
(x μ1 )(y μ2 ) (y μ2 )2 2ρ , 2 ς1 ς2 ς2
则可以证明X,Y的相关系数XY正好就是, 即 XY=, 而且服从二维正态分布的随机变量X,Y相互独立的 充分必要条件是此相关系数为0.
2 2 4cov 2(X,Y) 4EX' EY' 0
cov 2(X,Y) 2 1,即ρ 1或| ρ | 1 DXDY
再考虑当||=1时会是什么情况, 这时方程
EX'2+2tE(X'Y')+t2EY'2=0 存在着一个单根, 假设这单根为t0, 则有 EX'2+2t0E(X'Y')+t02EY'2=0 即E(X'+t0Y')2=0, 而当一个总是取非负值的随机变量的期望 值为0时, 答案只能是此随机变量就是常数0, 即存在着实数 t0使得X'+t0Y'=0, 即X和Y的离差是正好成比例的, 我们将这 种情况称作X与Y呈线性关系, 因此就有定理