随机变量的协方差和相关系数
合集下载
概率论与数理统计 5.3 协方差与相关系数
存在，称它为X的k阶中心矩
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
协方差及相关系数
所以X与Y不独立.
1/8 0 1/8 2/8 1/8 1/8 1/8 3/8 3/8 2/8 3/8 1
若(X,Y) ~ N(1,2 ,12, 22,)，即(X,Y)概率密度函数为
f
( x,
y)
1
2 1 2
1
2
exp{
1
2(1 2 ) [(
x 1 1
)2
2( x 1 )( y 2 ) ( y 2 )2 ]}
(1) 求 Z 的数学期望和方差. (2) 求 X 与 Z 的相关系数.
解 (1)由E( X ) 1, D( X ) 9, E(Y ) 0, D(Y ) 16.
得 E(Z ) E( X Y ) 1 E( X ) 1 E(Y )
32 3
2
1. 3
D(Z ) D( X ) D(Y ) 2Cov( X ,Y )
注：若Y aX b, 则 a<0时,ρXY=-1
例2 (X,Y)的联合分布为:
求相关系数ρXY,并判断X, Y是否相关,是否独立.
解：
E( X ) xi pi 0
i
E(Y ) y j p. j 0
j
X Y -1 0 1 -1 1/8 1/8 1/8 0 1/8 0 1/8 1 1/8 1/8 1/8
3
1
2
( z5)2
e 18 ,
z
契比雪夫不等式
定理 设随机变量 X 具有数学期望 E(X ) μ,
方差 D( X ) σ2,则对于任意正数ε, 不等式
P{
X
μ
ε}
σ2 ε2
成立.
证明 取连续型随机变量的情况来证明. 设 X 的概率密度为 f ( x),则有
随机变量的相关系数和相关性
3
18
O
1
x
E(XY )
xy f ( x, y)dxdy
1
dx
3x
2xy dy
5
，
0
2x
4
Cov( X , Y ) E( XY ) E( X ) E(Y ) 5 ，
36
XY
Cov( X ,Y )
5
0.9449 .
D( X )D(Y ) 2 7
i
j
E( X 2 )
x
2 i
pi
•
3.1，
i
D( X ) E( X 2 ) [E( X )]2 3.1 1.12 1.89，
E(Y 2 )
y
2 j
p •
j
0.4，D(Y ) 0.24 ,
j
E(XY )
xi y j pij
ij
0 0.2 (1) 0.1 0 0.4 2 0.3 0.5， 7
D( X ) b
b b
1 1
b0 b0
14
例3 已 知X与Y分 别服 从 正态 分 布N (1,32 )和N (0,42 ),
(1) 若 XY 0,求( X ,Y )的联合密度；
(2) 若 XY
1,Z 2
X 3
Y 2
,求E(Z ),D(Z )和 XZ .
解 (1) 由 XY 0，知X与Y相互独立，
证 D( X Y ) D( X ) D(Y ) 2Cov ( X , Y )
2 2 XY 0，
第14讲 协方差与相关系数
X 和 Y 独立时 X 和 Y 不相关， 反之不一定成立。 但对下述情形，独立与不相关是一回事： 若(X, Y )服从二维正态分布，则
X 与Y 独立的充分必要条件是X与Y不相关。 参见P70-例3.6.3： X与Y独立 XY=0
练习2 1) X ~ U (0,1), Y X 2 , 求 XY
2 1 x2 1 2 dy = 1 x -1 x 1 1 x2 f X ( x) 0, 其他 1 2 E( X ) x 1 x2 d y 0
1
E ( XY )
1
x 2 y 2 1 1 1
( xy/ ) dxdy
期望、方差、协方差的性质对比
期望
E(c)=C E(aX)=aE(X), E(X+Y) =E(X)+E(Y) 当X与Y独立时 E(XY)=E(X)E(Y)
方差
D(c)=0 D(aX)=a2D(X),
协方差
Cov(c,X)=0
Cov(aX,bY) =abCov(X,Y) D(X+Y)=D(X)+ Cov(X+Y,Z) D(Y)+2Cov(X,Y) =Cov(X,Z) +Cov(Y,Z)
y 1
1 y 2 1 y 2
xdx dy
1 0 dy 0.
所以，Cov(X, Y)= E(XY)-E(X) E(Y) = 0 . 此外，Var(X) > 0, Var(Y) > 0 . 所以，XY = 0，即 X 与 Y 不相关。 但是，在第三章已计算过: X与Y不独立。
第十四讲 协方差与相关系数
前面我们介绍了随机变量的数学期望 和方差，对于多维随机变量，反映分量之 间关系的数字特征中，最重要的，就是本 讲要讨论的 协方差和相关系数
协方差与相关系数
其余均方误差
e
D(Y
)(1
2 XY
).
从这个侧面也
能说明 XY 越接近1，e 越小. 反之， XY 越近于0，
e 就越大， Y与X的 线性相关性越小.
完
例3 设 ( X ,Y ) 的分布律为
X
Y
2 1 1 2 P{Y yi }
1
0 1/4 1/4 0
1/ 2
4
1/4 0 0 1/4 1/2
D(Y
)[1
2 XY
],
D(Y
)1
[cov( X ,Y )]2 D( X )D(Y )
D(Y
)[1
2 XY
],
由于方差
D(Y
)
是正的，
故必有
1
2 XY
0,
所以
XY 1.
性质2. 若 X 和 Y 相互独立，则 XY 0;
注意到此时 cov( X ,Y ) 0, 易见结论成立.
注： X 与Y 相互独立
完
例4 设 服从 [ , ] 上的均匀分布, 且
X sin , Y cos
判断 X 与 Y 是否不相关, 是否独立.
解
由于
E( X )
1
2
sind 0,
E(Y
)
1
2
cosd 0,
而
E(
XY
)
1
2
sin cosd 0.
2
因此
E( XY ) E( X )E(Y ),
从而 X 与 Y 不相关. 但由于 X 与 Y 满足关系:
完
例2 设连续型随机变量 ( X ,Y ) 的密度函数为
f
(
x,
随机变量的方差、协方差与相关系数4-2
Cov ( X , Y ) E ( XY ) E ( X ) E (Y )
从而, 作为协方差的特例，方差也应有
D ( X ) C o v ( X , X ) E ( X X ) E ( X ) E ( X ) E ( X ) [ E ( X )] .
2 2
又∵ X 与Y 相互独立时, 总有
D ( U ) 2 D ( X ) 3 D (Y ) 0
2 2
解 数学期望
E ( U ) 2 E ( X ) 3 E (Y ) 1
2 ( 5 ) 3 (1 1 ) 1 4 4 ;
E (V ) E (Y Z ) 4 E ( X ) E (Y ) E ( Z ) 4 E ( Z )
返回
退出
2. 协方差的具体计算公式与实际计算步骤
⑴ 对离散型变量
E ( X ) xi pij (或 xi pi ) ,
i 1 j 1 i 1
E (Y ) E ( XY )
x
i 1 j 1
y
i 1 j 1
j
pij (或 y j p j ) ,
j 1
i
y j pij ,
Cov ( X , Y ) E ( XY ) E ( X ) E (Y ) .
⑵ 对连续型变量
E( X ) E (Y ) E ( XY )
xf ( x , y )dxdy (或 yf ( x , y )dxdy (或
是 X 的方差. 是 X 与Y 的协方差.
返回
E[( X E ( X )(Y E (Y )]
随机变量的相关系数和相关性解析
3
4. D( X Y ) D( X ) D(Y ) 2Cov (X,Y )
2
E( X EX )2 E(Y EY )2 2E( X EX )(Y EY ) D( X ) D(Y ) 2 cov( X , Y ) ， (X,Y ) . 类似地有 D( X Y ) D( X ) D(Y ) 2Cov n n Cov ( X i , X j ) 推广：D Xi D( X i ) 2 i j i 1 i 1
X Y 1 1 C ov ( ， ) XY D( X ) D(Y ) 3 2 3 2 1 1 （ ） 3 2 4 2 1 ， 6 2
X Y 1 1 X Y D( Z ) D( ) D( X ) D(Y ) 2C ov( ， ) 3 . 3 2 9 4 3 2
因此，若X1,X2, …,Xn两两独立,，则有 n n D Xi D( X i ) i 1 i 1
D( X Y ) EX Y E( X Y ) 2 E( X EX ) (Y EY ) E ( X EX )2 (Y EY )2 2( X EX )(Y EY )
y
3
y 3x
y 2x
2
O
E( X ) E(Y )
2
19 . E(Y ) dx 2 y dy 0 2x 6
1 3x 2
2 xf ( x, y ) dxdy 0 dx 2 x 2 x dy ， 3 1 3x 5 yf ( x, y ) dxdy dx 2 y dy , 0 2x 3
性质2 若 Y a bX ，则 XY 1 (b 0) 证
4. D( X Y ) D( X ) D(Y ) 2Cov (X,Y )
2
E( X EX )2 E(Y EY )2 2E( X EX )(Y EY ) D( X ) D(Y ) 2 cov( X , Y ) ， (X,Y ) . 类似地有 D( X Y ) D( X ) D(Y ) 2Cov n n Cov ( X i , X j ) 推广：D Xi D( X i ) 2 i j i 1 i 1
X Y 1 1 C ov ( ， ) XY D( X ) D(Y ) 3 2 3 2 1 1 （ ） 3 2 4 2 1 ， 6 2
X Y 1 1 X Y D( Z ) D( ) D( X ) D(Y ) 2C ov( ， ) 3 . 3 2 9 4 3 2
因此，若X1,X2, …,Xn两两独立,，则有 n n D Xi D( X i ) i 1 i 1
D( X Y ) EX Y E( X Y ) 2 E( X EX ) (Y EY ) E ( X EX )2 (Y EY )2 2( X EX )(Y EY )
y
3
y 3x
y 2x
2
O
E( X ) E(Y )
2
19 . E(Y ) dx 2 y dy 0 2x 6
1 3x 2
2 xf ( x, y ) dxdy 0 dx 2 x 2 x dy ， 3 1 3x 5 yf ( x, y ) dxdy dx 2 y dy , 0 2x 3
性质2 若 Y a bX ，则 XY 1 (b 0) 证
协方差
1. 协方差与相关系数的定义 量 E{[ X E( X )][Y E(Y )]} 称为随机变量
X与Y的协方差, 记为 cov( X ,Y ),
covX ,Y EX EX Y EY
称ρXY
cov( X ,Y ) 为随机变量X与Y的 D( X ) D(Y )
相关系数.
2. 相关系数的意义 当 ρXY 接近1时,表明X ,Y的线性关系联系较紧密. 当 ρXY 接近0时, X ,Y线性相关的程度较差. ρXY 0, 则称X和Y不相关.
σ1n σ2n σnn
为n 维随机变量 ( X1, X2, , Xn ) 的协方差阵.
2. 二维随机变量的协方差矩阵
设X1, X2 为二维随机变量 , 其协方差矩阵为
σ11 σ12 , σ21 σ22 其中
σ11 E[ X1 E( X1)]2 DX1 ,
σ21 E{[ X2 E( X2 )][ X1 E( X1)]} σ12,
1
2πσ1σ 2 1 ρ2
( x μ1)( y μ2 )
e
x μ1 2σ12
2
e
2
1 1 ρ2
y
μ2 σ2
ρ
x
μ1 σ1
2
dydx
令 t 1 y μ2 ρ x μ1 , u x μ1 ,
1 ρ2 σ2
σ1
σ1
cov(X ,Y )
1
2π (σ1σ 2
σ12 E{[ X1 E( X1)][ X2 E( X2 )]},
σ22 E[ X2 E( X2 )]2 DX2 .
注10 由于cij = cji i, j 1,2, n,所以
协方差矩阵为对称的非负定矩阵. 注20 协方差矩阵的应用.
随机变量的方差、协方差与相关系数4-2讲解学习
⑵ 两随机变量X 与Y 对各自均值的偏差以差之乘积的形 式给出的平均波动，称为二者的协方差，记为 Cov(X,Y) ,
亦即 C o v ( X , Y ) E { [ X E ( X ) ] [ Y E ( Y ) ] } .
⑶ 两随机变量X 与Y 的协方差与该二变量标准差乘积的
比值，称为二者的相关系数，记为 X ,Y , 亦即
D (X Y ) D (X ) D (Y ).
返回
退出
方差与协方差（含相关系数）重要性质选证三 证
C o v ( X , Y ) C o v [ X E ( X ) , Y E ( Y ) ]
D (X ) D (Y)C ov[XE (X ),YE (Y)]D (X ) D (Y )C ov(X *,Y *) D (X ) D (Y)
XY
Cov(X,Y) .
D(X) D(Y)
返回
退出
2. 方差与协方差的理论计算公式
⑴ 对离散型变量
D(X) [xi E(X)]2pi 或 D(X) [xi E(X)]2pij ;
i1
j1i1
C o v(X ,Y ) [x iE (X )][yjE (Y )]p ij
i 1j 1
⑵ 对连续型变量
2) D(C) 0
DXCD(X)
2) Cov(C1,C2)0
Cov(C1,Y)0, Cov(X,C2)0
3) D(CX)C2D(X)
3) C o v (C 1 X ,C 2 Y ) C 1 C 2 C o v (X ,Y )
C o v(C X ,C Y ) C 2 C o v(X ,Y )
4) D (X Y ) D (X )D (Y )
Cov(X,Y) E (X Y )E (X )E (Y ) 从而, 作为协方差的特例，方差也应有
协方差
1
(2 )n 2 | C
|1
2
exp
1(X 2
)C1( X
),
则称X服从n元正态分布。
其中C是 (X1, X2, …, Xn) 的协方差阵，
|C|是C的行列式， C 1表示C的逆矩阵，
X和 是n维列向量，X 表示X的转置。
n元正态分布的几条重要性质： (1). X =(X1, X2, …, Xn) ' 服从 n 元正态分布
解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立, 知 Z=2X-Y+3 服从正态分布，且
E(Z) = 2E(X)-E(Y)+3 = 2-0+3=5 ， Var(Z) = 4Var(X)+Var(Y) = 8+1 = 9,
故，Z~N(5, 32) .
Z 的概率密度为
fZ (z) 3
当 X 和 Y 相互独立时，Cov(X, Y)=0； (5). Var(X+Y)=Var(X)+Var(Y)+2Cov(X, Y) .
性质(5)可推广到 n 个随机变量的情形：
n
n
Var( Xi ) Var(Xi ) 2 Cov(Xi , X j ) .
i1
i1
i j
若 X1, X2, …, Xn 两两独立，则
但是，在例3.6.2已计算过: X与Y不独立。
(3). |ρ|=1
存在常数a, b(b≠0)，
使 P{ Y = a+bX } = 1 ，即X和Y以概率1 线性相关。
前面, 我们已经看到： 若X 与Y 独立，则X 与Y 不相关；但由X
与Y 不相关，不一定能推出X与Y独立。
4-3协方差
2 = (1 − ρ XY ) DY = min E[Y − ( a + bX )]2
= DY + DX ⋅
COV 2 ( X , Y )
− 2COV ( X , Y ) ⋅
COV ( X , Y ) DX
即
2 m E Y −(a+bX)] = (1− ρX )D in [ Y Y a,b
2
a ,b
= EY + b EX + a − 2aEY − 2bEXY + 2abEX 达到最小。 求a，b 使 e 达到最小。 ，
2 2 2 2
∂e Y X ∂a = 2a + 2bEX − 2 EY = 0 ⇒a = E −bE 令： ∂ e = 2bEX 2 − 2 EXY + 2aEX = 0 ∂b
协方差与相关系数
(
)
可以证明： 可以证明：X,Y相互独立的充要条件是 相互独立的充要条件是 已证： 已证：
fX ( x) = 1 2π σ 1 e
( x − µ1 ) 2 − 2 2σ 1
ρXY = ρ = 0
e
( y− µ 2 ) 2 − 2 2σ 2
, fY ( y ) =
1 2π σ 2
2 2 则：EX = µ1 , DX = σ 1 , EY = µ 2 , DY = σ 2 ,
a,b ,b
COV ( X ,Y ) ; ⇒ b0 = DX
= E (Y − EY + EX
COV ( X , Y ) COV ( X , Y ) 2 −X⋅ ) DX DX
COV ( X , Y ) 2 ) = E ((Y − EY ) − ( X − EX ) ⋅ DX
= DY + DX ⋅
COV 2 ( X , Y )
− 2COV ( X , Y ) ⋅
COV ( X , Y ) DX
即
2 m E Y −(a+bX)] = (1− ρX )D in [ Y Y a,b
2
a ,b
= EY + b EX + a − 2aEY − 2bEXY + 2abEX 达到最小。 求a，b 使 e 达到最小。 ，
2 2 2 2
∂e Y X ∂a = 2a + 2bEX − 2 EY = 0 ⇒a = E −bE 令： ∂ e = 2bEX 2 − 2 EXY + 2aEX = 0 ∂b
协方差与相关系数
(
)
可以证明： 可以证明：X,Y相互独立的充要条件是 相互独立的充要条件是 已证： 已证：
fX ( x) = 1 2π σ 1 e
( x − µ1 ) 2 − 2 2σ 1
ρXY = ρ = 0
e
( y− µ 2 ) 2 − 2 2σ 2
, fY ( y ) =
1 2π σ 2
2 2 则：EX = µ1 , DX = σ 1 , EY = µ 2 , DY = σ 2 ,
a,b ,b
COV ( X ,Y ) ; ⇒ b0 = DX
= E (Y − EY + EX
COV ( X , Y ) COV ( X , Y ) 2 −X⋅ ) DX DX
COV ( X , Y ) 2 ) = E ((Y − EY ) − ( X − EX ) ⋅ DX
随机变量的协方差和相关系数
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
cov( X , Y ) ( xi EX )( y j EY ) pij量时,
cov( X , Y )
( x EX )( y EY ) f ( x, y)dxdy.
存在，称它为X的k阶中心矩. 注：均值 E(X)是X一阶原点矩, 方差D(X)是X的二阶中心矩.
设 X 和 Y 是随机变量，若
E( X Y )
k
l
k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩.
若 E{[ X E ( X )]k [Y E (Y )]l } 存在， 称它为X 和 Y 的 k+l 阶混合中心矩. 注:协方差cov(X,Y)是X和Y的二阶混合中心矩.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
4. 若 XY 0 ，则称X和Y（线性）不相关。
定理：若随机变量X与Y的数学期望和方差都存 在，且均不为零，则下列四个命题等价： （1） XY 0 ； （2）cov(X ,Y) = 0；
（3）E(XY)=EXEY；
（4）D(X ±Y)=DX+DY。
n2
为(X1,X2, …,Xn) 的相关系数矩阵。
由于 i i
cov( X i , X i ) 1, D( X i ) D( X i )
故相关系数矩阵的主对角元素均为1.
五、 原点矩和中心矩
定义 设X和Y是随机变量，若
E ( X k ), k 1,2, 存在，称它为X的k阶原点矩，简称 k阶矩. 若 E{[ X E ( X )]k }, k 2,3,
协方差和相关系数
§4.4 协方差和相关系数随机变量的数字特征，包括数学期望、方差、协方差和相关系数等。
协方差和相关系数是考虑两个随机变量之间的某种关系。
协方差的意义不太直观，它考察两个随机变量(随机向量)与各自均值之差的加权平均值，相关系数则是考虑两个随机变量取值之间的关系。
1. 协方差定义：对两个随机变量X 、Y ，称E X EX Y EY [()()]--为X 与Y 的协方差，记为Cov (X , Y )，即 C o vX Y E X EX Y EY (,)[()()]=-- 2. 相关系数定义：对两个随机变量X 、Y ，称C o vX YD X D Y (,)()()为X 与Y 的相关系数或标准协方差，记为ρXY ，即ρXY Cov X Y D X D Y =(,)()()3. 方差、协方差的运算性质(1) D X Y D X D Y Cov X Y ()()()(,)+=++2 (2) Cov X Y E XY E X E Y (,)()()()=-⋅ 推论：若随机变量X 、Y 独立，则 Cov X Y XY (,)==ρ0Problem ：若Cov X Y XY (,)==ρ0，则X 、Y 是否独立？ (3) Cov X Y Cov Y X (,)(,)= (4) Cov aX bY abCov X Y (,)(,)=(5) Cov X X Y Cov X Y Cov X Y (,)(,)(,)1212+=+Cov X X Y Cov X Y Cov X Y (,)(,)(,)1212-=-4. 相关系数的性质(1) 柯西-许瓦兹(Cauchy-Schwarz)不等式：对任意两个随机变量X 、Y ，若E X E Y ()()22<∞<∞ , ，则 (())()()E XY E X E Y 222≤⋅ 证明：对任意实数t ，有q t E X tY E X t E Y tE XY ()(())()()()=+=++≥222220 因此，二次方程q t ()=0的判别式 440222(())()()E XY E X E Y -⋅≤即(())()()E XY E X E Y 222≤⋅ 证毕。
随机变量的方差、协方差与相关系数
随机变量的方差、 协方差与相关系数
目 录
• 随机变量的方差 • 随机变量的方差 • 随机变量的协方差 • 相关系数 • 方差、协方差与相关系数的关系 • 实例分析
01
CATALOGUE
随机变量的方差
协方差的定义
协方差是衡量两个随机变量同时偏离其各自期望值程度的量，表示两个随机变量 之间的线性相关程度。
03
当两个随机变量的尺度相差很大时，直接计算协方差可能 得出不准确的结果，此时归一化的相关系数更为适用。
方差、协方差与相关系数的应用场景
方差在统计学中广泛应用于衡量数据的离散程度，例如在计算平均值、中位数等统计量时需要考虑数 据的离散程度。
协方差在回归分析、时间序列分析等领域中有着广泛的应用，用于衡量两个变量之间的线性相关程度。
3
当只考虑一个随机变量时，方差即为该随机变量 与自身期望值之差的平方的期望值，因此方差是 协方差的一种特例。
协方差与相关系数的关系
01
相关系数是协方差的一种归一化形式，用于消除两个随机变量 尺度上的差异，计算公式为 $r = frac{Cov(X,Y)}{sigma_X sigma_Y}$。
02
相关系数的取值范围是 [-1,1]，其中 1 表示完全正相关，1 表示完全负相关，0 表示不相关。
详细描述
对称性是指如果随机变量X和Y的相关系数是r，那么随机变量Y和X的相关系数也是r。有界性是指相关 系数的绝对值不超过1，即|r|≤1。非负性是指相关系数的值总是非负的，即r≥0。
相关系数的计算
总结词
相关系数的计算方法有多种，包括皮尔 逊相关系数、斯皮尔曼秩相关系数等。
VS
详细描述
皮尔逊相关系数是最常用的一种，其计算 公式为r=∑[(xi-x̄)(yi-ȳ)]/[(n-1)sxy]，其 中xi和yi分别是随机变量X和Y的第i个观测 值，x̄和ȳ分别是X和Y的均值，sxy是X和 Y的协方差。斯皮尔曼秩相关系数适用于 有序分类变量，其计算方法是根据变量的 秩次进行计算。
目 录
• 随机变量的方差 • 随机变量的方差 • 随机变量的协方差 • 相关系数 • 方差、协方差与相关系数的关系 • 实例分析
01
CATALOGUE
随机变量的方差
协方差的定义
协方差是衡量两个随机变量同时偏离其各自期望值程度的量，表示两个随机变量 之间的线性相关程度。
03
当两个随机变量的尺度相差很大时，直接计算协方差可能 得出不准确的结果，此时归一化的相关系数更为适用。
方差、协方差与相关系数的应用场景
方差在统计学中广泛应用于衡量数据的离散程度，例如在计算平均值、中位数等统计量时需要考虑数 据的离散程度。
协方差在回归分析、时间序列分析等领域中有着广泛的应用，用于衡量两个变量之间的线性相关程度。
3
当只考虑一个随机变量时，方差即为该随机变量 与自身期望值之差的平方的期望值，因此方差是 协方差的一种特例。
协方差与相关系数的关系
01
相关系数是协方差的一种归一化形式，用于消除两个随机变量 尺度上的差异，计算公式为 $r = frac{Cov(X,Y)}{sigma_X sigma_Y}$。
02
相关系数的取值范围是 [-1,1]，其中 1 表示完全正相关，1 表示完全负相关，0 表示不相关。
详细描述
对称性是指如果随机变量X和Y的相关系数是r，那么随机变量Y和X的相关系数也是r。有界性是指相关 系数的绝对值不超过1，即|r|≤1。非负性是指相关系数的值总是非负的，即r≥0。
相关系数的计算
总结词
相关系数的计算方法有多种，包括皮尔 逊相关系数、斯皮尔曼秩相关系数等。
VS
详细描述
皮尔逊相关系数是最常用的一种，其计算 公式为r=∑[(xi-x̄)(yi-ȳ)]/[(n-1)sxy]，其 中xi和yi分别是随机变量X和Y的第i个观测 值，x̄和ȳ分别是X和Y的均值，sxy是X和 Y的协方差。斯皮尔曼秩相关系数适用于 有序分类变量，其计算方法是根据变量的 秩次进行计算。
4.3 协方差与相关系数.
Covariance
两个随机变量X与Y之间的联系
对于二维随机变量（X,Y)，除了关心它的各个分量 的期望和方差外，还希望知道两个随机变量X与Y之间 的联系，希望通过对其中一个随机变量的观察， 以预测另一个随机变量的取值。 例如：研究子身高Y与父身高X之间的相互关系， 以期通过父高预测他的子高，这实际上就是要求构造 一个预测函数h(x)，当得到父高X的观察值x时，就以 相应的函数值y=h(x)为子高Y的预测值.
0 f X ( x) 1
D
0 FX ( x ) 1
2.下面的数学期望与方差都存在，当随机变量X、Y相互 独立时，下列关系式中错误的是( ( C ) )。
( A ) E ( XY ) = E(X )E(Y) ( B ) D ( X Y) = D(X) + D(Y) ( C ) D ( XY) = D(X) D(Y) ( D ) cov ( X，Y ) = 0
X E ( X ) Y E (Y ) E[ ] D( X ) D(Y )
结论：
相关系数实际上是随机变量X的标准化随机变量
与Y的标准化随机变量的协方差
相关系数是衡量x与y之间线性相关 程度的量
e=E{[Y-(a+bX)]2}
？ e的值越小，说明a+bX 与Y的近似程度越好。
怎样使e的值越小？
解方程得 a0 E(Y ) b0 E( X )
Cov( X , Y ) b0 D( X )
Cov( X , Y ) a0 E(Y ) b0 E( X ) E (Y ) E ( X ) D( X )
Cov( X , Y ) b0 D( X )
e最小 E{[Y (a 0 b0 X )] }
两个随机变量X与Y之间的联系
对于二维随机变量（X,Y)，除了关心它的各个分量 的期望和方差外，还希望知道两个随机变量X与Y之间 的联系，希望通过对其中一个随机变量的观察， 以预测另一个随机变量的取值。 例如：研究子身高Y与父身高X之间的相互关系， 以期通过父高预测他的子高，这实际上就是要求构造 一个预测函数h(x)，当得到父高X的观察值x时，就以 相应的函数值y=h(x)为子高Y的预测值.
0 f X ( x) 1
D
0 FX ( x ) 1
2.下面的数学期望与方差都存在，当随机变量X、Y相互 独立时，下列关系式中错误的是( ( C ) )。
( A ) E ( XY ) = E(X )E(Y) ( B ) D ( X Y) = D(X) + D(Y) ( C ) D ( XY) = D(X) D(Y) ( D ) cov ( X，Y ) = 0
X E ( X ) Y E (Y ) E[ ] D( X ) D(Y )
结论：
相关系数实际上是随机变量X的标准化随机变量
与Y的标准化随机变量的协方差
相关系数是衡量x与y之间线性相关 程度的量
e=E{[Y-(a+bX)]2}
？ e的值越小，说明a+bX 与Y的近似程度越好。
怎样使e的值越小？
解方程得 a0 E(Y ) b0 E( X )
Cov( X , Y ) b0 D( X )
Cov( X , Y ) a0 E(Y ) b0 E( X ) E (Y ) E ( X ) D( X )
Cov( X , Y ) b0 D( X )
e最小 E{[Y (a 0 b0 X )] }
协方差及相关系数
+∞
=0
ρX X
所以 X 与 X 不相关
( 3 ) 独立性由其定义来判断
对于任意的常数 a > 0 , 事件 ( X < a ) ( X < a ), 且 P ( X < a ) > 0 , P ( X < a ) < 1,因此有 P( X < a, X < a) = P( X < a) P ( X < a)P( X < a) < P( X < a) 所以 P ( X < a , X < a ) ≠ P ( X < a ) P ( X < a ) 故 X 与 X 不独立
Cov ( X , Y ) = E ( XY ) EXEY = pq Cov ( X , Y ) ρ XY = =1 DX DY
例2 设 ( X ,Y ) ~ N ( μ1, σ12,μ2,σ22,ρ), 求 ρXY 解
令 x μ1
Cov ( X ,Y ) = ∫
σ1 y μ2 =t σ2
=s
ξ ,η 为 X , Y的线性组合
所以 ξ ,η 都服从正态分布 N ( 0, + b )σ ) (a
2 2 2
在正态分布中 , 不相关与独立是等价的
所以当 a = b 时, ξ ,η 独立 当 a ≠ b 时, ξ ,η 不独立
( 3) 当ξ ,η 相互独立时 , 即a 2 = b 2 , ξ ,η 都服从
例1 已知 X ,Y 的联合分布为 X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 Cov (X ,Y ), ρXY 解 X P 1 p 0 q Y P 1 p 0 q XY P 1 p 0 q
=0
ρX X
所以 X 与 X 不相关
( 3 ) 独立性由其定义来判断
对于任意的常数 a > 0 , 事件 ( X < a ) ( X < a ), 且 P ( X < a ) > 0 , P ( X < a ) < 1,因此有 P( X < a, X < a) = P( X < a) P ( X < a)P( X < a) < P( X < a) 所以 P ( X < a , X < a ) ≠ P ( X < a ) P ( X < a ) 故 X 与 X 不独立
Cov ( X , Y ) = E ( XY ) EXEY = pq Cov ( X , Y ) ρ XY = =1 DX DY
例2 设 ( X ,Y ) ~ N ( μ1, σ12,μ2,σ22,ρ), 求 ρXY 解
令 x μ1
Cov ( X ,Y ) = ∫
σ1 y μ2 =t σ2
=s
ξ ,η 为 X , Y的线性组合
所以 ξ ,η 都服从正态分布 N ( 0, + b )σ ) (a
2 2 2
在正态分布中 , 不相关与独立是等价的
所以当 a = b 时, ξ ,η 独立 当 a ≠ b 时, ξ ,η 不独立
( 3) 当ξ ,η 相互独立时 , 即a 2 = b 2 , ξ ,η 都服从
例1 已知 X ,Y 的联合分布为 X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 Cov (X ,Y ), ρXY 解 X P 1 p 0 q Y P 1 p 0 q XY P 1 p 0 q
随机变量的矩协方差相关系数
协方差
2. 协方差、相关系数的定义 协方差、
量 E { [ X − E ( X ) ][Y − E (Y ) ] } 称为随机变量 X 与 Y 的协方差 . 记为 Cov( X , Y ) , 即 C ov( X , Y ) = E { [ X − E ( X )][Y − E (Y )]} .
而
2o 3o
4. 相关系数的性质
(1) ρXY ≤ 1.
( 2) ρXY = 1 的充要条件是 : 存在常数 a , b 使 P {Y = a + bX } = 1.
证明
(1) min e = E[(Y − (a + bX ))2 ]
1. 问题的提出
问 a , b 应如何选择 , 可使 aX + b 最接近 Y ? 接近的程度又应如何来 衡量 ?
设 e = E[(Y − (a + bX ))2 ]
则 e 可用来衡量 a + bX 近似表达 Y 的好坏程度 .
当 e 的值越小, 表示 a + bX 与 Y 的近似程度越好 . 确定 a , b 的值 , 使 e 达到最小.
ρXY =
Cov( X ,Y ) D( X ) ⋅ D(Y )
称为随机变量 X 与 Y 的相关系数 .
3. 说明
(1) X 和 Y 的相关系数又称为标准 协方差 , 它是一个 无量纲的量 .
( 2) 若随机变量 X 和 Y 相互独立 ⇒ Cov( X ,Y ) = E {[ X − E ( X )][Y − E (Y )]}
相关系数 .
解
由 f ( x, y ) =
1 2πσ1σ2 1 − ρ2
− 1 ( x − µ1 )2 ( x − µ1 )( y − µ2 ) ( y − µ2 )2 exp − 2ρ + 2 2 2 σ1σ2 σ2 2(1 − ρ ) σ1
2. 协方差、相关系数的定义 协方差、
量 E { [ X − E ( X ) ][Y − E (Y ) ] } 称为随机变量 X 与 Y 的协方差 . 记为 Cov( X , Y ) , 即 C ov( X , Y ) = E { [ X − E ( X )][Y − E (Y )]} .
而
2o 3o
4. 相关系数的性质
(1) ρXY ≤ 1.
( 2) ρXY = 1 的充要条件是 : 存在常数 a , b 使 P {Y = a + bX } = 1.
证明
(1) min e = E[(Y − (a + bX ))2 ]
1. 问题的提出
问 a , b 应如何选择 , 可使 aX + b 最接近 Y ? 接近的程度又应如何来 衡量 ?
设 e = E[(Y − (a + bX ))2 ]
则 e 可用来衡量 a + bX 近似表达 Y 的好坏程度 .
当 e 的值越小, 表示 a + bX 与 Y 的近似程度越好 . 确定 a , b 的值 , 使 e 达到最小.
ρXY =
Cov( X ,Y ) D( X ) ⋅ D(Y )
称为随机变量 X 与 Y 的相关系数 .
3. 说明
(1) X 和 Y 的相关系数又称为标准 协方差 , 它是一个 无量纲的量 .
( 2) 若随机变量 X 和 Y 相互独立 ⇒ Cov( X ,Y ) = E {[ X − E ( X )][Y − E (Y )]}
相关系数 .
解
由 f ( x, y ) =
1 2πσ1σ2 1 − ρ2
− 1 ( x − µ1 )2 ( x − µ1 )( y − µ2 ) ( y − µ2 )2 exp − 2ρ + 2 2 2 σ1σ2 σ2 2(1 − ρ ) σ1
概率论与数理统计：4-3协方差及相关系数
CovX ,Y EX EX Y EY EX EX EY EY 0.
协方差的计算公式
1 CovX ,Y EXY EX EY 2 DX Y DX DY 2CovX ,Y .
性质
1. CovX ,Y CovY , X . 2. CovaX ,bY abCovX ,Y . a ,b为常数. 3. CovX1 X2 ,Y CovX1,Y CovX2 ,Y .
易知E(X)=0,E(Y)=5/2,E(XY)=0,于是 xy 0,
X,Y不相关.这表示X,Y不存在线性关系.
但,P{X=-2,Y=1}=0 P{X=-2}P{Y=1},知X,Y不
是相互独立的.事实上,X和Y具有关系:Y=X2,Y 的值完全可由X的值所确定.
例2
设X ,Y ~
N
1
,
2
,
2 1
2
1 2
1
2tu
1 2u2
u2 t2
e 2 2 dtdu
1 2 2
u2e
u2 2
du
e
t2 2
dt
1
2
1
2
2
ue
u2 2
du
te
t2 2
dt
1 2 2 2 , 2
故有 CovX ,Y 1 2 .
于是
XY
CovX ,Y DX DY .
得出结论
二维正态分布密度函数中,参数代表了X与Y
协方差及相关系数
协方差与相关系数的概念及性质 相关系数的意义
一、协方差与相关系数的概念及 性质
提出问题
若随机变量X和Y相互独立
DX Y DX DY 若随机变量X和Y不相互独立 DX Y ?
DX Y EX Y 2 EX Y 2 DX DY 2EX EX Y EY .
协方差的计算公式
1 CovX ,Y EXY EX EY 2 DX Y DX DY 2CovX ,Y .
性质
1. CovX ,Y CovY , X . 2. CovaX ,bY abCovX ,Y . a ,b为常数. 3. CovX1 X2 ,Y CovX1,Y CovX2 ,Y .
易知E(X)=0,E(Y)=5/2,E(XY)=0,于是 xy 0,
X,Y不相关.这表示X,Y不存在线性关系.
但,P{X=-2,Y=1}=0 P{X=-2}P{Y=1},知X,Y不
是相互独立的.事实上,X和Y具有关系:Y=X2,Y 的值完全可由X的值所确定.
例2
设X ,Y ~
N
1
,
2
,
2 1
2
1 2
1
2tu
1 2u2
u2 t2
e 2 2 dtdu
1 2 2
u2e
u2 2
du
e
t2 2
dt
1
2
1
2
2
ue
u2 2
du
te
t2 2
dt
1 2 2 2 , 2
故有 CovX ,Y 1 2 .
于是
XY
CovX ,Y DX DY .
得出结论
二维正态分布密度函数中,参数代表了X与Y
协方差及相关系数
协方差与相关系数的概念及性质 相关系数的意义
一、协方差与相关系数的概念及 性质
提出问题
若随机变量X和Y相互独立
DX Y DX DY 若随机变量X和Y不相互独立 DX Y ?
DX Y EX Y 2 EX Y 2 DX DY 2EX EX Y EY .
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
协方差的大小在一定程度上反映了X和Y相互间 的关系，但它还受X与Y本身度量单位的影响.
为了克服这一缺点，对协方差进行标准化，这 就引入了相关系数 .
二、相关系数
定义: 设D(X)>0, D(Y)>0, 称
XY
cov(X,Y) D(X)D(Y)
为随机变量 X 和 Y 的相关系数 .
在不致引起混淆时，记 XY 为 .
注： X Y 反应了X与Y的线性关系密切程度；X与Y不相关
表明两者没有线性关系，但不等于说没有其他关系。
独立与不相关的关系： 若 X 与 Y 独立，则X与Y不相关， 但由X与Y不相关，不一定能推出X与Y独立.
但可以证明对下述情形，独立与不相关等价
若(X,Y)服从二维正态分布，则
X与Y独立 X与Y不相关
注:协方差cov(X,Y)是X和Y的二阶混合中心矩.
六、例题讲解
1、设 X ~ N (,2 )Y ,~ N (,2 )，X 且 ， Y 相 设 互
试Z求 1XY和 Z2XY的相关 (其系 中 ， 数
是不全为零的常数）。
1、解 D (X)D (Y)2
D ( Z 1 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2 D ( Z 2 ) D ( X Y ) 2 D ( X ) 2 D ( Y ) ( 2 2 ) 2
随机变量的协方差和相关系数
第三节 随机变量的协方差和相关系数
协方差
协方差矩阵 相关系数矩阵 原点矩、中心矩
前面我们介绍了随机变量的数学期望和方差， 对于二维随机变量（X，Y），我们除了讨论X与Y 的数学期望和方差以外，还要讨论描述X和Y之间 关系的数字特征，这就是本讲要讨论的
协方差和相关系数
一、协方差
这是一个非
排成矩阵的形式:
v v
Байду номын сангаас
11 21
v 12 v 22
负定对称矩阵
称此矩阵为（X1,X2）的协方差矩阵.
类似定义n 维随机变量(X1,X2, …,Xn) 的协方差矩阵.
若 vij co(X vi,Xj)E {X [i E (X i)] X j[ E (X j)]}
都存在, 则称
( i, j=1,2,…,n )
v11 v12
矩阵
V
v21 vn1
v22 vn2
v1n v2n vnn
为(X1,X2, …,Xn) 的协方差矩阵.
这是一个非 负定对称矩阵
四、相关系数矩阵
若
i j
cov(Xi, Xj )
D(Xi) D(Xj)
都存在, 则称
v ij
( i, j=1,2,…,n )
vii v jj
co X ,Y v ) ( (x E)X y ( E)fY (x ,y )dx .
2.简单性质
(1) cov(X,C)= 0, C为常数； (2) cov(X,X)= D(X) (3) cov(X,Y)= cov(Y,X) (4) cov(aX+b, Y) = a cov(X,Y) a, b 是常数 (5) cov(aX, bY) = ab cov(X,Y) a, b 是常数 (6) cov(X1+X2,Y)= cov(X1,Y) + cov(X2,Y) (7) D(X±Y)=D(X)+D(Y)±2cov(X,Y)
D(X)
D(Y)1[[co(vX,Y)]2] D(Y)1[2]
D(X)D(Y)
2. XY 1
存在常数 a,b(b≠0)， 使 P{Y= a + b X}=1，
即 X 和 Y 以概率 1 线性相关.
3. X和Y独立时，=0，但其逆不真 .
证: 由于当X和Y独立时，cov(X,Y)= 0, 故
cov(X,Y) = 0
三、协方差矩阵
将二维随机变量（X1,X2）的四个数量指标
v11 E {X [1E (X 1)2 ]}
v 1 2 E { X 1 [ E (X 1 )X ]2 [ E (X 2 )]}
v 2 1 E { X 2 [ E (X 2 )X ] 1 [ E (X 1 )]}
v22 E {X [2E (X 2)2} ]
1.定义 E[ X-EX][Y-EY]称为随机变量X和Y的协方 差,记为cov(X,Y) ，即
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
co X ,Y v ) ( (x i E)(y X j E)p Y i,j
ij
2) 当(X,Y)是连续型随机变量时,
相关系数的性质：
1.| |1
由于方差D(Y)是正的,故必有
证: 由方差的性质和协方1 差 的2 ≥定0义, 所知,以 | | ≤1。 对任意实数 b, 有 0≤D(Y-bX)= b2D(X)+D(Y)-2b cov(X,Y )
令b cov(X,Y) ，则上式为 D(X)
D(Y- bX)= D(Y)[cov(X,Y)]2
存在，称它为X的k阶原点矩，简称 k阶矩.
若 E { X E [ ( X ) k } k ] 2 , 3 , 存在，称它为X的k阶中心矩.
注：均值 E(X)是X一阶原点矩,
方差D(X)是X的二阶中心矩.
设 X 和 Y 是随机变量，若
E(XkYl ) k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩. 若 E {X [E (X )k] [YE (Y )l} ]存在， 称它为X 和 Y 的 k+l 阶混合中心矩.
D(X)D(Y)
但由 0并不一定能推出X和Y 独立.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
4. 若 XY 0 ，则称X和Y（线性）不相关。
定理：若随机变量X与Y的数学期望和方差都存 在，且均不为零，则下列四个命题等价： （1） XY 0 ； （2）cov(X ,Y) = 0； （3）E(XY)=EXEY； （4）D(X ±Y)=DX+DY。
11 12
矩阵
R
21
n1
22
n2
1n
2n
nn
这是一个非 负定对称矩阵
为(X1,X2, …,Xn) 的相关系数矩阵。
由于 ii
co(vXi,Xi) 1, D(Xi) D(Xi)
故相关系数矩阵的主对角元素均为1.
五、 原点矩和中心矩
定义 设X和Y是随机变量，若 E (X k)k , 1 ,2 ,