《概率论》第4章3-4协方差相关性协方差矩阵

合集下载

概率论课程第四章

概率论课程第四章

第四章 数字特征前面我们介绍了随机变量及其分布,对于一个随机变量,只要知道了它的分布(分布函数或分布律、分布密度),它取值的概率规律就全部掌握了。

但在实际问题中,一个随机变量的分布往往不易得到,且常常只需知道随机变量的某几个特征就够了。

例如检查棉花的质量时,我们关心的是棉花纤维的平均长度和纤维长度与平均长度的偏差大小,这些数字反映了随机变量的一些特性,我们称能够反映随机变量特征的数字为随机变量的数字特征。

本章将介绍几个最常用的数字特征:数学期望、方差、协方差和相关系数。

第一节 数学期望一、离散型随机变量的数学期望数学期望反映的是随机变量取值的集中位置的特征,能够满足这一要求的自然是随机变量的平均取值,那么这个平均取值如何得到呢?怎样定义,我们先看一个例题例1:全班40名同学,其年龄与人数统计如下:该班同学的平均年龄为:4092115201519118⨯+⨯+⨯+⨯=a8.194092140152040151940118=⨯+⨯+⨯+⨯=若令X 表示从该班同学中任选一同学的年龄,则X 的分布律为于是,X 取值的平均值,即该班同学年龄的平均值为4092140152040151940118)(⨯+⨯+⨯+⨯==a X E8.19==∑ii i p x定义1:设X 为离散型随机变量,其分布律为i i p x X P ==}{, ,2,1=i如果级数 绝对收敛,则此级数为X 的数学期望(或均值),记为 E(X),即 ∑=ii i p x X E )(意义:E(X)表示X 取值的(加权)平均值。

如果级数 不绝对收敛,则称数学期望不存在。

例2:甲、乙射手进行射击比赛,设甲中的环数为X1,乙中的环数为X2,已知 X1和X2的分布律分别为:问谁的平均击中环数高?解:甲的平均击中环数为 E(X1)=8 0.3+9 0.1+10 0.6=9.3 乙的平均击中环数为 E(X2)=8 0.2+9 0.5+10 0.3=9.1 可见E(X1)> E(X2),即甲的平均击中环数高于乙的平均击中环数。

4.3 协方差与相关系数及矩与协方差矩阵

4.3 协方差与相关系数及矩与协方差矩阵
2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y,下列事实是等价的:
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量 若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称 为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即 差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|),并问X与|X|是否不相关? (3)问X与|X|是否相互独立?为什么? 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

《概率论》第4章矩、协方差矩阵

《概率论》第4章矩、协方差矩阵

为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章 随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,,X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布 正态r.v的线性变换不变性:设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩,简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}

第四章 第三节 协方差与相关系数

第四章 第三节 协方差与相关系数

§4.3 协方差与相关系数还需要讨论X 与Y 之间相互关系的数字特征.本节我们讨论关于这方面的问题.1. 协方差及其性质定义4.3.1 对于二维随机变量(,)X Y ,称()()EX E X Y E Y --为,X Y 的协方差.记作cov (,)X Y 。

即cov (,)()()X Y E X EX Y EY =--.cov 2(,)()()()X X E X EX X EX E X EX DX =--=-=.当(,)X Y 为离散型时,有cov 11(,)()()ij ij i j X Y xEX y EY p ∞∞===--∑∑.当(,)X Y 为连续型时,有cov (,)()()(,)X Y x EX y EY p x y dxdy ∞∞-∞∞=--⎰⎰.计算协方差时,还常用公式cov (,)()()X Y EXY EX EY =-协方差等于乘积的期望减去期望的乘积例4. 3.1 已知二维随机变量(,)X Y 的联合分布如表 4.3.1所示.试求cov (,).X Y .表4.3.1解 先求边缘分布,并记入表4.3.1中,.然后求数学期望与协方差.11523,222EX =⨯+⨯= 1111(4)(1)140,4444EY =-⨯+-⨯+⨯+⨯= 又 []12(4)243(1)310,4EXY =⨯-+⨯+⨯-+⨯=故 cov (,)()()0.X Y EXY EX EY =-=例4.3.2 已知二维随机变量(,)X Y 服从二维正态分布N (ρσσμμ,,,,222121). 求cov (,).X Y解 由例3.2.3知,221122(,),(,),XN Y N μσμσ故1,EX μ= 2.EY μ=于是,协方差为cov (,)X Y 12()()()()E X EX Y EY E X Y μμ=--=--=()()()()dxdyey x y y x x ⎰⎰∞∞-∞∞-⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫⎝⎛-+---⎪⎪⎭⎫ ⎝⎛------22221212112)1(2121221121σμσσμμρσμρμμρσπσ.引入变换u x =-11σμ,v y =-22σμ.于是 cov (,)X Y2222222122(1)u uv v v v uvedudv ρρρρ⎡⎤--++-∞∞⎣⎦--∞-∞⎰⎰=()()[]dudv uvev v u ⎰⎰∞∞-∞∞--+----2221)1(2122112ρρρρπσσ()2222(1)2u v v vedv uedu ρρ--∞∞---∞-∞⎧⎫⎪⎬⎪⎭,()222(1)2u v v vedv du ρρ--∞∞---∞-∞⎧⎫⎪⎪=⎨⎬⎪⎪⎩⎭⎰⎰上式大括号中的积分恰好是服从正态分布2(,1)N v ρρ-的随机变量的数学期望,cov (,)X Y =dv ev v ⎰∞∞--222122πσρσ =12ρσσ. ,X Y ρρ=协方差的性质(1)cov(,)cov(,),X Y Y X =(2) cov 1122((),())a X b a Y b ++=12a a cov (,)X Y , (3)cov 12(,)X X Y +=cov 1(,)X Y +cov 2(,)X Y . (4) ()2cov(,),D X Y DX DY X Y ±=+±并且当X 与Y 相互独立时,cov (,)0.X Y = 2. 相关系数及其性质定义4.3.2 对于二维随机变量(,)X Y ,如果0,0,DX DY ≠≠.则称,X Y ρ=为随机变量X 与Y 的相关系数.相关系数的性质 (1)1.XY ρ≤(2)1XY ρ=的充要条件是{} 1.P Y aX b =+=其中,a b 为常数,且0.a ≠一般地,当|XY ρ|的值越来越大而接近于1时,表明X 与Y 的线性关系程度越密切. 反之,当|XY ρ|的值越来越小而接近于0时,表明X 与Y 的线性关系程度很微弱.特别地当XY ρ=0时, 称X 与Y 不相关.若X 与Y 相互独立,则cov(,)0,X Y =于是0,XY ρ=即X 与Y 不相关。

概率论第章协方差相关性协方差矩阵

概率论第章协方差相关性协方差矩阵

D(Y b0 X ) D(Y ) b02D( X ) 2b0Cov( X ,Y )

D(Y
)

[Cov( X ,Y D(X )
)]2

(1


2 XY
)
D(Y
)
1.
由e(a0 , b0 ) 0

1

2 XY
0

XY
1
2. XY 1 E Y (a0 b0 X )2 0
1
协方差的性质:
1. Cov( X ,Y ) Cov(Y , X ),Cov(X , X ) D( X ) 2. Cov( X ,Y ) E( XY ) E( X )E(Y ) 3. Cov(aX ,bY ) abCov( X ,Y ) a,b是常数 4. Cov( X1 X 2 ,Y ) Cov( X1,Y ) Cov( X 2 ,Y )
特别的,XY 1时,b 0;XY 1时,b 0
证明:以X的线性函数a bX 来近似表示Y ,以均方误差e(a,b) E [Y (a bX )]2
来衡量以a bX 近似表达Y的好坏程度,e(a,b)越小,a bX 与Y的近似程度越好。
注:工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量(测量量)的相似性程度
若E [ X E( X )]k[Y E(Y )]l k,l 1, 2,存在,
则称它为X ,Y的k l 阶混合中心矩;
显然,最常用到的是一、二阶矩
E( X ), D( X ),Cov( X ,Y )分别对应于上述哪些原点矩?中心矩?混合矩?
9
定义:协方差矩阵

《概率论》第4章§3协方差及相关系数

《概率论》第4章§3协方差及相关系数
2
0 0
第四章 随机变量的数字特征
§3 协方差及相关系数
7/14
Cov( X ,Y) D(X ) 其中 a0 = E(Y) − b0E( X ) = E(Y) − E( X ) Cov( X ,Y) D(X )
b0 =
min E[(Y − (a + bX ))2 ] = E[(Y − (a0 + b0 X ))2 ] a,b 2 = D(Y)(1− ρXY )
E( X ) = ∫−∞ xfX (x)dx = 0 ∞ E(Y) = ∫−∞ yfY ( y)dy = 0

又因为
1 E( XY) = ∫−∞ ∫−∞ xyf (x, y)dxdy= π ∫∫ xydxdy = 0
∞ ∞
∴ E[( X − E( X ))(Y − E(Y))] = E( XY) − E( X )E(Y) = 0 故 X ,Y 不相关 第四章 随机变量的数字特征
x2+ y2≤ 1
§3 协方差及相关系数
11/14 11/14
2 的相关系数. 设 ( X ,Y) ~ N(µ1, µ2,σ12 ,σ2 , ρ), 求 X ,Y 的相关系数. C ( X ,Y) = E[( X − µ1)(Y − µ2 )] ov
f (x, y) =
1 2(1− ρ2 ) 2πσ1σ2 1− ρ2 (x − µ1)2 (x − µ1)( y − µ2 ) ( y − µ2 )2 × [ − 2ρ + ]} 2 2 exp{−
1
2
2
1 ∞ ∞ (σ σ 1− ρ2tu + ρσ σ u2 )e−(t2 +u2 )/ 2dtdu = ∫−∞ ∫−∞ 1 2 1 2 2π

概率论--方差、协方差和相关系数

概率论--方差、协方差和相关系数
称为与的相关系数。
2021/5/23
26
一般地, ||1
若 | | 1 ,称 与 完 全 线 性 相 关 。 若 0 ,称 与 不 相 关 。 若 0 | | 1 ,表 明 与 近 似 有 线 性 关 系 。 0 时 ,称 与 正 相 关 , 0 时 ,称 与 负 相 关 。 当 与 独 立 时 , 由 于 - E 与 - E 独 立 。
平均抗拉强度都是126
若最低抗拉强度要求为110,
第二批质量较差。
在平均值或期望值相同的情况下,
随机变量的离散程度也是分布的一个特征。
一 般 考 虑 随 机 变 量 对 E 的 偏 离 程 度 。
2021/5/23
4
由此可见,研究随机变量与其均值的偏离程度是十 分必要的.那么,用怎样的量去度量这个偏离程度呢?
求D() 解 法 一 : 1 0 1
P 0.180.540.28
E ( ) ( 1 ) 0 . 1 8 0 0 . 5 4 1 0 . 2 8 0 . 1 E ( ) 2 ( 1 ) 2 0 . 1 8 0 2 0 . 5 4 1 2 0 . 2 8 0 . 4 6
2021/5/23
28
部分资料从网络收集整 理而来,供大家参考,
感谢您的关注!
2 8.5 8.8 9 9.2 9.5 P 0.2 0.2 0.2 0.2 0.2 两者的平均长度是相同的,均为9 第二批零件更好。 因为它的误差相对较小。
2021/5/23
2
例2,某零件的真实长度为a,现用甲、
乙两台仪器各测量10次,将测量结果X用坐
标上的点表示如图:
• • • •• a•• • • •
协方差和相关系数
2021/5/23

概率论与数理统计课件:4-3 协方差20121026

概率论与数理统计课件:4-3 协方差20121026

例4.3.3 设(X,Y)在圆域
{ D = (x, y); x2 + y2 ≤ r 2} (r > 0)
上服从均匀分布,判断X,Y是否不相关。
解:由例2知Cov(X,Y)=0
故 ρ XY = 0
即:X和Y不相关
例4.3.4 设(X, Y)服从二维正态分布
N
(µ1,σ
2 1
;
µ2,
,
σ
2 2
,
ρ
)
+2abE(X)-2aE(Y)
求a,b使e最小
令 解得
∂e ∂a
=
2a
+
2bE( X ) −
2E(Y )
=
0
∂e
∂b
=
2bE( X
2
)

2E( XY
)
+
2aE( X
)
=
0
Cov( X ,Y ) b0 = D( X )
a0 = E(Y ) − b0 E( X )
将a0,b0代入e,用a0+b 0X来近似Y,则最小误
cov( X ,Y ) = E( XY ) − E( X ) ⋅ E(Y )
= p(λ2 + λ ) − λ ⋅ pλ = pλ
ρ XY
=
cov( X ,Y ) DX DY
=
pλ = λ pλ
p
3. 随机变量X, Y 独立与X, Y 相关的关系
(1) 假设ρXY 存在,若X, Y相互独立, 则 ρXY=0,即X, Y不相关。反之,若X, Y不
0
−r≤ x≤r 其他
所以
+∞
∫ EX = −∞ xfX (x)dx

协方差和相关系数矩和协方差矩阵

协方差和相关系数矩和协方差矩阵

-0.6630 (0.7850)2 -0.046
首页
上页
返回
下页
结束
4. 协方差的性质
(1) Cov(X,Y) = Cov(Y,X) (2) Cov(aX,bY) = ab Cov(X,Y), a,b 为常数 (3) Cov(X1+X2,Y) = Cov(X1,Y) + Cov(X2,Y) (4)当X与Y相互独立时,有 Cov(X,Y) = 0
12 0 1/6
1/6 1/6 1/12 1/6
¼½
3 1/12 1/4 1/6 1/2
0 1/4
¼
求ρXY
解: E(X) = 2 , E(Y) = 2;
E(XY) =
i
j
xi y j
pij
23 6
Cov(X,Y) = 23/6 – 4 = - 1/6 ;
E(X2) = 9/2 , E(Y2) = 9/2; D(X) =1/2 D(Y) = 1/2 。
3.设X是随机变量,Y=aX+b(a≠0),
证明
: XY
1 -1
a0 a0
4.设随机变量X的概率密度为 f (x) 1 e- x (- x ) 2
求X与|X|的协方差,问X和|X|是否不相关,是否相互独立.
首页
上页
返回
下页
结束
§4.4 矩和协方差矩阵
1.矩的概念 设X、Y为随机变量,k,l为自然数,即(k,l=1,2,…) 若 E(Xk)存在,则称它为X的k 阶原点矩。
1
xf (x, y)dxdy xdx
1 1- x2 dy
- -
-1
- 1-x2
同样 E(Y)=0
2

浙大概率论与数理统计课件 第四章随机变量的数字特征

浙大概率论与数理统计课件 第四章随机变量的数字特征
0 0
0
x
x y 1 0
EX=

xf

( x , y ) dxdy
0 0
1
dx
x 2 dy
1 3
1 x
E(-3 X+ 2Y)= dx

1
x 1
2 ( 3 x 2 y ) dy
0 0 1

1 3
1 12
EXY=
k
k 0

e
k

e

k!
( k 1)!
k 1


k 1
e

e

二、连续型随机变量的数学期望
定义2 设X是连续型随机变量,其密度函数为 f (x), 如果积分

xf ( x)dx

绝对收敛,则称此积分值为X的数学期望, 即
E( X ) x f ( x )dx
数学期望、方差、协方差和相关系数
第一节
数学期望
离散型随机变量的数学期望
连续型随机变量的数学期望
随机变量函数的数学期望
数学期望的性质
小结
一、离散型随机变量的数学期望
引例:某7人的数学成绩为90,85,85,80,80, 75,60,则他们的平均成绩为
90 85 2 80 2 75 60 1 7 7 2 7 2 7 1 7 1 7
第四章、随机变量的数字特征
第一节:数学期望 第二节:方差 第三节:协方差及相关系数 第四节:矩、协方差矩阵
在前面的课程中,我们讨论了随机变量及其分 布,如果知道了随机变量X的概率分布,那么X的 全部概率特征也就知道了.

第四章 协方差及相关系数 矩及协方差矩阵2016

第四章 协方差及相关系数 矩及协方差矩阵2016

而X与Y 的边缘分布及数学期望为:
X -1 0 2
P
Y P
5/12
0 7/12
1/6
1/3 1/12
5/12
1 1/3

5 10 5 1 1 13 EX , EY 12 12 12 36 3 36
Cov(X,Y) E(XY) EXEY 13 5 13 221 36 12 36 432
2. XY 1.
3. XY 1的必要条件是存在常数 a,b使 PY aX b 1.
4.如果随机变量 Y是X的线性函数 , 即Y aX ba 0 , 则
XY
1 , a 0, 1 , a 0.
定义3 设随机变量X 与Y的相关系数为 1 若 0,则称X 与Y 不相关. 2 若 0,则称X 与Y 相关; 特别地, 若
0 y 1 1 y, fY ( y ) 1 y, 1 y 0 others 0,
因而 =0, 即X和Y不相关 . 但X和Y不独立 .
设(X,Y )服从二维正态分布, 它的概率密度为
f(x,y) 1 2πσ1σ 2
2 1 (x μ1 ) exp 2 2 2 2 ( 1 ρ ) σ 1 ρ 1
当程度上描述两个随机变量的联系程度.
当然, 从数学上看, 这是不可能的,因为联合分布 的信息量为许多个数, 甚至无穷多个数, 因此一个数不 可能反映出无穷多个数携带的信息. 但是我们仍然希望 能够找到描述它们之间相互关系的一个数, 至少在大多 数实际情况下能够描绘两个随机变量联系的紧密程度, 例如, 如果这个数字越接近于零, 说明这两个随机变量
一、协方差

概率论第四章随机变量的数字特征第4节矩和协方差矩阵

概率论第四章随机变量的数字特征第4节矩和协方差矩阵

特别,若 X ~ N 0, 1 , 则
E X n
n 1!!
0
n为偶数 n为奇数 ,
n 4时, EX 4 3.
返回主目8 录
练习一下
• 已知随机变量的X和Y的联合分布为
Y X
-2
0
1
-1
0.30
0.12
0.18
1
0.10
0.18
0.12
求X和Y的协差矩阵.
0.96 0.24
0.24 1 .65
DX
所以,
E X n nE Y n
n yn fY
y dy
n
y
n
e
y2 2
dy
2
⑴.当 n为奇数时,由于被积函 数是奇函数,所以
E X n 0 .
返回主目5 录
第四章 随机变量的数字特征
(2).当n为偶数时,由于被积函 数是偶函数,所以
EX n
2 n
y
n
e
y2 2
E X n
n
22
n
n
1
n
1
n
22
n
n
1
n
3
n
3
2 2 2 2 2
n
22
n
n
1
n
3
1
1
22
2 2
n
22
n
n 1!!
n
22
n n 1!!
返回主目7 录
第四章 随机变量的数字特征
因而,
§5 矩
E X n
n n 1!!
0
n为偶数 n为奇数
其中,
135 n n为奇数 n!! 2 4 6 n n为偶数

概率论与数理统计:第四章3协方差及相关系数

概率论与数理统计:第四章3协方差及相关系数

Cov( X, X )=DX
2)相关系数的定义
XY
Cov( X ,Y ) DX DY
称为随机变量 X,Y 的相关系数,
XY 是一个无量纲的量.
第四章 随机变量的数字特征
若 XY 0,称 X,Y 不相关,
此时 Cov( X,Y ) = 0 .
§4 协方差
3) 定理 若X,Y 独立,则 X , Y 不相关. (反之,不然)
1) Cov( X,Y )=Cov( Y, X )
2) Cov(aX,bY)=abCov(X,Y);
3) Cov(aX+bY , cZ)=acCov(X , Z)+bcCov(Y, Z);
4)D(aX bY ) a2DX b2DY 2abCov( X ,Y )
n
n
D( ai X i ) ai2DXi 2 aia jCov( X i , X j )
即 P{Y a0 b0 X } 1.
第四章 随机变量的数字特征
反之,若存在 a , b使,
P{Y a b X } 1 XY 1.
这时 P{Y (a b X ) 0} 1,
§4 协方差
故 E[Y (a b X )]2 0

0 E[Y (a b X )]2 min E[Y (a bX )]2
DX
X
,Y ) DY

min E[Y (a bX )]2 a,b
(1
2 XY
)DY
由上式得
1)
1
2 XY
0,
即 XY
1.
现在证明:若 XY 1 存在常数a,b使 P{Y a bX } 1
由上面知此时 E[Y (a0 b0 X )]2 0

概率论第四章矩、协方差矩阵

概率论第四章矩、协方差矩阵

1 f X ( x) f Y ( y ) e 2
x2 2
e
y2 2
1 e 2
x2 y2 2
,
f ( x, y ) f X ( x) f Y ( y ). 所以 X 与 Y 不独立.
第四章


1 阐述了数学期望、方差的概念及背景,要掌握 它们的性质与计算,会求随机变量函数的数学 期望和方差. 2 要熟记(0-1)分布、二项分布、泊松分布、几何 分布、均匀分布、指数分布和正态分布的数学期望 与方差. 3 引进了协方差、相关系数的概念,要掌握它们的 性质与计算. 4 要掌握二维正态随机变量的不相关与独立的等价 性. 5 介绍了矩与协方差矩阵的概念.
例2 设二维随机变量( X , Y )的密度函数为 1 f ( x, y ) [1 ( x, y ) 2 ( x, y )], 2 其中1 ( x, y )和 2 ( x, y )都是二维正态密度函数 ,且它们对应
(1) 求随机变量 X 和 Y 的密度函数 f X ( x) 和 f Y ( y), 及 X 和 Y 的相关系数
2) 若 ( X1,, X n ) 服从 n 维正态分布, Y1 ,, Yk 是 X j ( j 1,, n) 的线性函数,则 (Y1,, Yk ) 也服从 k 维正态分布.
3) 若 ( X1,, X n ) 服从 n 维正态分布, 则 X1,, X n 相互独立 X1,, X n 两两不相关.
§4矩、协方差矩阵源自 xyf ( x, y)dxdy
1 xy1 ( x, y )dxdy xy 2 ( x, y )dxdy 2
1 1 1 0. 2 3 3

概率论与数理统计图文课件最新版-第四章随机变量的数字特征-第三节协方差与相关系数

概率论与数理统计图文课件最新版-第四章随机变量的数字特征-第三节协方差与相关系数

2
E( XY )
2a
E( X )
0
b
概率统计
解得:
Cov( X ,Y ) b0 D( X )
a0 E(Y ) b0E( X )
这样求出的 最佳逼近为:
L(X)=a0+b0X
这一逼近的剩余是:E{[Y L( X )]2 } D(Y )(1 XY 2 )
可见: 若 XY 1, 则 Y 与 X 有严格线性关系;
第四章知识结构图
随机变量的数字特征
数学期望
方差
矩与协方差 矩阵
一维随机 变量的数
学期望
二维随机 变量的数
学期望
一维随 机变量的
方差
二维随 机变量的
方差
离散型 连续型 离散型 连续型
相关 系数 与协 方差
概率统计
第三节 协方差与相关系数
问题的引出 随机变量的数学期望及方差都只刻画了一个随 机变量的某一方面的特征,而协方差与相关系 数是刻画两个随机变量之间关系的数字特征.
[ )
(
x1 12
)2
2
(
x 1 )( y 1 2
2
)
(
y 2
2 2
)2
]
21 2 1 2
求:X 与 Y 的相关系数
解: 由已知,X, Y 的边缘概率密度为:
fX (x) fY ( y)
1
( x 1 )2
e , 212
2
1
1 ( y2 )2
e
, 2
2 2
2 2
x y
最小时的 a,b :
e = E {[ Y- ( a + bX ) ]2 }
数学期望性质

概率论§4.3 协方差和相关系数

概率论§4.3 协方差和相关系数
6
性质4 性质4 设X,Y 为随机变量,则有 , 为随机变量, D(X±Y)=D(X)+D(Y)±2Cov(X,Y) ± ± 性质5 性质5 设X,Y 为任意随机变量,则有 , 为任意随机变量, [Cov(X, Y)]2 ≤ D(X) D(Y) 证明: 证明: [Cov(X, Y)]2 =(E{[ X-E(X)][Y-E(Y)]})2 ≤ E{[X-E(X)]2}·E{[Y-E(Y)]2} = D(X)·D(Y) 柯西柯西许瓦兹 不等式
5
协方差的性质
性质1 协方差的计算与X, 性质1 协方差的计算与 ,Y 的次序无关 Cov(X, Y) = Cov(Y, X) 性质2 性质2 对任意常数 a1,a2,b1,b2 有 Cov(a1X+b1, a2Y+b2) = a1a2Cov(X, Y) 性质3 为随机变量, 性质3 设X1,X2 , Y1,Y2为随机变量,则有 Cov(X1+X2, Y)=Cov(X1, Y)+Cov(X2, Y) Cov(X, Y1+Y2)=Cov(X, Y1)+Cov(X, Y2)
= 4D(X) + D(Y) −4Cov( X,Y )
= 4×1+ 4 − 4×1 = 4
12
Cov(ξ,η) = Cov( X −2Y,2X −Y )
= 2Cov( X, X ) −4Cov(Y, X ) −Cov( X,Y) + 2Cov(Y,Y)
= 2D(X) −5Cov( X,Y ) + 2D(Y)
同理可得
5 E(Y ) = 12
2
15
D(X)=E(X2)−E2(X) − 同理可得
5 7 2 11 = −( ) = 144 12 12

概率论与数理统计 第四章

概率论与数理统计 第四章
可见,方差是二阶中心矩,协方差是二阶混合中心
矩,它们都是随机变量函数的数学期望。
河南理工大学精品课程
概率论与数理统计
【例3】[P.115:eg6]
〖解〗设X为随机取一球的标号,则r.v.X等可 能地取值1,2,3,4,5,6;
又Y=g(X),且
g(1)= g(2)= g(3)=1; g(4)= g(5)=2, g(6)=5. 故随机摸一球得分的期望为
河南理工大学精品课程 概率论与数理统计
显然, 方差D(X)就是随机变量X的函数 g ( X ) [ X E( X )]2 的数学期望.因此,当X的分布律 p 或概率密度 k 已知时,有
2 [ x E ( X )] pk , 离散型 k k 1 D ( X ) [ x E ( X )]2 f ( x)dx, 连续型
1500 (分) □
河南理工大学精品课程 概率论与数理统计
二、随机变量函数的数学期望 利用随机变量函数的分布可以证明下列两定理: 定理1 设Y=g(X)是随机变量X的连续函数,则 Y 也是随机变量,且其数学期望为
离散型 g ( xk ) pk , k 1 E (Y ) E[ g ( X )] g ( x) f ( x)dx, 连续型
X2 Pk 3X2+5 Pk 0 0.3 5 0.3 4 0.7 17 0.7
于是,
E(X)=(-2)×0.4+0×0.3+2×0.3=-0.2;
河南理工大学精品课程 概率论与数理统计
例6-续
E(X2)=0×0.3+4×0.7=2.8; E(3X2+5)=5×0.3+17×0.7=13.4.
方法2(定义+性质法) 因为 E(X)=(-2)×0.4+0×0.3+2×0.3=-0.2; E(X2)=(-2)2×0.4+02×0.3+22×0.3=2.8; 所以, E(3X2+5)=3E(X2)+5=3×2.8+5=13.4. □

概率论教学课件第四章4.4协方差与相关系数

概率论教学课件第四章4.4协方差与相关系数


X
~
f (x)
1
,
1
2
x 1
EX 11 0,
0,其他
2
EY cos xf (x)dx = 1 1 cos xdx sin1,
1 2
E( XY ) E( X cos X ) x cos xf (x)dx = 1 1 x cos xdx 0.
1 2
Cov(X ,Y) E(XY) EX EY 0 0sin1 0,
y y 3x
3 y 2x
2
O
1
x
EX
xf (x, y) dxdy
1
dx
3x
2x dy
2
,
0
2x
3
EY
yf (x, y) dxdy
1
dx
3x 2y dy 5 ,
0
2x
3
EX 2
x2 f (x, y)dxdy
1
dx
0
3x 2x
2x2
dy
1 2
,
EY 2
反之,ρXY 1 P(Y aX b) 1,即Y与X几乎处处有线性关系.
证(第一个结论) EY aEX b, DY a2DX , E(XY ) E[X (aX b)] aEX 2 bEX ,
15
XY
Cov( X , Y ) DX DY
E( XY ) EXEY DX DY
性质4.3协方差具有下列性质 1. 对称性: Cov( X ,Y ) Cov(Y , X ) 2. 线性性质:Cov(aX ,bY ) ab Cov( X ,Y )
Cov ( X1 X2 , Y ) Cov ( X1, Y ) Cov ( X2 , Y )

概率论与数理统计_---_第四章{随机变量的数字特征}_第三节:协方差及相关系数

概率论与数理统计_---_第四章{随机变量的数字特征}_第三节:协方差及相关系数

E
X
E(
X
) gY
E (Y
)
D( X )D(Y ) D( X ) D(Y )
cov( X *,Y * ) E( X *Y * ).
2. 相关系数的性质:
概率论
1) | | 1
2) X 和 Y 独立时, ρ=0(此时称X 和 Y 不相关), 但其逆不真.
由于当X 和Y 独立时, cov(X,Y)= 0.
故: cov( X ,Y ) 0
D( X )D(Y )
但由 ρ =0 并不一定能推出 X 和 Y 独立.
若 X 与 Y 独立, 则 X 与 Y 不相关, 但 X 与 Y 不相关, 不一定能推出 X 与 Y 独立.
例1: 设 X服从 (-1/2, 1/2)内的均匀分布, 而 Y=cosX,
不难求得: cov(X,Y)=0, 事实上, X的密度函数:
f
(x)
1
1 x 1
2
2
可得:E( X ) 0
0 其它,
1
E( XY ) E( X cos X )
2 1
x
cos
xf
(
x)dx
0
2
cov( X ,Y ) E( XY ) E( X )E(Y ) 0.
因而 ρ=0, 即 X和 Y不相关 .
但Y 与X 有严格的函数关系,即 X 和 Y 不独立 .
概率论
3) 1 存在常数 a, b(b≠0),使 P{ Y=aX+b }=1,
即: X 和 Y 以概率 1 线性相关. 相关系数刻划了X 和Y 间“线性相关”的程度.
概率论
可见, 若 ρ = ±1, Y 与 X 有严格线性关系;(称X 和 Y 完全相关)
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

已得:a0 E (Y ) b0 E ( X ), b0
Cov( X , Y ) D( X )
2
此时e(a0 , b0 ) E [Y (a0 b0 X )] D[Y (a0 b0 X )] E Y (a0 b0 X )
2 D(Y b0 X ) D(Y ) b0 D( X ) 2b0Cov( X , Y )
P Y (a0 b0 X ) 0 1
4
相关系数 XY 是一个用来表征X , Y 之间线性关系紧密程度的量
当 XY 较大时,e(a0 , b0 )较小,表明X , Y 线性关系的程度较好; 当 XY 1 时, e(a0 , b0 ) 0,表明X , Y 之间以概率1存在线性关系;
9
定义:协方差矩阵 设二维随即变量( X 1 , X 2 )的四个二阶中心矩存在,将它们 Cov( X 1 , X 2 ) D( X 1 ) 排成矩阵: ,称为( X 1 , X 2 )的协方差矩阵。 D( X 2 ) Cov( X 2 , X 1 )
设 n 维随机变量( X 1 , X 2 , X n ),Cov( X i , X j ) 都存在,i, j 1, 2, n Cov( X 1 , X 2 ) D( X 1 ) Cov( X 2 , X 1 ) D( X 2 ) 称矩阵 Cov( X n , X 1 ) Cov( X n , X 2 ) Cov( X 1 , X n ) Cov( X 2 , X n ) D( X n )
则称它为X 和Y的k l阶混合矩; 若E [ X E ( X )]k [Y E (Y )]l k , l 1, 2, 存在, 则称它为X , Y的k l 阶混合中心矩;
显然,最常用到的是一、二阶矩
E ( X ), D( X ), Cov( X ,Y )分别对应于上述哪些原点矩?中心矩?混合矩?
T 1
于是( X 1 , X 2 )的概率密度可写成:f ( x1 , x2 )
1 2 (2 ) 2 C
1 2
exp 1 ( X )T C 1 ( X ) 2
11


上式容易推广到 n维正态变量 ( X 1 , X 2 , X n )的情况 X1 1 E ( X 1 ) X E ( X ) 2 , 引入列向量: X 2 = 2 Xn n E ( X n ) C是 ( X 1 , X 2 , X n )的协方差矩阵, ( X 1 , X 2 , X n )的概率密度定义为: 1 1 ( X )T C 1 ( X ) f ( x1 , x2 , xn ) ex p 1 n 2 2 ( 2 ) C 2
XY
Cov( X , Y ) D( X ) D (Y )
为随机变量X 与Y的相关系数. XY 是一个无量纲的量
1
协方差的性质:
1. Cov( X , Y ) Cov(Y , X ),Cov ( X , X ) D ( X ) 2. Cov( X , Y ) E ( XY ) E ( X ) E (Y )
2 X1 1 1 引入列向量:X , , ( X , X )的协方差矩阵为:C 1 2 X2 2 1 2
]
1 2 2 2
2 它的行列式为 C 12 2 (1 2 )
8
§4 矩、协方差矩阵
定义:设X 和Y 是随机变量
若E ( X k ) k 1, 2, 存在, 则称它为X 的k阶(原点)矩;
若E [ X E ( X )]k k 1, 2, 存在, 则称它为X 的k阶中心矩; 若E X k Y l 存在 k , l 1, 2, 存在,
6
例1:设X,Y服从同一分布,其分布律为: X -1 0 1 P 1/4 1/2 1/4
已知P(|X| = |Y| )=0,判断X和Y是否相关?是否独立?
解: 先求X , Y的联合分布率: X Y 1 0 1 1 0 1 pi.
p. j 14 12 14
7
0
14
14
0
14
0
14 12
0
14
0
14
为n维随即变量( X 1 , X 2 , X n )的协方差矩阵, 协方差矩阵是一个对称矩阵。
10
利用协方差矩阵,可由二维正态变量的概率密度推广,得到n维正态变量的概率密度。
已知( X 1 , X 2 )服从二维正态分布,其概率密度为: 1 ( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 f ( x1 , x2 ) exp [ 2 2 2 2 2 1 2 1 2 2 1 2 1 2(1 )
随机变量X 与Y 不相关,即 XY 0的等价条件有:
1. Cov( X , Y ) 0
2. E ( XY ) E ( X ) E (Y ) 3. D( X Y ) D( X ) D(Y )
从而可知,当X 与Y 相互独立 X 与Y 一定不相关 反之,若X 与Y 不相关,X 与Y 却不一定相互独立


12
§3 协方差及相关系数
对于二维随机变量(X,Y),除了讨论X与Y的数学期 望和方差外,还需讨论描述X与Y之间相互关系的数字 特征。这就是本节的内容。
记为:Cov( X , Y ),即 Cov( X , Y ) E [ X E ( X )][Y E (Y )] . 称
定义: 量E [ X E ( X )][Y E (Y )] 称为随机变量X 与Y的协方差,
注:工程中常用均方误差(Mean-Square-Error, MSE) 来计算两个物理量(测量量)的相似性程度
计算得: e(a, b) E (Y 2 ) b 2 E ( X 2 ) a 2 2bE ( XY ) 2abE ( X ) 2aE (Y ) e( a , b ) 下面来求最佳近似式:e(a0 , b0 ) min a ,b e(a, b) a0 E (Y ) b0 E ( X ) a 2a 2bE ( X ) 2 E (Y ) 0 Cov( X , Y ) e a b b ( , ) 0 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0 D( X ) b 3
2
[Cov( X , Y )]2 2 D(Y ) (1 XY ) D(Y ) D( X ) 2 0 XY 1 1. 由e(a0 , b0 ) 0 1 XY
2. XY 1 E Y (a0 b0 X )

2
0
D Y (a0 b0 X ) 0且E[Y (a0 b0 X )] 0
3. Cov(aX , bY ) abCov( X , Y ) a, b是常数
4. Cov( X 1 X 2 , Y ) Cov( X 1 , Y ) Cov( X 2 , Y )
思考题: Cov(aX bY , cX dY ) ?
D (aX bY ) ?
答案:acD ( X ) bdD (Y ) (ad bc)Cov( X , Y ) a 2 D( X ) b 2 D (Y ) 2abCov( X , Y )
当 XY 较小时,e(a0 , b0 )较大,表明X , Y 线性关系的程度较差;
定义: XY 0,称X 与Y 不相关
思考
Cov( X , aX b) ? 相关性如何?
5
相关性与独立性辨析(重点)
定义: XY 0,称X 与Y 不相关
注意,X 与Y 不相关,只是对于线性关系而言的 X 与Y 相互独立是就一般关系而言的
2
相关系数的性质:
1. XY 1
2. XY 1 存在常数a, b,使P (Y a bX ) 1 特别的, XY 1时,b 0; XY 1时,b 0
证明:以X 的线性函数a bX 来近似表示Y ,以均方误差e(a, b) E [Y (a bX )]2 来衡量以a bX 近似表达Y的好坏程度,e(a, b)越小,a bX 与Y的近似程度越好。
2 2 C的逆矩阵为C 1 C 1 2 1
1 2 12
1 2 1 1 2 1 1 2

1 2
2 2
1

( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2 1 经计算, (X ) C (X ) [ 2 ] 2 2 2 1 1 2 1 2
ห้องสมุดไป่ตู้
E ( X ) (1) 1 4 0 1 2 11 4 0 E ( XY ) 0
所以,Cov( X , Y ) 0, 即X 与Y 不相关.
P( X 1, Y 1) 0, P( X 1) P (Y 1) 1 4 1 4
P ( X 1, Y 1) P( X 1) P(Y 1) 所以,X 与Y 不独立。
相关文档
最新文档