协方差、相关系数与矩
合集下载
第13讲 协方差与相关系数 太原理工大学工程硕士概率论与数理统计
22
[例] 已知 解
X 服从 0, 2π
上的均匀分布，求 E ( X 2 ), E (sin X )
X 的概率密度
1 ， 0 ≤ x ≤ 2π， f ( x) 2 π 其他， 0，
E( X 2 )
1 2 x f ( x)dx 2π
2π 0
3 2 2 π 1 x 4 π x 2 dx 2π 3 0 3
则： 2 X Y ~ N (0,25)
( 2) D(2 X Y ) 4 DX DY 2 2COV ( X , Y ) 1 25 - 4 XY DX DY 25 4 2 3 13 2
则： 2 X Y ~ N (0,13)
20
小结
本讲首先介绍二维随机向量 (X,Y) 的分量 X与Y 的协方差及相关系数的概念、性质和计 算；然后介绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、k+m 阶混合原点矩、k+m 阶混 合中心矩)，n 维随机向量的协方差阵的概念、 性质和计算；最后简单介绍了n 元正态分布 的概念和三条重要性质。
则(Y1,Y2, …, Yk)'服从k 元正态分布。
这一性质称为正态变量的线性变换不变性。
17
(3) 设(X1,X2, …,Xn)服从n元正态分布，则 “X1, X2, …, Xn 相互独立” 等价于 “X1,X2, …,Xn两两不相关”。
18
例2 设X和Y相互独立，且X~N(1, 2), Y~N(0, 1)。 求 Z = 2X-Y+3 的概率密度。 解: 由X~N(1,2), Y~N(0,1)，且X与Y相互独立,
c22 E{[ X 2 E ( X 2 )]2 } c11 c12 排成一个2×2矩阵 ， c 21 c 22
概率论与数理统计 5.3 协方差与相关系数
存在，称它为X的k阶中心矩
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
概率论
均值 EX是X一阶原点矩，方差DX是X的二阶
中心矩。
四、课堂练习
概率论
1、设随机变量（X，Y）具有概率密度
f (x, y) 81(x y) 0 x 2,0 y 2
0
其它
求E(X ), E(Y ),Cov(X ,Y ), D(X Y )。
2、设X ~ N(, 2),Y ~ N(, 2)，且设X，Y相互独立 试求Z1 X Y和Z2 X Y的相关系数(其中，
Cov(aX b,cY d ) acCov( X ,Y ); Cov(aX bY ,cX dY ) acDX bdDY (ad bc)Cov( X ,Y ).
(6) D(XY) = DX+ D Y 2 Cov(X, Y) .
一般地， D(aXbY) =a 2DX + b2DY 2 abCov(X, Y).
1
1
dx
1 x 8xydy 8
0
x
15
EY
yf ( x, y)dxdy
o
1x
1
dx
1 y 8xydy 4
0
x
5
EXY
xyf ( x, y)dxdy
1
dx
0
1 xy 8xydy 4
x
9
Cov( X ,Y ) EXYEXEY 4
225
类似地，EX 2
1
X与Y不独立.
EX EY EXY 0, Cov( X ,Y ) 0, XY 0,
X与Y不相关.
例6 设 X 的分布律为
X 1 0 1 P 13 13 13
Y X 2, 求 XY , 并讨论 X 与Y 的独立性. 解 EX 0, EY EX 2 2 3, E( XY ) EX 3 0,
协方差与相关系数
D( X + Y ) = ? D( X + Y ) = E ( X + Y )2 − [ E ( X + Y )]2
= D( X ) + D(Y ) + 2 E {[ X − E ( X )][Y − E (Y )]}.
协方差
(2) 定义
称 E{[ X − E ( X )][Y − E (Y )]} 为随机变量 X 与 Y 的协方差. 记为 Cov( X , Y ), 即 C ov( X , Y ) = E{[ X − E ( X )][Y − E (Y )]}. 称 ρXY = Cov( X , Y ) D( X ) ⋅ D(Y ) ( D( X ) ≠ 0, D(Y ) ≠ 0)
G
O
x
D(Y ) = D( X ) = 153 / 2800,
Cov( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400 = 0.0475,
Cov( ,Y ) X ρXY = = 0.87, D( X ) ⋅ D(Y )
D( X + Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ) = 0.2043.
a ,b
2 = E {[Y − (a0 + b0 X )]2 } = (1 − ρXY ) D(Y )
⇒ ρXY = 1.
(4) 不相关与相互独立的关系 若随机变量X， 相互独立 相互独立， 定理 若随机变量 ，Y相互独立， 则 ρ xy = 0 ,即X，Y不相关。 不相关。 ， 不相关 不相关 注 1) 相互独立 如后面例２ 如后面例２． 2) 不相关的充要条件
2) D( X +Y ) = D( X ) + D(Y ) + 2Cov( X ,Y ).
概率论与数理统计复习4-5章
+∞
∑ g ( x ) p 绝对收敛,则Y的期望为 ∞
k =1 k k
∑ g(x
k =1
k
) pk
(2) 设X是连续型随机变量,概率密度为 f ( x) , 如果积分 ∫−∞ g ( x) f ( x)dx 绝对收敛,则Y的期望为
E (Y ) = E[ g ( X )] = ∫ g ( x ) f ( x )dx
例 设X的概率分布律为
X −1
0 12
1
2
p 1 3 1 6 1 6 1 12 1 4
试求Y=－X+1及 Z = X 2 的期望和方差。 X －1 0 1/2 解 由于 P 1/3 1/6 1/6 Y =－X+1 2 1 1/2 Z = X2 1 0 1/4
1 1 1 1 1 1 2 E (Y ) = ( −1) ⋅ + 0 ⋅ + ⋅ + 1⋅ + 2 ⋅ = 4 12 2 6 6 3 3
2 2
D( Z ) = E ( Z 2 ) + [ E ( Z )]2 = 2.23264
1 + x − 1 < x < 0 例 设随机变量X的概率密度为 f ( x ) = 1 − x 0 ≤ x < 1 1)求D(X）, 2)求 D ( X 2 )
解 (1) E ( X ) = ∫ x(1 + x)dx + ∫ x(1 − x)dx
第四章 随机变量的数字特征
离散型随机变量的数学期望 连续型随机变量的数学期望 数学期望的性质及随机变量函数的期望 方差及其性质
4.1数学期望 数学期望
数学期望——描述随机变量取值的平均特征 数学期望——描述随机变量取值的平均特征 一、离散型随机变量的数学期望 定义 设离散型随机变量X的概率分布为
∑ g ( x ) p 绝对收敛,则Y的期望为 ∞
k =1 k k
∑ g(x
k =1
k
) pk
(2) 设X是连续型随机变量,概率密度为 f ( x) , 如果积分 ∫−∞ g ( x) f ( x)dx 绝对收敛,则Y的期望为
E (Y ) = E[ g ( X )] = ∫ g ( x ) f ( x )dx
例 设X的概率分布律为
X −1
0 12
1
2
p 1 3 1 6 1 6 1 12 1 4
试求Y=－X+1及 Z = X 2 的期望和方差。 X －1 0 1/2 解 由于 P 1/3 1/6 1/6 Y =－X+1 2 1 1/2 Z = X2 1 0 1/4
1 1 1 1 1 1 2 E (Y ) = ( −1) ⋅ + 0 ⋅ + ⋅ + 1⋅ + 2 ⋅ = 4 12 2 6 6 3 3
2 2
D( Z ) = E ( Z 2 ) + [ E ( Z )]2 = 2.23264
1 + x − 1 < x < 0 例 设随机变量X的概率密度为 f ( x ) = 1 − x 0 ≤ x < 1 1)求D(X）, 2)求 D ( X 2 )
解 (1) E ( X ) = ∫ x(1 + x)dx + ∫ x(1 − x)dx
第四章 随机变量的数字特征
离散型随机变量的数学期望 连续型随机变量的数学期望 数学期望的性质及随机变量函数的期望 方差及其性质
4.1数学期望 数学期望
数学期望——描述随机变量取值的平均特征 数学期望——描述随机变量取值的平均特征 一、离散型随机变量的数学期望 定义 设离散型随机变量X的概率分布为
概率论与数理统计(第三版)第三章4协方差与相关系数-PPT精品文档
o 3 X , Y 不相关 E ( XY ) E ( X ) E ( Y ).
3. 相关系数的性质
是一个用来表征 X ,Y之间线性关系紧密 XY
程度的量 .
1 . 1 ρ XY
a , b使 1 的充要条件是 :存在常数 2 ρ XY
P { Y a bX } 1 .
0.3 0.7
0 . 3 0 0 . 7 1 0 . 7
0 . 6 1 0 . 4 2 1 . 4
0 . 9 50 . 7 1 . 4 0.03
c o v (,) X Y E X Y E X E Y
三、 相关系数的意义
1 . 当 ρ 表明 X,Y的线性关系联 XY 较大时
例1 已知 (X,Y)的分布律求Cov(X，Y)
x 0 1 y 1 2 0.15 0.15 0.45 0.25
解: c o v (,) X Y E X Y E X E Y
EX ( Y ) 0 .9 5
x 0 1
EX ( ) EY ( )
y 1 0.15 0.45 0.6
2 0.15 0.25 0.4
3.设X和Y是随机变量，若
E(XkYL)
k, L=1,2,…
存在，
称它为X和Y的k+L阶混合（原点）矩.
k L 4.若 E {[ X E ( X )] [ Y E ( Y )] } 存在，
称它为X和Y的k+L阶混合中心矩.
二、协方差与相关系数的概念及性质
1. 问题的提出
若随机变量 X 和 Y 相ቤተ መጻሕፍቲ ባይዱ独立 ,那么
3 Cov( X X , Y ) Cov( X , Y ) Co X , Y ). 1 2 1 2
协方差
由相关系数性质(2),ρXY并不是刻画X，Y之间的“一般” 关系，而只是刻画X，Y之间线性相关的程度。虽然X，Y不 相关，但X，Y可以有关系。例如X～U(-1/2,1/2),Y=cosX, 则E(X)=0, Cov( X , Y ) E ( XY ) E ( X ) E (Y )
E ( X cos X )
x 2 y 2 1
x
dxdy
1
1 1
dx
xdy 0
E( X 2 )
0
x 2 f ( x , y )dxdy
1 2 2
x 2 y 2 1
x2
dxdy
1
2
1 dy r cos rdrd 0 4
所以 D(X)=1/4. 同样方法可得 E(Y)=0,D(Y)=1/4.
因为 E( X 2 ) 0, 则 2 2 [ E( XY )]2 4E( X 2 ) E(Y 2 ) 0 ，
即 E( XY ) E( X 2 ) E(Y 2 )
2
等号成立的充要条件是存在t0, 使g(t0)=0, 即：
而 E(Y t0 X )2 D(Y t0 X ) E(Y t0 X ) 0
X Y 则有 E X * E Y * 0, D X * D Y * 1。
令 ：X *
一般地，数学期望为0，方差为1的随机变量的分布 称为标准分布，故ρXY又称为标准协方差。
2．关系公式: (1) 协方差与方差的关系：D(X+Y)=D(X)+D(Y)+2Cov(X，Y) (2) 协方差与数学期望的关系： Cov(X，Y)=E(XY)-E(X)E(Y) 我们常用这个公式计算协 方差。 (3) 若X，Y独立，则Cov(X，Y)=0,但反之不成立。 3．协方差与相关系数的性质 协方差具有下述性质： (1) Cov(X，Y)= Cov(Y，X)； (2) Cov(aX，bY)= abCov(X，Y)；
协方差
1. 协方差与相关系数的定义 量 E{[ X E( X )][Y E(Y )]} 称为随机变量
X与Y的协方差, 记为 cov( X ,Y ),
covX ,Y EX EX Y EY
称ρXY
cov( X ,Y ) 为随机变量X与Y的 D( X ) D(Y )
相关系数.
2. 相关系数的意义 当 ρXY 接近1时,表明X ,Y的线性关系联系较紧密. 当 ρXY 接近0时, X ,Y线性相关的程度较差. ρXY 0, 则称X和Y不相关.
σ1n σ2n σnn
为n 维随机变量 ( X1, X2, , Xn ) 的协方差阵.
2. 二维随机变量的协方差矩阵
设X1, X2 为二维随机变量 , 其协方差矩阵为
σ11 σ12 , σ21 σ22 其中
σ11 E[ X1 E( X1)]2 DX1 ,
σ21 E{[ X2 E( X2 )][ X1 E( X1)]} σ12,
1
2πσ1σ 2 1 ρ2
( x μ1)( y μ2 )
e
x μ1 2σ12
2
e
2
1 1 ρ2
y
μ2 σ2
ρ
x
μ1 σ1
2
dydx
令 t 1 y μ2 ρ x μ1 , u x μ1 ,
1 ρ2 σ2
σ1
σ1
cov(X ,Y )
1
2π (σ1σ 2
σ12 E{[ X1 E( X1)][ X2 E( X2 )]},
σ22 E[ X2 E( X2 )]2 DX2 .
注10 由于cij = cji i, j 1,2, n,所以
协方差矩阵为对称的非负定矩阵. 注20 协方差矩阵的应用.
协方差与相关矩阵的解释与应用
协方差与相关矩阵的解释与应用协方差和相关矩阵是统计学中常用的概念，用于描述变量之间的关系。
在数据分析和金融领域，协方差和相关矩阵的应用十分广泛。
本文将对协方差和相关矩阵进行解释，并介绍它们在实际应用中的作用。
一、协方差的解释与计算方法协方差是用来衡量两个随机变量之间的关系强度和方向的统计量。
它的计算方法是通过计算两个变量之间每个对应值的差乘积的平均值。
如果两个变量的协方差为正值，说明它们之间存在正相关关系；如果协方差为负值，说明它们之间存在负相关关系；如果协方差接近于零，说明它们之间没有线性关系。
协方差的计算公式如下：cov(X, Y) = E[(X - E[X])(Y - E[Y])]其中，X和Y分别表示两个随机变量，E[X]和E[Y]表示X和Y的期望值。
二、相关矩阵的解释与计算方法相关矩阵是由多个变量之间的协方差构成的矩阵。
它的每个元素代表了对应两个变量之间的协方差。
相关矩阵的对角线上的元素是各个变量的方差，非对角线上的元素是对应两个变量之间的协方差。
相关矩阵的计算方法如下：cor(X, Y) = cov(X, Y) / (σ(X) * σ(Y))其中，cov(X, Y)表示X和Y的协方差，σ(X)和σ(Y)分别表示X和Y的标准差。
三、协方差与相关矩阵的应用协方差和相关矩阵在实际应用中有着广泛的应用。
以下是其中几个常见的应用场景：1. 投资组合分析：在金融领域，协方差和相关矩阵被广泛用于投资组合的分析和优化。
通过计算不同资产之间的协方差或相关系数，投资者可以评估资产之间的风险和收益关系，从而制定合理的投资策略。
2. 风险管理：在风险管理中，协方差和相关矩阵被用于衡量不同风险因素之间的关联性。
通过分析不同风险因素之间的协方差或相关系数，可以帮助机构预测和管理风险，制定相应的对冲策略。
3. 数据分析：在数据分析中，协方差和相关矩阵常被用于探索变量之间的关系。
通过计算协方差矩阵或相关矩阵，可以发现变量之间的线性关系，从而为进一步的分析提供基础。
工程数学概率 第三章(一)
求：一次游戏平均得多少钱？
机动
目录
上页
下页
返回
结束
解： 假设做了n次游戏，
每次平均得：
当n很大时，
定义1 定义1 设离散型随机变量X 的分布律为
P{X = xk } = pk , (k =1 2,3,L , )
若级数
∑x p 绝对收敛 ，
k= 1 k k
∞
∞
则称此级数的和为X 的数学期望 数学期望。 数学期望 简称期望或均值 期望或均值，记为 E(X). 期望或均值 即 E(X) = ∑xk pk
0 0
1 = ≠ E(X)E(Y) 3
机动 目录 上页 下页 返回 结束
三、数学期望的性质 1. 设C 是常数，则E(C )=C ; 2. 若C 是常数，则E(CX ) = CE(X ); 3. E(X +Y) = E(X) + E(Y) 证明: 设 ( X.Y) ~ f ( x, y)
∞∞
E(X +Y) = ∫ ∫ (x + y) f (x, y)dxdy
第三章 随机变量的数字特征
一、数学期望 二、方差 三、协方差和相关系数 四、矩和协方差矩阵
第一讲 数学期望
一 、数学期望的概念 二、随机变量函数的数学期望 三、数学期望的性质
第三章
机动
目录
上页
下页
返回
结束
一、数学期望的概念
引例： 引例：某人参加一个掷骰子游戏，规则如下： 掷得点数 获得(元) 1点 1 2,3点 2 4,5,6点 4
∞
−∞
−∞
推广： 推广： [∏Xi ] = ∏E(Xi ) （当Xi 独立时） E
例1、 、 任意掷5颗骰子，X—5颗骰子出现的点数之和,求E(X). 解：
随机变量的协方差和相关系数
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
cov( X , Y ) ( xi EX )( y j EY ) pij量时,
cov( X , Y )
( x EX )( y EY ) f ( x, y)dxdy.
存在，称它为X的k阶中心矩. 注：均值 E(X)是X一阶原点矩, 方差D(X)是X的二阶中心矩.
设 X 和 Y 是随机变量，若
E( X Y )
k
l
k,l=1,2,… 存在，
称它为 X 和 Y 的 k+l 阶混合原点矩.
若 E{[ X E ( X )]k [Y E (Y )]l } 存在， 称它为X 和 Y 的 k+l 阶混合中心矩. 注:协方差cov(X,Y)是X和Y的二阶混合中心矩.
例1 设X~N(0,1), Y=X2, 求X和Y的相关系数。
4. 若 XY 0 ，则称X和Y（线性）不相关。
定理：若随机变量X与Y的数学期望和方差都存 在，且均不为零，则下列四个命题等价： （1） XY 0 ； （2）cov(X ,Y) = 0；
（3）E(XY)=EXEY；
（4）D(X ±Y)=DX+DY。
n2
为(X1,X2, …,Xn) 的相关系数矩阵。
由于 i i
cov( X i , X i ) 1, D( X i ) D( X i )
故相关系数矩阵的主对角元素均为1.
五、 原点矩和中心矩
定义 设X和Y是随机变量，若
E ( X k ), k 1,2, 存在，称它为X的k阶原点矩，简称 k阶矩. 若 E{[ X E ( X )]k }, k 2,3,
第13讲 协方差及相关系数 矩及协方差矩阵
2 2 i 2
因此
2 2 3 2 Eη E(ξ 2, 因ξ 而 i ξ ) 3 i ξ ~ N(0, ), 3 3 i1
2
1 1 cov(ξ ξ ) E[(ξ 0, i ξ , i ξ ) ξ ] E(ξ i ξ ) E ξ 3 3 即ξ 而它们都是正态分布, i ξ 与 ξ 互不相关,
则
ρ XY
Cov(X,Y) D(X) D(Y)
称为随机变量X与Y的相关系数. XY是一个无量纲的量.
现证明||1
令X'=X-EX,Y'=Y-EY, 则X',Y'都是期望值为0的随机变量. 对于任给的实数t, 相信E(X'+tY')20, 即 EX'2+2tE(X'Y')+t2EY'20, 即是说关于t的一元二次方程 EX'2+2tE(X'Y')+t2EY'2=0最多只有单个实根或者没有实根, 也就说明判别式 b2-4ac0
四、矩
定义 设X和Y是随机变量, 若 E(Xk), k=1,2,... 存在, 称它为X的k阶原点矩, 简称k阶矩. 若 若 E{[X-E(X)]k}, k=1,2,... E(XkYl), k,l=1,2,...
存在, 称它为X的k阶中心矩.
存在, 称它为X和Y的k+l阶混合矩.
若
E{[X-E(X)]k[Y-E(Y)]l}, k,l=1,2,...
定理
两个随机变量X和Y呈线性关系的充分必要条件,
是它们的相关系数的绝对值为1, 即 ||=1
而另一方面, 如果X与Y相互独立, 则它们的相关系数必为0,
因此
2 2 3 2 Eη E(ξ 2, 因ξ 而 i ξ ) 3 i ξ ~ N(0, ), 3 3 i1
2
1 1 cov(ξ ξ ) E[(ξ 0, i ξ , i ξ ) ξ ] E(ξ i ξ ) E ξ 3 3 即ξ 而它们都是正态分布, i ξ 与 ξ 互不相关,
则
ρ XY
Cov(X,Y) D(X) D(Y)
称为随机变量X与Y的相关系数. XY是一个无量纲的量.
现证明||1
令X'=X-EX,Y'=Y-EY, 则X',Y'都是期望值为0的随机变量. 对于任给的实数t, 相信E(X'+tY')20, 即 EX'2+2tE(X'Y')+t2EY'20, 即是说关于t的一元二次方程 EX'2+2tE(X'Y')+t2EY'2=0最多只有单个实根或者没有实根, 也就说明判别式 b2-4ac0
四、矩
定义 设X和Y是随机变量, 若 E(Xk), k=1,2,... 存在, 称它为X的k阶原点矩, 简称k阶矩. 若 若 E{[X-E(X)]k}, k=1,2,... E(XkYl), k,l=1,2,...
存在, 称它为X的k阶中心矩.
存在, 称它为X和Y的k+l阶混合矩.
若
E{[X-E(X)]k[Y-E(Y)]l}, k,l=1,2,...
定理
两个随机变量X和Y呈线性关系的充分必要条件,
是它们的相关系数的绝对值为1, 即 ||=1
而另一方面, 如果X与Y相互独立, 则它们的相关系数必为0,
协方差和相关系数矩和协方差矩阵
P{[X—E(X)]t0+[Y—E(Y)]=0}=1， 即 P{Y=aX+b}=1．
其中a= -t0，b=t0E(X)+E(Y)为常数．
首页
上页
返回
下页
结束
例4．已知（X，Y）的概率密度，试证X与Y既不相关，也不相互
独立。
f
( x,
y)
1
,
证明：(1) 因为
0,
x2 y2 1 其它
E(X )
证明：（1）考虑实变量t的二次函数
q(t) E{[(X - E(X )) t (Y - E(Y )]2}
E{[ X - E(X )]2}t2 2E{[ X - E(X )] [Y - E(Y )]}t E[Y - E(Y )]2}
D(X ) t 2 2Cov(X ,Y ) t D(Y )
解：X，Y的联合密度f(x,y)及边缘密度 fX(x), fY(y) 如下：
f (x, y)
1
e-
1 2(1-
2
[ )
(
x
-1 12
)2
-2
(
x
-
1 )( y- 1 2
2
)
(
y
-2
2 2
)2
fX (x)
2 1 2 1- 2
1
- ( x-1 )2
e
, 2
2 1
2 1
fY (y)
1
e , -
四、独立 ？ 不相关
首页
上页
返回
下页
结束
n则协方差矩阵为上页下页?结束返回首页所以xy的协方差矩阵为2211cexexxfxydxdy???????????????????1022012cos1122rdrrddxdyxyx??????????102023202cos41cos1????????ddrrd2011cos21424d????????411122??cc????????????410041由对称性可知例1
其中a= -t0，b=t0E(X)+E(Y)为常数．
首页
上页
返回
下页
结束
例4．已知（X，Y）的概率密度，试证X与Y既不相关，也不相互
独立。
f
( x,
y)
1
,
证明：(1) 因为
0,
x2 y2 1 其它
E(X )
证明：（1）考虑实变量t的二次函数
q(t) E{[(X - E(X )) t (Y - E(Y )]2}
E{[ X - E(X )]2}t2 2E{[ X - E(X )] [Y - E(Y )]}t E[Y - E(Y )]2}
D(X ) t 2 2Cov(X ,Y ) t D(Y )
解：X，Y的联合密度f(x,y)及边缘密度 fX(x), fY(y) 如下：
f (x, y)
1
e-
1 2(1-
2
[ )
(
x
-1 12
)2
-2
(
x
-
1 )( y- 1 2
2
)
(
y
-2
2 2
)2
fX (x)
2 1 2 1- 2
1
- ( x-1 )2
e
, 2
2 1
2 1
fY (y)
1
e , -
四、独立 ？ 不相关
首页
上页
返回
下页
结束
n则协方差矩阵为上页下页?结束返回首页所以xy的协方差矩阵为2211cexexxfxydxdy???????????????????1022012cos1122rdrrddxdyxyx??????????102023202cos41cos1????????ddrrd2011cos21424d????????411122??cc????????????410041由对称性可知例1
协方差相关矩阵相关系数
协⽅差相关矩阵相关系数通过两组统计数据计算⽽得的协⽅差可以评估这两组统计数据的相似程度。
样本：A = [a1, a2, ..., an]B = [b1, b2, ..., bn]平均值：ave_a = (a1 + a2 +...+ an)/nave_b = (b1 + b2 +...+ bn)/m离差（⽤样本中的每⼀个元素减去平均数，求得数据的误差程度）：dev_a = [a1, a2, ..., an] - ave_adev_b = [b1, b2, ..., bn] - ave_b协⽅差协⽅差可以简单反映两组统计样本的相关性，值为正，则为正相关；值为负，则为负相关，绝对值越⼤相关性越强。
cov_ab = ave(dev_a x dev_b)cov_ba = ave(dev_b x dev_a)案例：计算两组数据的协⽅差，并绘图观察。
import numpy as npimport matplotlib.pyplot as mpa = np.random.randint(1, 30, 10)b = np.random.randint(1, 30, 10)#平均值ave_a = np.mean(a)ave_b = np.mean(b)#离差dev_a = a - ave_adev_b = b - ave_b#协⽅差cov_ab = np.mean(dev_a*dev_b)cov_ba = np.mean(dev_b*dev_a)print('a与b数组：', a, b)print('a与b样本⽅差：', np.sum(dev_a**2)/(len(dev_a)-1), np.sum(dev_b**2)/(len(dev_b)-1))print('a与b协⽅差：',cov_ab, cov_ba)#绘图，查看两条图线的相关性mp.figure('COV LINES', facecolor='lightgray')mp.title('COV LINES', fontsize=16)mp.xlabel('x', fontsize=14)mp.ylabel('y', fontsize=14)x = np.arange(0, 10)#a,b两条线mp.plot(x, a, color='dodgerblue', label='Line1')mp.plot(x, b, color='limegreen', label='Line2')#a,b两条线的平均线mp.plot([0, 9], [ave_a, ave_a], color='dodgerblue', linestyle='--', alpha=0.7, linewidth=3)mp.plot([0, 9], [ave_b, ave_b], color='limegreen', linestyle='--', alpha=0.7, linewidth=3)mp.grid(linestyle='--', alpha=0.5)mp.legend()mp.tight_layout()mp.show()相关系数协⽅差除去两组统计样本的乘积是⼀个[-1, 1]之间的数。
随机变量的协方差和相关系数.
2.简单性质
(1) cov(X,C)= 0, C为常数； (2) cov(X,X)= D(X) (3) cov(X,Y)= cov(Y,X) (4) cov(aX+b, Y) = a cov(X,Y) a, b 是常数 (5) cov(aX, bY) = ab cov(X,Y) a, b 是常数 (6) cov(X1+X2,Y)= cov(X1,Y) + cov(X2,Y) (7) D(X±Y)=D(X)+D(Y)±2cov(X,Y)
X 与 Y 的相关系数 XY
1 147 . 46 147
Cov ( X ,Y ) 15 . D( X ) D(Y ) 69
2 2
2. 设二维连续型随机变量( X ,Y ) 的联合密度
6 2 1 ( x xy), 0 x 1, 0 y 2, 函数为 f ( x , y ) 7 2 其他 0, 求 ( X ,Y ) 的协方差矩阵及相关系 数.
解 E( X )
1 2
x f ( x , y )dxdy
cov( X i , X j ) D( X i ) D( X j )
vij vii v jj
( i, j=1,2,…,n )
都存在, 则称
11 21 矩阵 R n1
12 22
1n 2n
nn
这是一个非 负定对称矩阵
cov(X,Y)=E[X-EX][Y-EY]=EXY-EXEY
1) 当(X,Y)是离散型随机变量时,
cov( X , Y ) ( xi EX )( y j EY ) pij ,
i j
协方差及相关系数
+∞
=0
ρX X
所以 X 与 X 不相关
( 3 ) 独立性由其定义来判断
对于任意的常数 a > 0 , 事件 ( X < a ) ( X < a ), 且 P ( X < a ) > 0 , P ( X < a ) < 1,因此有 P( X < a, X < a) = P( X < a) P ( X < a)P( X < a) < P( X < a) 所以 P ( X < a , X < a ) ≠ P ( X < a ) P ( X < a ) 故 X 与 X 不独立
Cov ( X , Y ) = E ( XY ) EXEY = pq Cov ( X , Y ) ρ XY = =1 DX DY
例2 设 ( X ,Y ) ~ N ( μ1, σ12,μ2,σ22,ρ), 求 ρXY 解
令 x μ1
Cov ( X ,Y ) = ∫
σ1 y μ2 =t σ2
=s
ξ ,η 为 X , Y的线性组合
所以 ξ ,η 都服从正态分布 N ( 0, + b )σ ) (a
2 2 2
在正态分布中 , 不相关与独立是等价的
所以当 a = b 时, ξ ,η 独立 当 a ≠ b 时, ξ ,η 不独立
( 3) 当ξ ,η 相互独立时 , 即a 2 = b 2 , ξ ,η 都服从
例1 已知 X ,Y 的联合分布为 X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 Cov (X ,Y ), ρXY 解 X P 1 p 0 q Y P 1 p 0 q XY P 1 p 0 q
=0
ρX X
所以 X 与 X 不相关
( 3 ) 独立性由其定义来判断
对于任意的常数 a > 0 , 事件 ( X < a ) ( X < a ), 且 P ( X < a ) > 0 , P ( X < a ) < 1,因此有 P( X < a, X < a) = P( X < a) P ( X < a)P( X < a) < P( X < a) 所以 P ( X < a , X < a ) ≠ P ( X < a ) P ( X < a ) 故 X 与 X 不独立
Cov ( X , Y ) = E ( XY ) EXEY = pq Cov ( X , Y ) ρ XY = =1 DX DY
例2 设 ( X ,Y ) ~ N ( μ1, σ12,μ2,σ22,ρ), 求 ρXY 解
令 x μ1
Cov ( X ,Y ) = ∫
σ1 y μ2 =t σ2
=s
ξ ,η 为 X , Y的线性组合
所以 ξ ,η 都服从正态分布 N ( 0, + b )σ ) (a
2 2 2
在正态分布中 , 不相关与独立是等价的
所以当 a = b 时, ξ ,η 独立 当 a ≠ b 时, ξ ,η 不独立
( 3) 当ξ ,η 相互独立时 , 即a 2 = b 2 , ξ ,η 都服从
例1 已知 X ,Y 的联合分布为 X Y 1 0 p 0 0 q 1 0 0 < p <1 p+q=1
求 Cov (X ,Y ), ρXY 解 X P 1 p 0 q Y P 1 p 0 q XY P 1 p 0 q
概率论与数理统计(协方差及相关系数、矩)
实验步骤： 实验步骤： (1) 整理数据如图 所示． 整理数据如图4-5所示 所示．
图4-5 整理数据
(2) 计算边缘概率 计算边缘概率P{X = xi}和P{Y = yj} 和 在单元格G2中输入公式 ： 在单元格 中输入公式： = SUM(B2:F2)， 并将 中输入公式 ， 其复制到单元格区域G3:G6 其复制到单元格区域 在单元格B7中输入公式： 在单元格 中输入公式：=SUM(B2:B6)，并将其 中输入公式 ， 复制到单元格区域C7:F7 复制到单元格区域 (3) 计算期望 计算期望E(XY) 首先在单元格B9中输入公式： 首先在单元格 中输入公式： 中输入公式 =MMULT(B1:F1,B2:F6)， ，
−
π
∫ πcos zdz = 0, ∫ πsin z cos zdz = 0
−
1 E ( XY ) = 2π
π
因而Cov(X，Y) = 0，ρXY = 0． ， 因而 ， ． 不相关， 相关系数ρXY = 0，说明随机变量 与Y不相关， ，说明随机变量X与 不相关 但是， 所以X与 不独立 不独立． 但是，由于 X 2 + Y 2 = 1 ，所以 与Y不独立．
Cov ( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400,
所以
ρ XY =
Cov( X , Y ) 19 / 400 133 = = = 0.87 D( X ) D(Y ) 153 / 2800 153
4.3.2 相关系数 下面不加证明地给出相关系数的两条性质： 下面不加证明地给出相关系数的两条性质： (1) |ρXY | ≤ 1； ； 的充要条件是， (2) |ρXY | = 1的充要条件是，存在常数 ，b，使 的充要条件是 存在常数a， P{Y = aX + b} = 1． ． 定义4.6 若ρXY = 0，称X与Y不相关．0 < ρXY ≤ 1，称 定义 ， 与 不相关． ， 不相关 X与Y正相关，– 1 ≤ ρXY < 0，称X与Y负相关． 正相关， 负相关． 与 正相关 ， 与 负相关 事实上,相关系数 事实上 相关系数ρXY是X与Y线性关系强弱的一个 与 线性关系强弱的一个 度量,X与 的线性关系程度随着 的线性关系程度随着| 的减小而减弱, 度量 与Y的线性关系程度随着 ρXY|的减小而减弱 的减小而减弱 的线性关系最强， 时 与 的线性关系最强 当|ρXY| = 1时X与Y的线性关系最强， 的不存在线性关系， 当ρXY = 0时，意味 与Y的不存在线性关系，即X 时 意味X与 的不存在线性关系 不相关. 与Y不相关 不相关
概率论与数理统计电子教案：c4_3 协方差.相关系数与矩
对称阵
3）C是非负定矩阵；
4）ci2j cii c jj , i, j 1,2,..., n
2020/8/27
4
协方差、相关系数、矩
二. 相关系数
定义：设二维随机变量X,Y的D(X)>0,D(Y)>0
称
XY
covX ,Y DX DY
为随机变量X与Y的相关系数。
注：1）ρXY是一无量纲的量。
a1a2 a1a2
XY
证明
相关系数是衡量两个随机变量之间线性相关程度 的数字特征.
2020/8/27
6
协方差、相关系数、矩
定义：设随机变量X,Y的相关系数存在
1）ρXY＝1 称 X,Y正相关. 2）ρXY＝－1 称 X,Y负相关. 3）ρXY＝0 称 X,Y不相关.
注：ρXY＝0仅说明X,Y之间没有线性关系，但可以 有其他非线性关系. 参见书上P116 例4.4.4.
2） XY
E
X
EX DX
Y
E
Y
D Y
E X * Y * cov X * ,Y *
2020/8/27
5
协方差、相关系数、矩
性质：设随机变量X,Y的相关系数ρ存在，则
1） |ρ|1
证明
2） |ρ|＝1
X与Y依概率为1线性相关。即
, 0 s .t PY X 1
证明
3）若＝a 1X+b1 , = a 2Y+b2 则
PY X 1
证明：" " 必要性 1时 由1）有
D X Y 0 E X Y 0
由 方 差 的 性 质4） 得
P X Y E X Y 1 即
P X Y 0 1
PY －
3）C是非负定矩阵；
4）ci2j cii c jj , i, j 1,2,..., n
2020/8/27
4
协方差、相关系数、矩
二. 相关系数
定义：设二维随机变量X,Y的D(X)>0,D(Y)>0
称
XY
covX ,Y DX DY
为随机变量X与Y的相关系数。
注：1）ρXY是一无量纲的量。
a1a2 a1a2
XY
证明
相关系数是衡量两个随机变量之间线性相关程度 的数字特征.
2020/8/27
6
协方差、相关系数、矩
定义：设随机变量X,Y的相关系数存在
1）ρXY＝1 称 X,Y正相关. 2）ρXY＝－1 称 X,Y负相关. 3）ρXY＝0 称 X,Y不相关.
注：ρXY＝0仅说明X,Y之间没有线性关系，但可以 有其他非线性关系. 参见书上P116 例4.4.4.
2） XY
E
X
EX DX
Y
E
Y
D Y
E X * Y * cov X * ,Y *
2020/8/27
5
协方差、相关系数、矩
性质：设随机变量X,Y的相关系数ρ存在，则
1） |ρ|1
证明
2） |ρ|＝1
X与Y依概率为1线性相关。即
, 0 s .t PY X 1
证明
3）若＝a 1X+b1 , = a 2Y+b2 则
PY X 1
证明：" " 必要性 1时 由1）有
D X Y 0 E X Y 0
由 方 差 的 性 质4） 得
P X Y E X Y 1 即
P X Y 0 1
PY －
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a ,b
由上式知道，均方误差 e是 XY 的严格单调递减函数。 当 XY 较大时，e较小，表明X与Y联系较为紧密。
相关系数ρXY刻划了随机变量X和Y的线性相关程度。
第4章
§4.3 协方差、相关系数与矩
第11页
4.3.2 独立性与不相关性
定义4.3.2 当 XY = 0 时，称 X 和 Y不相关. 不相关 独立 但也有例外 例如二维正态分布,独立与不相关等价
E (Y ) / 4,
同理可得
0 1 2 E ( XY ) xy cos( x y)dxdy1 1 0.5708, 2 0 -2 2 2
cov( X , Y ) E ( XY ) - E ( X ) E (Y )
0.5708 (0.7854)2 0.0461
Cov(X,Y) = E[XE(X)][YE(Y)]
而
XY
Cov( X , Y ) D( X ) D(Y )
为随机变量X和Y的相关系数（标准协方差）。
第4章
§4.3 协方差、相关系数与矩
第4页
2.协方差的计算 离散型随机向量 cov( X , Y )
[ x E( X )][ y
（3）Cov(X1+X2, Y) = Cov(X1,Y) + Cov(X2,Y)
第4章
§4.3 协方差、相关系数与矩
第6页
注意点
XY 的大小反映了X与Y之间的线性关系：
XY 接近于1， X 与 Y 间 正相关. XY 接近于 1， X 与 Y 间 负相关. XY 接近于 0， X 与 Y 间 不相关. 没有线性关系
i i j
j
E(Y )]pij
其中 P{X=xi ,Y=yj}=pij i, j=1, 2, 3, ….
连续型随机向量
cov( X , Y )
[ x E ( X )][ y E (Y )] f ( x, y)dxdy
3. 协方差计算公式
Cov(X,Y)=E(XY )－E(X)E(Y)
第4章 §4.3 协方差、相关系数与矩 例1 设二维随机变量的联合分布律为 X 0 1 Y 0 q 0 1 0 p 其中p+q=1，求相关系数XY． 解 由(X,Y)的联合分布律，可得X与Y的边缘分布律为
X P 0 q 1 p Y P 0 q
第7页
1 p
E( X ) p, D( X ) pq, E(Y ) p, D(Y ) pq . cov( X , Y ) E( XY ) E( X ) E (Y ) 0 0 q 0 1 0 1 0 0 11 p p p p p2 pq , cov( X , Y ) pq XY 1. D( X ) D(Y ) pq pq
第4章
§4.3 协方差、相关系数与矩
第9页
考虑以X的线性函数 a bX来近似表示 Y。
我们以均方误差来表示近似程度：
2 E (Y 2) b 2E (X 2) a 2 e E{[Y (a bX )] } 2bE (XY ) 2abE (X ) 2aE ( Y) e 2a 2bE (X ) 2 E(Y ) 0 a e 2bE (X 2) 2 E( XY ) 2aE (X ) 0 b min E{[Y (a bX )]2 } (1 2 XY ) D(Y )
注 （1）若 X与Y独立,则Cov(X, Y)=0 （2）D(X±Y) = D(X) + D(Y)±2Cov(X, Y)
第4章
§4.3 协方差、相关系数与矩
第5页
4. 协方差的性质 （1）Cov(X, Y) = Cov(Y, X) （2）Cov(aX, bY) = abCov(X, Y), a,b 为常数
第4章
§4.3 协方差、相关系数与矩
知识回顾
第1页
1. D(X)=Var(X)=E{[X—E(X)]2}
D( X ) [ xk E ( X )]2 pk
k 1
D( X ) [ x E ( X )]2 f ( x )dx
D( X ) E( X 2 ) [ E( X )]2 2. D(X)的性质 3. 常见分布的期望与方差
分布 E(X) D(X) 0 -1 p pq
B(n, p) P(λ)
U[a, b] (a+b)/2 (b-a)2/12
E() 1/ 1/ 2
N(, 2)
np npq
2
第4章
§4.3 协方差、相关系数与矩
第2页
§4.3 协方差、相关系数与矩 问题 对于二维随机变量(X ,Y ): 已知联合分布 边缘分布
对二维随机变量,除每个随机变量各自 的概率特性外, 相互之间可能还有某种联系 问题是用一个怎样的数去反映这种联系. 数 E [ X E ( X )][Y E (Y )] 反映了随机变量 X , Y 之间的某种关系
第4章
§4.3 协方差、相关系数与矩
第3页
4.3.1 协方差与相关系数
1. 定义 若E[X-E(X)][Y-E(Y)]存在，则称其为随机变量X与Y 的协方差。记为cov(X, Y)或Cov(X, Y), 即 协方差
a ,b
即存在线性函数 a0 b0 X 与Y 最近似。
第4章
§4.3 协方差、相关系数与矩
第10页
相关系数的性质 （1）|ρXY| ≤ 1； （2）|ρXY| = 1当且仅当 P{Y=aX+b}=1 , 其中a, b为常数。
min E{[Y (a bX )]2 } (1 2 XY ) D(Y )
第4章
§4.3 协方差、相关系数与矩
第8页
例2 设二维（X，Y）随机变量的密度函数为
1 cos( x y )， 0 x , - y 0 f ( x, y ) 2 2 2 0， 其它 求 cov( X , Y )
1 2 0 解 因为 E ( X ) x cos( x y)dxdy 0.7854, 2 0 -2 4
由上式知道，均方误差 e是 XY 的严格单调递减函数。 当 XY 较大时，e较小，表明X与Y联系较为紧密。
相关系数ρXY刻划了随机变量X和Y的线性相关程度。
第4章
§4.3 协方差、相关系数与矩
第11页
4.3.2 独立性与不相关性
定义4.3.2 当 XY = 0 时，称 X 和 Y不相关. 不相关 独立 但也有例外 例如二维正态分布,独立与不相关等价
E (Y ) / 4,
同理可得
0 1 2 E ( XY ) xy cos( x y)dxdy1 1 0.5708, 2 0 -2 2 2
cov( X , Y ) E ( XY ) - E ( X ) E (Y )
0.5708 (0.7854)2 0.0461
Cov(X,Y) = E[XE(X)][YE(Y)]
而
XY
Cov( X , Y ) D( X ) D(Y )
为随机变量X和Y的相关系数（标准协方差）。
第4章
§4.3 协方差、相关系数与矩
第4页
2.协方差的计算 离散型随机向量 cov( X , Y )
[ x E( X )][ y
（3）Cov(X1+X2, Y) = Cov(X1,Y) + Cov(X2,Y)
第4章
§4.3 协方差、相关系数与矩
第6页
注意点
XY 的大小反映了X与Y之间的线性关系：
XY 接近于1， X 与 Y 间 正相关. XY 接近于 1， X 与 Y 间 负相关. XY 接近于 0， X 与 Y 间 不相关. 没有线性关系
i i j
j
E(Y )]pij
其中 P{X=xi ,Y=yj}=pij i, j=1, 2, 3, ….
连续型随机向量
cov( X , Y )
[ x E ( X )][ y E (Y )] f ( x, y)dxdy
3. 协方差计算公式
Cov(X,Y)=E(XY )－E(X)E(Y)
第4章 §4.3 协方差、相关系数与矩 例1 设二维随机变量的联合分布律为 X 0 1 Y 0 q 0 1 0 p 其中p+q=1，求相关系数XY． 解 由(X,Y)的联合分布律，可得X与Y的边缘分布律为
X P 0 q 1 p Y P 0 q
第7页
1 p
E( X ) p, D( X ) pq, E(Y ) p, D(Y ) pq . cov( X , Y ) E( XY ) E( X ) E (Y ) 0 0 q 0 1 0 1 0 0 11 p p p p p2 pq , cov( X , Y ) pq XY 1. D( X ) D(Y ) pq pq
第4章
§4.3 协方差、相关系数与矩
第9页
考虑以X的线性函数 a bX来近似表示 Y。
我们以均方误差来表示近似程度：
2 E (Y 2) b 2E (X 2) a 2 e E{[Y (a bX )] } 2bE (XY ) 2abE (X ) 2aE ( Y) e 2a 2bE (X ) 2 E(Y ) 0 a e 2bE (X 2) 2 E( XY ) 2aE (X ) 0 b min E{[Y (a bX )]2 } (1 2 XY ) D(Y )
注 （1）若 X与Y独立,则Cov(X, Y)=0 （2）D(X±Y) = D(X) + D(Y)±2Cov(X, Y)
第4章
§4.3 协方差、相关系数与矩
第5页
4. 协方差的性质 （1）Cov(X, Y) = Cov(Y, X) （2）Cov(aX, bY) = abCov(X, Y), a,b 为常数
第4章
§4.3 协方差、相关系数与矩
知识回顾
第1页
1. D(X)=Var(X)=E{[X—E(X)]2}
D( X ) [ xk E ( X )]2 pk
k 1
D( X ) [ x E ( X )]2 f ( x )dx
D( X ) E( X 2 ) [ E( X )]2 2. D(X)的性质 3. 常见分布的期望与方差
分布 E(X) D(X) 0 -1 p pq
B(n, p) P(λ)
U[a, b] (a+b)/2 (b-a)2/12
E() 1/ 1/ 2
N(, 2)
np npq
2
第4章
§4.3 协方差、相关系数与矩
第2页
§4.3 协方差、相关系数与矩 问题 对于二维随机变量(X ,Y ): 已知联合分布 边缘分布
对二维随机变量,除每个随机变量各自 的概率特性外, 相互之间可能还有某种联系 问题是用一个怎样的数去反映这种联系. 数 E [ X E ( X )][Y E (Y )] 反映了随机变量 X , Y 之间的某种关系
第4章
§4.3 协方差、相关系数与矩
第3页
4.3.1 协方差与相关系数
1. 定义 若E[X-E(X)][Y-E(Y)]存在，则称其为随机变量X与Y 的协方差。记为cov(X, Y)或Cov(X, Y), 即 协方差
a ,b
即存在线性函数 a0 b0 X 与Y 最近似。
第4章
§4.3 协方差、相关系数与矩
第10页
相关系数的性质 （1）|ρXY| ≤ 1； （2）|ρXY| = 1当且仅当 P{Y=aX+b}=1 , 其中a, b为常数。
min E{[Y (a bX )]2 } (1 2 XY ) D(Y )
第4章
§4.3 协方差、相关系数与矩
第8页
例2 设二维（X，Y）随机变量的密度函数为
1 cos( x y )， 0 x , - y 0 f ( x, y ) 2 2 2 0， 其它 求 cov( X , Y )
1 2 0 解 因为 E ( X ) x cos( x y)dxdy 0.7854, 2 0 -2 4