北京理工大学《概率论与数理统计》课件-第8章

数学期望和方差是两个重要的数字特征，分别表示单个随机变量的平均值和离散程度；
而对于多维随机变量，不仅能够确定边缘分布，还包含各分量之间关系的信息.刻划两个r.v.间相互关系的一个重要数字特征：
协方差和相关系数
若DX 、DY 存在，则有
D (X ±Y )=DX +DY ±2
E [(X−EX )(Y−EY )]
这说明E [(X −EX )(Y −EY )]表达了X 与Y 之间的某种关系.
且当X 和Y 独立时，有D (X ±Y )=DX +DY
即：若X 和Y 独立，从而有结论：若E [(X −EX )(Y −EY )]≠0，则X 和Y 不独立.则有E [(X−EX )(Y−EY )]=0
协方差
1.定义
设：二维随机变量(X ,Y )，它的分量的数学期望为E (X )和E (Y )，若
E [(X −E (X ))(Y −E (Y ))]存在，则称它为X ,Y 的协方差，记为Cov (X ,Y )，即一、协方差（Covariance ）
()
(,)(())(())Cov X Y E X E X Y E Y =--协方差为正说明同向变化程度更高;协方差为负说明反向变化程度更高
2.计算
（1）若二维离散型随机变量(X ,Y )的联合分布律为
P (X =x i ,Y =y j )=p ij i,j =1,2,…
（2）若二维连续型随机变量(X ,Y )的密度函数为f (x ,y )
且Cov (X,Y )存在，则
E [g (X ,Y )] E [g (X ,Y )] (,)[(())(())]
Cov X Y E X E X Y E Y =--11
(())(())i j ij
i j x E X y E Y p ∞∞===--∑∑(,)[(())(())]
Cov X Y E X E X Y E Y =--(())(())(,)x E X y E Y f x y dxdy
+∞
+∞-∞-∞=--⎰⎰
可见，若X 与Y 独立，Cov (X ,Y )=0.
Cov (X ,Y )=E {[X -E (X )][Y -E (Y )]}
=E (XY )-E (X )E (Y )-E (Y )E (X )+E (X )E (Y )=E (XY )-E (X )E (Y )
=E {XY -XE (Y )-YE (X )+E (X )E (Y )}
（3）Cov (X ,Y )=E (XY )-E (X )E (Y )
证明：
（5）Cov (X 1+X 2,Y )=Cov (X 1,Y )+Cov (X 2,Y )
（2）Cov (X ,Y )=Cov (Y ,X )
3.简单性质
（4）Cov (aX ,bY )=abCov (X ,Y )a ,b 是常数
（6）若X ,Y 的协方差Cov (X ,Y )存在，则E (XY )=E (X )E (Y )+Cov (X ,Y )
（3）Cov (X ,X )=D (X )
（1）Cov (X ,a )=0
若X 1,X 2,…,X n 两两独立，则有D (X +Y )=D (X )+D (Y )+2Cov (X ,Y )
4.随机变量和的方差与协方差的关系
11
()()
n n
i i i i D X D X ===∑∑11()()2(,)n n
i i i j i j i i D X D X Cov X X <
===+∑∑∑∑
例1.设：随机变量X 和Y 的联合概率分布为
求X 和Y 的协方差.解：,()[()]
(,)i j ij
i j E Z E g X,Y g x y p ==∑Y
X
−1 0 1 0
10.06 0.18 0.160.080.32 0.20
Cov (X ,Y )=E (XY )-E (X )E (Y )E (XY )=0×(−1)×0.06+0×0×0.18+0×1×0.16
+1×(−1)×0.08+1×0×0.32+1×1×0.20=0.12
另外，X 和Y 的边缘分布律分别为所以Y
X
−1 0 1 0
10.06 0.18 0.160.080.32 0.20X 0 1P 0.4 0.6
Y
−1 0 1 P 0.14 0.5 0.36EY =−1×0.14+0×0.5+1×0.36=0.22
EX =0×0.4+1×0.6=0.6
E (XY )=0.12
Cov (X ,Y )=E (XY )-E (X )E (Y )Cov (X ,Y )=E (XY )-E (X )E (Y )=0.12-0.6×0.22=-0.012
例2.设：(X,Y)在圆域D={(x,y):x2+y2≤r2(r>0)}上服从均匀分布，求Cov(X,Y).
解：易知(X,Y)的联合概率密度为所以
222
2
222
1
,
(,)
0,
x y r f x y r
x y r
π
⎧
+≤
⎪
=⎨
⎪+>
⎩
222
2
1
x y r
y dxdy
r
π
+≤
=⋅
⎰⎰
=
222
2
1
x y r
x dxdy
r
π
+≤
=⋅
⎰⎰
=
(,)
EX xf x y dxdy
+∞+∞
-∞-∞
=⎰⎰
(,)
EY yf x y dxdy
+∞+∞
-∞-∞
=⎰⎰
所以E (X )=E (Y )=0Cov (X ,Y )=E (XY )-E (X )E (Y )=0
此题表明，Cov (X ,Y )等于0,但X 与Y 不独立，.
22222221, (,)0,
x y r f x y r x y r π⎧+≤⎪=⎨⎪+>⎩(,)EXY xyf x y dxdy +∞+∞-∞-∞=⎰⎰22221x y r xy dxdy r π+≤=⋅⎰⎰0
=
协方差衡量了X和Y之间同向或反向的变化趋势。

但它的大小还受X
与Y本身量纲的影响.
考察：Y=X,Y=2X.
直观上，常数2不应影响他们的变化趋势。

但协方差却发生了变化.即有：
Cov(Y,2X)=2Cov(Y,X)
为了消除量纲对协方差值的影响，把X、Y标准化后再求协方差.
随机变量X 、Y 的标准化变量分别为和以此作为X 和Y 的相关系数的定义.通过简单的计算可得**(,)
(,)()()
Cov X Y Cov X Y D X D Y =*()()X E X X D X -=*()
()
Y E Y Y
D Y -=
为随机变量X 和Y 的相关系数，记为ρXY ，在不致引起混淆时，简记为ρ.（1）设：D (X )>0,D (Y )>0，称注意：ρXY 是一个无量纲的量.
1.相关系数（Correlation Coefficient ）的定义
()()
XY D X D Y ρ=（2）若ρXY =0，则称X 、Y 不相关；若ρXY >0，则称X 、Y 正相关；若ρXY <0，则称X 、Y 负相关.
当Y=X时,
(,)()
1
()
()()
XY
Cov X X D X
D X
D X D X
ρ===
当Y=2X时,
2()
1
2()
()(2)
XY
D X
D X
D X D X
ρ===
当Y=bX+a时,b>0
b<0
(,)()
1
()
()(+)
XY
Cov X bX a bD X
bD X
D X D bX a
ρ
+
===
1
XY
ρ=-
2.相关系数性质
考虑以X 的线性函数a +bX 来近似Y ，近似的误差为e=E [Y -(a+bX )]2求a ，b 使e 最小
e =E (Y 2)+b 2E (X 2) +a 2+2abE (X ) -2bE (XY )-2aE (Y )将e 分别关于a ,b 求偏导数，令其等于0，得
222()2()02()2()2()0e a bE X E Y a e bE X E XY aE X b
∂⎧=+-=⎪⎪∂⎨∂⎪=-+=⎪∂⎩
解得：将a 0，b 0代入e ，用a 0+b 0X 来近似Y ，最小误差为
222()2()02()2()2()0e a bE X E Y a e bE X E XY aE X b
∂⎧=+-=⎪⎪∂⎨∂⎪=-+=⎪∂⎩0(,)()Cov X Y b D X =0(,)()()()Cov X Y a E Y E X D X =-2200,min {[()]}(1)()XY a b
e E Y a b X D Y ρ=-+=-
证明：0
≥（1）|ρXY |≤1
又∵D (Y )>02200,min {[()]}(1)()XY a b
e E Y a b X D Y ρ=-+=-210XY ρ∴-≥1.XY ρ∴≤用a 0+b 0X 来近似Y ，最小误差
2200,min {[()]}(1)()
XY a b e E Y a b X D Y ρ=-+=-
（2）|ρXY |=1的充要条件：存在常数a , b 使得P (Y =a +bX )=1
当ρXY =1时，称X 与Y 完全正相关，此时b >0；当ρXY = -1时，称X 与Y 完全负相关，此时b <0.
完全正相关和完全负相关统称为完全相关，此时(X ,Y )可能取的值以概率1地集中在一条直线上.
用a 0+b 0X 来近似Y ，最小误差
2
200,min {[()]}(1)()
XY
a b
e E Y a b X D Y ρ
=-+=-
3.相关系数的意义
若|ρXY |越接近于1，则e 越小，说明X 与Y 之间越近似有线性关系；即：X 与Y 的线性相关的程度越高；
用a 0+b 0X 来近似Y ，误差e =D (Y )(1-ρXY 2)为|ρXY |的严格减函数. 因此可以用|ρXY |来刻画X 和Y 的线性相关的程度.
若|ρXY |越接近于0，则e 越大，说明X 与Y 的线性相关的程度越弱；
若|ρXY |=1，则e =0，说明Y 与X 之间以概率1有严格线性关系；
若
=0，说明X与Y之间没有线性关系，此时X与Y之间的关系较复杂，XY
可能相互独立，可能在平面上的某个区域内服从均匀分布，也可能有其他某种非线性的函数关系.
O
X
Y
000 ( 0 )
y a b x b =+>0 1
XY ρ<≤O
X
Y
000 ( 0 )
y a b x b =+<Y 1 0
X ρ-≤<
O
X
Y
XY
ρ=
4.相关性与独立性的关系
X与Y独立⇒X与Y不相关；
X与Y不相关⇒X与Y不一定独立；
X与Y相关⇒X与Y不独立.
解：因为例1.设：Θ服从[0,2π]上的均匀分布，X =cos Θ, Y =cos(Θ+α)，这里α是
常数，求X 和Y 的相关系数.
所以1
,02()20
f Θθπ
θπ
⎧<<⎪=⎨⎪⎩其他20
1
()cos ()cos 02E X f d d π
Θθθθθθπ+∞-∞===⎰⎰20
1
()cos()()cos()0
2E Y f d d π
Θθαθθθαθπ+∞
-∞=+=+=⎰⎰
于是单个随机变量Θ
的函数的期望
EX =EY =0
()[cos()cos()]
E XY E ΘΘα=+cos()cos()()f d Θθθαθθ
+∞
-∞=
+⎰20
11
cos()cos()cos 22d π
θθαθα
π=+=⎰1
(,)()()()cos 2
Cov X Y E XY E X E Y α
=-=1
,02()20
f Θθπ
θπ
⎧<<⎪=⎨⎪⎩其他
另外于是
DX=1/2
DY=1/2
EX=EY=0
1
,02
()2
f
θπ
θπ
Θ
⎧
<<
⎪
=⎨
⎪⎩其他
1
(,)cos
2
Cov X Yα
=
2
22
11
()cos
22
E X d
π
θθ
π
==
⎰
2
22
11
()cos()
22
E Y d
π
θαθ
π
=+⋅=
⎰
(,)
cos
()()
XY
Cov X Y
D X D Y
ρα
==
⎭
⎬⎫当α=0时，ρ=1，ξ=η完全线性相关
cos XY ρα
=当α=π时，ρ=−1，ξ=−η
当α=π/2或α=3π/2时，ρ=0, ξ与η不相关.但ξ2+η2=1，因此ξ与η不独立.
ξ=cos Θ, η=cos(Θ+α)
x
y o x 2+y 2=1
当α=0时
当α=π/2或α=3π/2时
当α=π时当α=7π/10时
当α=3π/10时
例2.设：(X , Y )服从二维正态分布求X 和Y 的相关系数.
X 和Y 不相关⇔ρ=0
解：见参考书，X 和Y 的相关系数为ρ.
二维正态分布的5个参数的含义为：
二维正态分布的随机变量独立和不相关是等价的，充要条件都是ρ=0221122
,,,,XY EX DX EY DY μσμσρρ
=====221122(,,,,)
N μσμσρ
例3.设：(X,Y )~N (1, 4, 1, 4, 0.5)，Z=X+Y ，求ρXZ .
解：协方差性质的应用()()1,()()4,0.5
XY E X E Y D X D Y ρ=====(,)()()0.5442XY Cov X Y D X D Y ρ==⨯⨯=(,)(,)(,)(,)6
Cov X Z Cov X X Y Cov X X Cov X Y =+=+=()()()()2(,)12
D Z D X Y D X D Y Cov X Y =+=++=32212XZ DX DZ ρ===
1.定义设：X和Y是随机变量
若E(X k)，k=1,2,…存在，称为X的k阶原点矩，简称k阶矩（Moment）.
如：期望E(X)为X的一阶原点矩.
若E[X−E(X)]k,k=2,3,…存在，称它为X的k阶中心矩.
方差D(X)为二阶中心矩.
设：X和Y是随机变量
若E(X k Y l),k,l=1,2,…存在，称它为X和Y的k+l阶混合矩.
若E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,…存在，称它为X和Y的k+l 阶混合中心矩.
协方差Cov(X,Y)是X与Y的二阶混合中心矩.
2.说明
（1）以上数字特征都是随机变量函数的数学期望；
（2）若E(X k)存在，则对小于k的一切非负整数l,E(X l)存在；
（3）原点矩与中心矩可以相互表示；
如：D(X)=E(X2)−[E(X)]2
（4）在实际应用中高于4阶的矩很少使用.
三阶中心矩E[X−E(X)]3主要用来衡量随机变量的分布是否有偏.
四阶中心矩E[X−E(X)]4主要用来衡量随机变量的分布在均值附
近的陡峭程度.
3.协方差矩阵（Covariance Matrix ）
设：n 维随机变量(X 1, X 2, …, X n )的任意二阶混合中心矩
都存在，则称为n 维随机变量(X 1, X 2, …, X n )的协方差矩阵.
协方差矩阵为对称的非负定矩阵.
(,){[()][()] ,1,2,
,ij i j i i j j c Cov X X E X E X X E X i j n ==--=111212122212n n n n nn c c c c c c C c c c ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭
例：二维随机变量(X 1, X 2)的协方差矩阵为：111221
22c c C c c ⎛⎫= ⎪⎝⎭
21111[()]c E X E X =-121122{[()][()]}
c E X E X X E X =--212211{[()][()]}
c E X E X X E X =--2
2222[()]c E X E X =-其中
协方差矩阵可用来表示多维随机变量的概率密度，从而可通过协方差矩阵达到对多维随机变量的研究.
以二维正态分布为例
22121122(,)~(,,,,)X X N μσμσρ设：则其联合概率密度函数为：
122
1222111122222221122(,)2π1()()()()1exp 2.2(1)f x x σσρx μx μx μx μρρσσσσ=-⎧⎫⎡⎤-----⎪⎪-+⎨⎬⎢⎥-⎪⎪⎣⎦⎩⎭
22121122(,)~(,,,,)
X X N μσμσρ则21111[()]c E X E X =-12211122{[()][()]}
c c E X E X X E X ==--22222222
[()]()c E X E X D X σ=-==211
()D X σ==1212,12(,)()()
X X Cov X X D X D X ρ==12ρσσ=(X 1, X 2)的协方差矩阵为11122122c c C c c ⎛⎫= ⎪⎝⎭21122122σρσσρσσσ⎛⎫= ⎪⎝⎭
则(X 1, X 2)的协方差矩阵为2112212
2σρσσC ρσσσ⎛⎫= ⎪⎝⎭22212(1)C σσρ=-2121221211||σρσσC C ρσσσ-⎛⎫-= ⎪-⎝⎭22122222121211.(1)σρσσσσρρσσσ⎛⎫-= ⎪--⎝⎭
令12,x x x ⎛⎫= ⎪⎝⎭
12.μμμ⎛⎫= ⎪⎝⎭
T 1()()
x μC x μ---22111122222221122()()()()12.1x μx μx μx μρρσσσσ⎡⎤----=-+⎢⎥-⎣⎦
12x x x ⎛⎫= ⎪⎝⎭12μμμ⎛⎫= ⎪⎝⎭212122222121211(1)σρσσC σσρρσσσ-⎛⎫-= ⎪--⎝⎭
21121211222221211(,)||x μσρσσx μx μx μC ρσσσ-⎛⎫-⎛⎫=-- ⎪ ⎪--⎝⎭
⎝⎭
T 1
()()
x μC x μ---22111122222221122()()()()12.1x μx μx μx μρρσσσσ⎡⎤----=-+⎢⎥-⎣⎦故(X 1, X 2)的概率密度可写为：122
12221111222222211221(,)2π1()()()()1exp 2.2(1)f x x σσρx μx μx μx μρρσσσσ=-⎧⎫⎡⎤-----⎪⎪-+⎨⎬⎢⎥-⎪⎪⎣⎦⎩⎭
1221211exp ()().(2π)(||)2T x μC x μC -⎧⎫=---⎨⎬⎩⎭
推广：设n 维正态随机变量(X 1, X 2, …, X n ) 的概率密度可表示为：
其中x =(x 1, x 2, …, x n )T
11221211(,,,)exp ()()(2π)(||)2T n n f x x x x μC x μC -⎧⎫=---⎨⎬⎩⎭
1212((),(),,())(,,,)T T n n μE X E X E X μμμ==111212122212.n n n n nn c c c c c c C c c c ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭均值向量
协方差矩阵
4.n 维正态变量的性质
（1）设(X 1,X 2,…,X n )服从n 维正态分布，则每一个分量X i ,i =1,2,…,n 都
是正态变量；
（2）n 维随机变量(X 1,X 2,…,X n )服从n 维正态分布的充要条件是X 1,X 2,…,
X n 的任意线性组合l 1X 1+l 2X 2+…+l n X n （l 1,l 2,…,l n 不全为零）服从一维正态分布；
反之，若X 1, X 2, …, X n 都是正态变量，且相互独立，则(X 1, X 2,…, X n )是n 维正态变量.
线性变换不变性
（4）设随机变量(X
1
,X2,…,X n)服从n维正态分布，则X1,X2,…,X n
相互独立与X
1,X2,…,X n两两不相关等价.
（3）若随机变量(X
1
,X2,…,X n)服从n维正态分布，设Y1,Y2,…,Y k是
(X1,X2,…,X n)的线性函数，则(Y
1
,Y2,…,Y k)也服从多维正态分布；
概率论是研究随机现象统计规律性的学科.随机现象的统计规律性可以通过大量重复试验呈现出来.所以常常需要研究大量随机现象.
研究大量的随机现象，常常采用极限形式，由此导致了对极限定理的研究.极限定理的内容很广泛，其中最重要的有两种：大数定律与中心极限定理.
问题：如何精确的描述这种稳定性呢？
回顾频率稳定性
投n 次硬币, 出现正面的频率逐渐接近于12投一次硬币, 出现正面的概率为12则当时,有设n 次独立重复试验中事件A 发生的次数为若每次试验中A 发生的概率为p
n →∞n n S X p n
=→n S lim n n S p n →∞=0,,n S N n N p n εε∀>>-<存在使得时，是否满足？。