概率论与数理统计第五章 大数定律及中心极限定理

定理五(李雅普诺夫中心极限定理) 李雅普诺夫
设随机变量 X1, X2 ,, Xn ,相互独立, 它 们具有数学期望 和方差：
E( Xk ) k , D( Xk ) k2 0 (k 1,2,),
n
记
Bn2
2 k
,
k 1
若存在正数 , 使得当 n 时,
1
Bn2
n
E{|
k 1
Xk
k
的 即对于任意正数 ,当n充分大时, 不
意 义
等式 | X | 成立的概率很大.
lim P{| X
n
|
}
lim
n
P
1 n
n k 1
Xk
1.
证明
E
1 n
n k 1
Xk
1 n
n k 1
E(Xk )
1 n
n
,
Dn1
n k 1
Xk
1 n2
n k 1
D( Xk
)
1 n2
n
2
2
n
定理二（伯努利大数定理）
伯努利
设 nA 是 n 次独立重复试验中事件 A 发生 的次数, p 是事件 A 在每次试验中发生的概率,
则对于任意正数 0, 有
lim
n
P
nA n
p
1
或
lim
n
P
nA n
p
0.
证明 引入随机变量
0, 若在第k 次试验中 A 不发生,
Xk
1,
若在第k 次试验中 A 发生, k 1,2,.
,
由切比雪夫不等式可得
P
1 n
n k 1
X
k
1
2 2n
,
在上式中令n ，并注意到概率不能大于1, 则
P
1 n
n k 1
Xk
1.
说明:
当 n 很大时, 随机变量 X1, X2 ,, Xn 的算术平
均
1 n
n k 1
X
k
接近于数学期望
E(X1) E(X2) E(Xk ) ,
|2 } 0,
则随机变量之和的标准化变量
n Xk E n Xk
Zn k1
k1 D n X k
n
n
Xk k
k1
k 1
Bn
k1
的分布函数 Fn( x) 对于任意 x满足
lim
n
Fn
(
x
)
lim
n
P
n k 1
X
k Bn
n k 1
k
x
x
1
t2
e 2 dt
( x).
引言
迄今为止,人们已发现很多大数定律 (laws of large numbers)，所谓大数定律， 简单地说，就是大量数目的随机变量所 呈现出的规律，这种规律一般用随机变 量序列的某种收敛性来刻划。本章仅介 绍几个最基本的大数定律。
大量随机现象的平均结果实际上是与各个 个别随机现象的特征无关,并且几乎不再是随机 的了.所有这些事实都应该由概率论作出理论上 的结论.
（这个接近是概率意义下的接近）
即在定理条件下, n个随机变量的算术平均, 当n 无限增加时, 几乎变成一个常数.
定理一的另一种叙述:
且具有设相随同机的变数量学X1期, X望2 ,和机设方,变YX1差,量nY,：2序,E相列(,YX互,nak是是独) 一一立个个,, 随常
D( Xk ) 2 (k
1 2
dxi
1 5
,
所以
D(Yi )
1 5
1 3
2
4, 45
因为 X1, X2,, Xn 相互独立,
所以 Y1,Y2,,Yn 相互独立. 根据独立同分布的中心极限定理，
n
n
n Zn
X2 i
Y i
i 1
i 1
近似服从正态分布N
n 3
,
4n 45
,
故
Z
近似地服从正态分布N
1 3
,
4 45n
问题: 某个随机变量是由大量相互独立且均匀 小的随机变量相加而成的, 研究其概率分布情况.
二、基本定理
定理四（独立同分布的中心极限定理）
设随机变量 X1, X2 ,, Xn ,相互独立, 服从
同一分布, 且具有数学期望和方差：E( Xk ) , D( Xk ) 2 0 (k 1,2,), 则随机变量之和的
1.
说明: 伯努利定理表明事件发生的频率 nA 依概 n
率收敛于事件的概率p, 它以严格的数学形式 表达了频率的稳定性.
故而当 n 很大时, 事件发生的频率与概率 有较大偏差的可能性很小. 在实际应用中, 当试 验次数很大时, 便可以用事件发生的频率来代 替事件的概率.
定理三（辛钦定理）
辛钦资料
切比雪夫大数定律 伯努利大数定律 辛钦大数定律
一、问题的引入
实例 频率的稳定性
随着试验次数的增加, 事件发生的频率逐渐稳 定于某个常数. 单击图形播放/暂停 ESC键退出
启示:从实践 中人们发现 大量测量值 的算术平均 值有稳定性.
二、基本定理
定理一（切比雪夫大数定律）
切比雪夫
设随机变量 X1, X2 ,, Xn , 相互独立,
例1 一加法器同时收到20 个噪声电压Vk ( k 1,2,20), 设它们是相互独立的随机变量,
20
且都在区间(0,1) 上服从均匀分布, 记 V Vk ,
k 1
求 P{V 105}的近似值.
例2 一船舶在某海区航行, 已知每遭受一次海浪
的冲击, 纵摇角大于 3º的概率为1/3, 若船舶遭受 了90 000次波浪冲击, 问其中有29 500～30 500次 纵摇角大于 3º的概率是多少？
例3
某保险公司的老年人寿保险有1万人参加,每 人每年交200元. 若老人在该年内死亡,公司付给家 属1万元. 设老年人死亡率为0.017,试求保险公司在 一年内的这项保险中亏本的概率.
例4 设随机变量 X1, X2 ,, Xn 相互独立, 且 Xi 在区间(1, 1) 上服从均匀分布(i 1, 2, , n), 试
显然 nA X1 X2 Xn, 因为 X1, X2,, Xn,是相互独立的， 且Xk服从以 p 为参数的(0 1) 分布, 所以 E( Xk ) p, D( Xk ) p(1 p), k 1,2,.
根据定理一有
lim
n
P
1 n
(
X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
n Xk E n Xk
n
Xk n
标准化变量 Yn k1
k1 D n X k
k1
n
k1
的分布函数 Fn( x) 对于任意 x 满足
lim
n
Fn
(
x)Biblioteka limnn
P
k
1
Xk n
n
x
x
1
t2
e 2 dt ( x).
2π
定理四表明:
当 n , 随机变量序列 Yn 的分布函数收敛于 标准正态分布的分布函数.
且具有相同的数学期望和方差：E( Xk ) , D( Xk ) 2 (k 1, 2,), 作前 n 个随机变量
的算术平均
X
1 n
n k 1
Xk,
则对于任意正
数 有
lim P{|
n
X
| }
lim
n
P
1 n
n k 1
X
k
1.
表 达
{| X | }是一个随机事件, 等式表
式 明,当n 时这个事件的概率趋于1,
设随机变量 X1, X2 ,, Xn ,相互独立,
服从同一分布, 且具有数学期望 E( Xk )
(k 1,2,),
则对于任意正数
,
有lim n
P
1 n
n k 1
Xk
1.
关于辛钦定理的说明:
(1) 与定理一相比, 不要求方差存在;
(2) 伯努利定理是辛钦定理的特殊情况.
引言
在随机变量的一切可能的分布律中,正态分布占 有特殊重要的地位.实践中经常遇到的大量的随机 变量都是服从正态分布的.就提出这样的问题:为什 么正态分布如此广泛地存在,从而在概率论中占有 如此重要的地位?应该如何解释大量随机现象中的 这一客观规律呢？
(0 p 1)的二项分布, 则 对于任意x, 恒有
lim P n
n np
np(1 p)
x
x
1
t2
e 2 dt ( x).
2π
定理六表明:
正态分布是二项分布的极限分布, 当n充分大 时, 可以利用该定理来计算二项分布的概率.
下面的图形表明:正态分布是二项分布的逼近.
三、典型例题
2π
定理五表明: 无论各个随机变量X1, X2 ,, Xn ,服从什么
n
分布, 只要满足定理的条件, 那么它们的和 Xk
k 1
当 n 很大时,近似地服从正态分布.
(如实例中射击偏差服从正态分布)
下面介绍的定理六是定理四的特殊情况.
定理六(德莫佛－拉普拉斯定理)
德莫佛
拉普拉斯
设随机变量n (n 1,2,) 服从参数为n, p
概率论中有关论证随机变量之和的极限分布为 正态分布的定理称为中心极限定理.
§5.2 中心极限定理
独立随机变量和
设 {Xn} 为独立随机变量序列，记其和为
n
Yn Xi i1
➢ 讨论独立随机变量和的极限分布
➢ 本节指出极限分布为正态分布
一、问题的引入
实例: 考察射击命中点与靶心距离的偏差.
这种偏差是大量微小的偶然因素造成的微 小误差的总和, 这些因素包括: 瞄准误差、测量 误差、子弹制造过程方面 (如外形、重量等) 的 误差以及射击时武器的振动、气象因素(如风速、 风向、能见度、温度等) 的作用, 所有这些不同 因素所引起的微小误差是相互独立的, 并且它们 中每一个对总和产生的影响不大.
证当n
充分大时, 随机变量
Zn
1 n
n i 1
X 2近似服从 i
正态分布, 并指出其分布参数.
证
记Yi
X
2 i
,
(i 1,2,,n)
E(Yi )
E
(
X
2 i
)
D( Xi
)
1, 3
D(Yi )
E(Yi2 ) [E(Yi )]2
E
(
X
4 i
)
[E(Yi )]2.
因为
E
(
X
4 i
)
1 1
xi4
依概率收敛于
,1即, 2,X), 则有数P序,lni若m列.对PX{于|Y任nn1意kan正1|X数k }
1,
则称序列Y1,Y2 ,,Yn
依概率收敛于a, 记为
Yn P a
依概率收敛序列的性质:
设 Xn P a, Yn P b, 又设函数 g( x, y) 在点 (a,b) 连续, 则 g( Xn , Yn ) P g(a, b).
概率论中用来阐明大量随机现象平均结果的 稳定性的一系列定理统称为大数定律.大数定律 是一种表现必然性与偶然性之间的辩证联系的规 律.由于大数定律的作用,大量的随机因素的总和 作用必然导致某种不依赖于个别随机事件的结果.
§5.1 大数定律
➢ 讨论 “概率是频率的稳定值”的确切含义； ➢ 给出几种大数定律：
.
四、小结
独立同分布的中心极限定理 三个中心极限定理 李雅普诺夫定理
德莫佛－拉普拉斯定理
中心极限定理表明, 在相当一般的条件下, 当独立随机变量的个数增加时, 其和的分布趋于 正态分布.