概率统计简明教程 第五章 大数定律与中心极限定理

168
第五章 大数定律与中心极限定理
我们知道，随机事件在某次试验中可能发生也可能不发生，但在大量的重复试验中随机事件的发生却呈现出明显的规律性，例如人们通过大量的试验认识到随机事件的频率具有稳定性这一客观规律.实际上，大量随机现象的一般平均结果也具有稳定性，大数定律以严格的数学形式阐述了这种稳定性，揭示了随机现象的偶然性与必然性之间的内在联系.
客观世界中的许多随机现象都是由大量相互独立的随机因素综合作用的结果，而其中每个随机因素在总的综合影响中所起作用相对微小.可以证明，这样的随机现象可以用正态分布近似描述，中心极限定理阐述了这一原理.
§1 大 数 定 律
首先我们介绍证明大数定律的重要工具—切比雪夫（Chebyshev ）不等式.
1.1 切比雪夫不等式
定理 1.1 设随机变量X 数学期望()E X 和方差()D X 都存在，则对任意给定的正数ε，成立
{}2
()
()D X P X E X εε
-≥≤
. （1.1）
证明 只对X 是连续型随机变量情形给予证明. 设X 的密度函数为()f x ，则有
{}()P X E X ε-≥()()d x E X f x x ε
-≥=
⎰
2
2
()[()]
()d x E X x E X f x x ε
ε
-≥-≤
⎰
2
2
1
[()]()d x E X f x x ε
+∞-∞
≤
-⎰
169
2
()
D X ε
=
.
称（1.1）为切比雪夫不等式，它的等价形式为 {}2
()
|()|1.D X P X E X εε
-<≥-
（1.2）
切比雪夫不等式直观的概率意义在于：随机变量X 与它的均值()E X 的距离大于等于e 的概率不超过
2
1D X （）e
.在随机变量X 分布未知的情
况下，利用切比雪夫不等式可以给出随机事件{()}X E X ε-<的概率的一种估计.
例如当ε=
{
8|()|0.8889.9
P X E X -<=≥
也就是说，随机变量X 落在以()E X
为中心，以为半径的邻域内的概率很大，而落在该邻域之外的概率很小.
随机变量X 的取值集中在()E X 附近，而这正是方差这个数字特征的意义所在.
例1.1 已知随机变量X 和Y 的数学期望、方差以及相关系数分别为
()()2E X E Y ==,()1D X =,()4D Y =,,0.5X Y ρ=,用切比雪夫不等
式估计概率{6}P X Y -≥.
解 由于
()()()0E X Y E X E Y -=-=,
,(,)1X Y
Cov X Y ρ==,
()()()2(,)523D X Y D X D Y cov X Y -=+-=-=,
170
由切比雪夫不等式，有
2
()
{6}{()()6}6
D X Y P X Y P X Y
E X Y --≥=---≥≤
310.083336
12
=
==.
例 1.2 假设某电站供电网有10000盏电灯,夜晚每一盏灯开灯的概率都是0.7,并且每一盏灯开、关时间彼此独立,试用切比雪夫不等式估计夜晚同时开灯的盏数在6800至7200之间的概率.
解 令X 表示夜晚同时开灯的盏数,则~(,)X B n p ，10000n =，
0.7p =，所以
()7000E X np ==, ()(1)2100.D X np p =-=
由切比雪夫不等式，有
{}{}68007200|7000|200X P X P <<=-<2
21001200
≥-
0.9475=.
在例1.2中，如果用二项分布直接计算，这个概率近似为0.99999.可见切比雪夫不等式的估计精确度不高. 切比雪夫不等式的意义在于它的理论价值，它是证明大数定律的重要工具.
1.2 依概率收敛
在微积分中，收敛性及极限是一个基本而重要的概念，数列{}n a 收
敛到a 是指对任意0e >，总存在正整数,N 对任意的n N >时，恒有
||.n a a e -<
在概率论中，我们研究的对象是随机变量，要考虑随机变量序列的收敛性.如果我们以定义数列的极限完全相同的方式来定义随机变量序列的
收敛性，那么，随机变量序列{}1n X n （）³收敛到一个随机变量X 是指对
任意0e >，总存在正整数,N 对任意的n N >时，恒有||n X X e -<.但
171
由于,n X X 均为随机变量，于是||n X X -也是随机变量，要求一个随机变量取值小于给定足够小的e 未免太苛刻了，而且对概率论中问题的进一步研究意义并不大.为此，我们需要对上述定义进行修正，以适合随机变量本身的特性.我们并不要求n N >时， ||n X X e -<恒成立，只要求n 足够大时，出现||n X X e ->的概率可以任意小.于是有下列的定义
定义 1.1 设12,,,,n X X X 是一个随机变量序列，X 是一个随机变量，如果对于任意给定的正数ε，恒有
{}lim 0,n n P X X ε→∞
->= （1.3）
则称随机变量序列12,,,,n X X X 依概率收敛于X ，记作
n
P
X X −−→.
1.3 大数定律
在第一章，我们曾指出，如果一个事件A 的概率为p ，那么大量重复试验中事件A 发生的频率将逐渐稳定到p ，这只是一种直观的说法.下面的定理给出这一说法的严格数学表述.
定理1.2 伯努利大数定律 设A n 是n 重伯努利试验中事件A 发生的次数， p (01)p <<是事件A 在一次试验中发生的概率，则对任意给定的正数ε，有
{
}
lim 1.n A n P
p n
ε
→∞
-<= （1.4）
证明 由于A n 是n 重伯努利试验中事件A 发生的次数，所以
~(,)A n B n p ，进而
172
()A E n np =，()(1)A D n np p =-. ()(
)A A n E n E p n n
=
=， 2
()(1)(
)A A n D n p p D n n
n
-=
=
.
根据切比雪夫不等式，对任意给定的0ε>，有
2
(
)
{(
)}1A A A n D n n n
P E n
n
εε
-<≥-
，
即
2
(1)1{
}1A n p p P p n n
εε
--
≤-<≤.
令n →∞，则有 lim {
}1A n n P p n
ε→∞
-<=.
由伯努利大数定律可以看出，当试验次数n 充分大时，事件A 发生的频率
A n n
与其概率p 能任意接近的可能性很大（概率趋近于1），这为实
际应用中用频率近似代替概率提供了理论依据.
定理1.3 切比雪夫大数定律 设,,,,12X X X n 是相互独立的随机变量序列,其数学期望与方差都存在，且方差一致有界,即存在正数M ,对任意k （1,2,k = ），有
()k D X M ≤
则对任意给定的正数ε,恒有
1
1
11
lim () 1.n
n
k k n k k P X E X n
n
ε→∞
==-
<=⎧⎫⎨⎬⎩⎭
∑
∑ （1.5）
证明 因为
(
)
1
1
11()n
n
k
k
k k E
X
E X
n
n
===
∑∑,(
)
2
1
1
11()n
n
k
k
k k D
X
D X
n
n
===
∑∑,
173
由切比雪夫不等式,有
{
}
1
22
1
1
()11()1n
k
n
n
k k k
k k D X
P
X E X
n
n
n εε
===-
<≥-
∑∑
∑.
由于方差一致有界,因此
1
(),n
k
k D X
nM =≤∑
从而得
{
}
2
1
1
111()1n
n
k
k
k k M P
X
E X
n n
n
ε
ε
==-
≤-
<≤∑∑.
令n →∞,则有
{
}
1
1
11lim ()1n
n
k
k
n k k P
X
E X
n
n
ε
→∞
==-
<=∑∑.
推论1.1 设随机变量12,,,n X X X ，相互独立且服从相同的分布，
具有数学期望()(1,2,)k E X k μ== 和方差2
()k D X σ=（1,2,k = ），
则对任意给定的正数ε，有
{
}
1
1lim 1.n
n k k P
X n
μ
ε
→∞
=-<=∑ （1.6）
切比雪夫大数定律是1866年俄国数学家切比雪夫提出并证明的,它是大数定律的一个相当普遍的结果，而伯努利大数定律可以看成是它的推论.事实上，在伯努利大数定律中，令
1,
k X ⎧=⎨⎩在第k 次试验中事件A 发生,在第k 次试验中事件A 不发生.
0， (1,2,)k =，
则(1,)(1,2,),
k X B p k = 1
n
k k A X n ==∑
,1
1
n
A
k
k n X n
n ==∑
，1
1
()n
k
k E X
p n
==∑，
并且12,,,,n X X X 满足切比雪夫大数定律的条件， 于是由切比雪夫大数定律可证明伯努利大数定律.
174
以上两个大数定律都是以切比雪夫不等式为基础来证明的,所以要求随机变量的方差存在.但是进一步的研究表明,方差存在这个条件并不是必要的.下面介绍的辛钦大数定律就表明了这一点.
定理 1.4 辛钦(Khintchine)大数定律 设随机变量序列
12,,,n X X X ，相互独立且服从相同的分布,具有数学期望
()k E X μ=,1,2,k = ,则对任意给定的正数ε，有
{
}
1
1lim 1n
n k k P
X n
μ
ε
→∞
=-<=∑ （1.7）
证明略.
使用依概率收敛的概念，伯努利大数定律表明：n 重伯努利试验中事件A 发生的频率依概率收敛于事件A 发生的概率，它以严格的数学形式阐述了频率具有稳定性的这一客观规律.辛钦大数定律表明：n 个独立同分布的随机变量的算术平均值依概率收敛于随机变量的数学期望，这为实际问题中算术平均值的应用提供了理论依据.
例 1.3 已知12,,,,n X X X 相互独立且都服从参数为2的指数分布，求当n →∞时，2
1
1
n
n k k Y X n
==
∑依概率收敛的极限.
解 显然 1()2
k E X =
，1()4
k D X =
，所以
2
2
111()()()442
k k k E X E X D X =+=+= ，1,2,k = ，
由辛钦大数定律，有 22
1
11()2
n
P n k k k Y X E X n
==
−−→=
∑
.
最后需要指出的是：不同的大数定律应满足的条件是不同的，切比雪夫大数定律中虽然只要求12,,,,n X X X 相互独立而不要求具有相同的分布，但对于方差的要求是一致有界的；伯努利大数定律则要求
12,,,,n X X X 不仅独立同分布，而且要求同服从同参数的01-分布；
175
辛钦大数定律并不要求k X 的方差存在，但要求12,,,,n X X X 独立同分布.各大数定律都要求k X 的数学期望存在，如服从柯西（Cauchy ）分布,密度函数均为2
1()(1)
f x x p =
+的相互独立随机变量序列，由于数学期望
不存在，因而不满足大数定律.
§2 中心极限定理
上节大数定律实际上告诉我们：当n 趋向于无穷时，独立同分布的随机变量序列的算术平均值
1
1
n
k k X n
=å依概率收敛于k X 的数学期望m ，即对
任意给定的0e >，有1
1
{|
|}0
n
k k P X n
m e
=-钞å.那么，对固定的0e >，
n 充分大时，事件1
1{|
|}n
k k X n
m e =- å
的概率究竟有多大，大数定律并没
有给出答案，本节的中心极限定理将给出更加“精细”的结论.
定理2.1 列维-林德伯格(Levy-Lindberg)定理(独立同分布的中心极限定理) 设随机变量12,,,,n X X X 相互独立且服从相同的分布,具有数学期望()k E X μ=和方差2
()0k D X σ=> (1,2,)k = ,则对任意实数x ，有
2
2
1
lim Φd ().
n
k n t
x X n P x t x e
→∞
-
-∞
-μ
≤
==⎧
⎫⎪⎪⎬⎪⎩
⎭
∑⎰ （2.1）
证明略.
独立同分布的中心极限定理表明：只要相互独立的随机变量序列
176
12,,,,n X X X 服从相同的分布，数学期望和方差（非零）存在，则当n →∞时，随机变量
n
k
n X
n Y -=
∑μ
总以标准正态分布为极限分布，或者说，随机变量1
n
k k X =∑以()
2
,N n n μσ
为其极限分布.在实际应用中，只要n 足够大，便可以近似地把n 个独立同
分布的随机变量之和当做正态随机变量来处理，即21
(,)
n
k k X N n n =∑μσ 近似
或
.(0,1)n
i
n X
n Y N μ
-=
∑
近似
（2.2）
下面的定理是独立同分布的中心极限定理的一种特殊情况. 定理2.2 棣莫弗—拉普拉斯（De Moivre-Laplace ）定理
设随机变量n Y 服从参数为,(01)n p p <<的二项分布，则对任意实数x ，恒有
2
2
lim Φ()1d n t
x Y x x e
t np
P →∞
-
-∞
≤
=
=⎧
⎫-⎬⎭
⎰
（2.3）
证明 设随机变量12,,...,n X X X 相互独立，且都服从(1,)
B p （01p <<），则由二项分布的可加性，知1
n
n k k Y X ==
∑
.
由于
()k E X p =，()(1)k D X p p =-，1,2,k = ，
根据独立同分布的中心极限定理可知，对任意实数x，恒有
2
2
limΦ(),
1
d
n
k
n
t
x
X np
x x
e t
P
→∞
-
-∞
-
≤==
⎧⎫
⎪⎪
⎬
⎪
⎭
∑
⎰
亦即
2
2
limΦ().
1
d
n
t
x
Y
x
x e t
np
P
→∞
-
-∞
≤==
⎧⎫
-
⎬
⎭
⎰
当n充分大时，可以利用该定理近似计算二项分布的概率.
例2.1某射击运动员在一次射击中所得的环数X具有如下的概率分布
求在100次独立射击中所得环数不超过930的概率.
解设
i
X表示第(1,2,,100)
i i= 次射击的得分数，则
12100
,,,
X X X
相互独立并且都与X的分布相同，计算可知
()9.15
i
E X=，() 1.2275,
i
D X=1,2,,100
i= ，
于是由独立同分布的中心极限定理，所求概率为
{}
100
1
930
i
i
X
p P
=
≤
=∑
100
1009.15
9301009.15
i
X
P
⨯
-⨯
-
=≤
⎧⎫
⎪⎪
⎩⎭
∑
177
178
(1.35)0.9115Φ≈=.
例 2.2 某车间有150台同类型的机器，每台出现故障的概率都是0.02，假设各台机器的工作状态相互独立，求机器出现故障的台数不少于2的概率.
解 以X 表示机器出现故障的台数，依题意，(150,0.02)X B ，且
()3E X =，() 2.94D X =
，
1.715=，
由德莫弗—拉普拉斯中心极限定理，有
{}{}211P X P X ≥=-≤ {
}
3131 1.715
1.715
X P
--=-≤
1Φ(0.5832)≈--0.879=.
例 2.3 一生产线生产的产品成箱包装，每箱的重量是一个随机变量，平均每箱重50千克，标准差5千克.若用最大载重量为5吨的卡车承运，利用中心极限定理说明每辆车最多可装多少箱，才能保证不超载的概率大于0.977？
解 设每辆车最多可装n 箱，记(1,2,,)i X i n = 为装运的第i 箱的重量（千克），则12,,,n X X X 相互独立且分布相同，且
()50i E X =，()25,i D X = 1,2,,i n = ， 于是n 箱的总重量为
12n n T X X X =+++ ，
由独立同分布的中心极限定理，有
50{5000}n
i
n X
n
P T P -≤=≤
∑
Φ≈.
由题意，令
179
Φ0.977Φ(2).>=
有
2>， 解得98.02n <，即每辆车最多可装98箱.
第二章的泊松定理告诉我们： 在实际应用中，当n 较大p 相对较小而np 比较适中（10,100≤≥np n ）时，二项分布),(p n B 就可以用泊松分布()P λ（np =λ）来近似代替；而德莫弗—拉普拉斯中心极限定理告诉我们：只要n 充分大，二项分布),(p n B 就可以用正态分布近似计算，一般的计算方法是： （1）对0,1,,,k n =
ΦΦ⎛⎫⎛⎫
≈-
⎝
（2.4） （2）对非负整数1212;,0k k k k n ≤<≤ 12{}X k P k <≤
≈ΦΦ⎛
⎫⎛⎫
- （2.5）
*
李雅普诺夫（Liapunov ）定理
设12,,,,n X X X 相互独立，且具有数学期望()k k E X μ=和方差
2
()0k k D X σ=≠（1,2,k = ），记
2
21
n
n k
k B σ
==
∑，
若存在正数δ，使得n →∞时，
{}{0.50.5}
P X k P k k k ==-<≤+
180
221
1(||
)0n
k
k k n
E X
B δ
δ
μ++=-→∑，
则随机变量
1
1
(
)n
n
n
n
k
k
k
k
k k n n
X
E X
X
Z B
μ
==--=
=
∑∑∑∑
的分布函数()n F x 对于任意实数x ，恒有
1
1
lim ()lim n n
k k
k k n
n n n
X F x P x B
μ==→∞
→∞
-=≤
⎧⎫⎪
⎪⎨
⎬⎪⎪⎩
⎭
∑∑
2
2
1Φ()t
x
e
dt x -
-∞
=
=⎰
.
证明略.
在李雅普诺夫定理的条件下，当n 充分大时，随机变量
1
1
n
n
k k
k k n n
X Z B μ
==-=
∑
∑
近似服从标准正态分布(0,1)N .因此，当n 充分大时,随机变量
1
1
n
n
k
n n k
k k X
B Z μ
===+
∑∑近似服从正态分布2
1
(
,)n
k
n k N B μ
=∑.这就是说,无论随机变量(1,2,)k X k = 服从什么分布,只要满足李雅普诺夫定理的条件,
181
当n 充分大时,这些随机变量的和1
n
k k X =∑就近似服从正态分布.在许多实
际问题中,所考察的随机变量往往可以表示成很多个独立的随机变量的和.例如,一个试验中的测量误差是由许多观察不到的、可加的微小误差合成的；一个城市的用水量是大量用户用水量的总和，等等，它们都近似服从正态分布．
习 题 五
1.已知()1E X =，()4D X =，利用切比雪夫不等式估计概率
{}1 2.5P X -<.
2. 设随机变量X 的数学期望()E X μ=，方差2
()D X σ=，利用切比雪夫不等式估计{}||3P X μσ-≥.
3. 随机地掷6颗骰子，利用切比雪夫不等式估计6颗骰子出现点数之和在1527 之间的概率.
4. 对敌阵地进行1000次炮击，每次炮击中.炮弹的命中颗数的期望为
0.4，方差为3.6，求在1000次炮击中，有380颗到420颗炮弹击中目标的
概率.
5. 一盒同型号螺丝钉共有100个，已知该型号的螺丝钉的重量是一个随机变量，期望值是100g ，标准差是10g .求一盒螺丝钉的重量超过10.2kg 的概率.
6. 用电子计算机做加法时，对每个加数依四舍五入原则取整，设所有取整的舍入误差是相互独立的，且均服从[]0.5,0.5-上的均匀分布.
182
（1）若有1200个数相加，则其误差总和的绝对值超过15的概率是多少？
（2）最多可有多少个数相加，使得误差总和的绝对值小于10的概率达到90%以上.
7. 在人寿保险公司是有3000个同一年龄的人参加人寿保险，在1年中，每人的的死亡率为0.1%，参加保险的人在1年第1天交付保险费10元，死亡时家属可以从保险公司领取2000元，求保险公司在一年的这项保险中亏本的概率.
8. 假设12,,...,n X X X 是独立同分布的随机变量，已知()k
i k E X α=
(1,2,3,4;
1,2,,)k i n == .证明：当n 充分大时，随机变量
21
1n
n i
i Z X
n
==
∑近似服从正态分布.
9. 某保险公司多年的统计资料表明：在索赔户中被盗索赔户占
20%，以X 表示在随机抽查的100个索赔户中因被盗向保险公司索赔的户
数.
（1）写出X 的概率分布；
（2）利用德莫弗-位普拉斯中心极限定理，求：被盗索赔户不少于14户，且不多于30户的概率.
10 . 某厂生产的产品次品率为0.1p =，为了确保销售，该厂向顾客承诺每盒中有100只以上正品的概率达到95%，问：该厂需要在一盒中装多少只产品？
11. 某电站供应一万户用电，设用电高峰时，每户用电的概率为0.9，利用中心极限定理：
（1）计算同时用电户数在9030户以上的概率？
（2）若每户用电200瓦，问：电站至少应具有多大发电量，才能以0.95的概率保证供电？
【提供者：路磊】
183。