概率统计第五章 大数定律

对于相互独立但不同分布的随机变量和的分布的 极限问题, 有李雅普诺夫中心极限定理。 定理7（李雅普诺夫Liapunov定理）设随机变量 1， 2 ，…， n，…相互独立，且 n 2 E i i , D i i2 0, ( i 1,2,)， 记Bn i2 i 1 若存在 >0，使得
i 1 1 i 有 D D( i ) 2 n n n n
故有
1 i u D lim 0 lim n n n n
即 n中每一被加项对总和的影响都很微小，但它 们迭加的和却以标准正态分布作为极限。
例 1 设有 100 个电子器件，它们的使用寿命 1 ， 2，…，100均服从参数为=0.05(h-1)的指数分布，其 使用情况为：第一个损坏第二个立即使用，第二个损 坏第三个立即使用等等。令表示这100个电子器件使 用的总时间，试求超过1800h小时的概率。
D( i ) D i np(1 p)
n
n
nA np(1 p) 1 p(1 p) 从而有 P | p | 0 (n ) 2 2 2 n n n 证毕
i 1
i 1
上述伯努利大数定律从理论上给出了频率“接近” 概率这种“现象”的更加确切的含意，它反映了大 数次重复试验下随机现象所呈现的客观规律性。 ，…， ，…是一个随机变量序列，a是 设1， 2 n 一个常数，若对任意的正数 ，有
E i p,
D i p(1 p) ,
i 1,2,n
易知
于是
nA 1 2 n
nA n A np p n n 由契贝雪夫不等式得
n

i 1
n
n
i
E ( i )
i 1
n
n
D( i ) n
i 1 2 2 n
nA P p P | i E ( i ) | n i 1 i 1 n 又由1， 2，…， n 的独立性可知
或
nA P p 1 lim n n nA P p 0 lim n n
1 , 证 令 i 0 ,
A在 第i次 试 验 中 出 现 , A在 第i次 试 验 中 不 出 现 .
(1 i n)
则1， 2，…， n是n个相互独立的随机变量，且
或
D i c, i 1,2,
1 n 1 n P i E i 0 lim n i 1 n n i 1
证明（略） 伯努利大数定律是契贝雪夫大数定律的特例 , 在它们 的证明中, 都是以契贝雪夫不等式为基础的 , 所以要求 随机变量具有方差。但进一步的研究表明，方差存在 这个条件并不是必要的。下面我们介绍独立同分布的 辛钦大数定律。
300 i
显然300是服从参数n=300，p=0.05的二项分布。 根据题意，要求确定最小的正整数 x，使得
伯努利大数定律说明了当n很大时事件发生的频率会非常接近概率而这里的辛钦大数定律则表明当n很大时随机变量在n次观察中的算术平均值也会接近它的期望值即52在第二章介绍正态分布时曾经特别强调了它在概率论与数理统计中的地位与作用为什么会有许多随机变量遵循正态分布
第五章 大数定律与中心极限定理
5.1 大数定律 5.2 中心极限定理
成立。这个不等式称为契贝雪夫(Cheby shev)不等式。
P{| | } 2
2
(1.1)
证 我们仅就连续型随机变量情形加以证明。 设 的概率密度为 f(x)，于是
P | |
1
x
f ( x )dx


x
解 由于i 服从参数为 = 0.05的指数分布。因此
E i 1

20, D i
1

i
2
400,
i 1,2,,100
又由题设知

i 1
100
，因此由定理5得：
100 20 1800 100 20 P P 1800 20 100 20 100
n i
i 1
n
且E i p, D i p(1 p)
1 2
n np P x 由定理5得： lim n np(1 p)

x
e
t2 2
dt
定理表明，二项分布的极限分布是正态分布。因此， 当n充分大时，我们可以利用(2.2)式来计算二项分布的概率。
lim P {| n a | } 1
n
则称随机变量序列{n}依概率收敛于a，记作
n a (n )
P
定理2′ n 是 A n次独立重复试验中事件A发生的次数， p是事件A在每次试验中发生的概率，则
nA P p ( n ) n
定理3（契贝雪夫大数定律）设1， 2，…， n，…是相互独立的随机变量序列，又设它们的方 差有界，即存在常数c>0，使得 则对任意的 >0，有 1 n 1 n P i E i 1 lim n i 1 n n i 1
定理4 (辛钦(ХИНЧИН)大数定律)设1， 2，…， n，…是相互独立的随机变量序列，且数学期望存在: E i , i 1,2, 则对任意的 >0，有 1 n P i 1 lim n n i 1 证明（略）
伯努利大数定律说明了当n很大时，事件发生的频 率会非常“接近”概率，而这里的辛钦大数定律则 表明，当 n 很大时，随机变量 在 n 次观察中的算术 平均值 也会“接近”它的期望值，即
2000 P 1 200 2000 1 P 1 200
1
1
1 ( 1)
1 e 2
t2 2
dt
(1) 0.8413 .
作为定理5的推论有 定理6（德莫佛—拉普拉斯(De Moivre-Laplace)定理） 在n重贝努里试验中，事件A在每次试验中出现的概率 为p，n为n次试验中事件A出现的次数，则对任意的x， 有 t2 x 1 n np 2 P x e dt lim np ( 1 p ) 2 n 证 由§5.1的定理2的证明可知，n可以看成是n个 相互独立，且服从同一 (0 － 1) 分布的随机变量 1 ， 2，…，n之和，即
1 n Bn
n
n 1 n ( i i ) i i Bn i 1 i 1 i 1

i 1
i
Bn n i
n
N( 近似服从正态分布：

i 1
n
i
,B )
i 1 2 n
这就是说，无论各个随机变量 i (i=1，2，…)服 从什么样的分布，只要满足定理7的条件，那么它 们的和 n

( x )2

2Leabharlann f ( x )dx2

( x )2 f ( x )dx
D
2
2 2 证毕。
式(1.1)表明当D 很小时，概率P | E | 更小。这 就是说在上述条件下，随机变量 落入 E 的 邻域之 外的可能性很小，落入E 的 邻域内可能性很大。 由此说明 的取值比较集中，也即离散程度较小，这 正是方差的意义所在。契贝雪夫不等式在理论研究和 实际应用中都有很重要的价值。
契贝雪夫不等式也可以写成如下等价形式
P | | 1 2
2
例1 已知正常男性成人血液中，每一毫升血液中白 细胞的平均数是 7300，均方差是700。试估计每毫升 血液中白细胞数在5200～9400之间的概率。
解 设每一毫升血液中白细胞数为 ，则由上式有
P | 7300| 2100 P 5200 9400
n

i 1
i
n
n
当n无限增大时，总以标准正态分布为其极限分布。 或者说，当n充分大时，n近似服从标准正态分布。 根据这一点，在实际应用中，只要n充分大，我们便 可把n个独立同分布的随机变量的和当作正态随机变 n 量。 i n n i 中每一被加项 2°因为对 i 1 n n n i 1
则对任意的x，有 1 n P ( i i ) lim n Bn i 1 证略。
1 2 Bn
E |
i 1
n
i
i |
2
0 (n )
1 2
x

x

e
t2 2
dt
不难看出，当n很大时， n
近似服从标准正态分布N(0，1)，也即
7002 8 1 . 2 2100 9
2 思考题：设随机变量 的标准差为 2 .5, 试用切比雪夫 2.5 1 P{| E | 7.5} ! 2 7. 5 9 不等式估计 P{| E | 7 .5}的值。
定理2 （伯努利(Bernoulli)大数定律）设nA 是n次独 立重复试验中事件A发生的次数，p是事件A在每次试 验中发生的概率，则对任意正数 >0，有
E i , D i 0, i 1,2,
则对任意的x有 n i n t2 x 1 i 1 2 P x e dt lim n 2 n 证明（略） 两点说明： 1°无论随机变量1， 2，…，n，…服从同一分布 的情况如何，只要 {i} 满足定理的条件，则随机变量 n 序列：
实践表明，客观实际中有很多随机变量，它 们往往是由大量的相互独立的随机因素的综合作用 所形成的。而其中每一个别因素在总的影响中所起 的作用是微小的。
下面将要介绍的中心极限定理从理论上阐明了 这样的随机变量总是近似地服从正态分布的。
定理5（独立同分布的林德贝尔格-勒维(Lindeberg －Levy)中心极限定理）设1， 2，…，n，…是相互 独立，且服从同一分布的随机变量序列，并具有数学 期望和方差： 2

i 1
i
当n很大时，就近似地服从正态分布。这也就说 明了为什么正态随机变量在概率论与数理统计中占有 重要地位的一个最基本的原因。
例2 某单位有300架电话分机，每个分机有5%的 时间要用外线通话，可以认为各个电话分机用不用 外线是相互独立的。试问该单位总机至少应配备多 少条外线，才能以 95% 的把握保证各个分机在用外 线时不必等待？ , 1, 第i个分机要用外线 解 令 i (i 1， 2， , 300) . 0, 第i个分机不要用外线 则 i 服从(0－1)分布，且p=0.05。如果假定300架分机 中同时要求使用外线的分机数为300 ，则
5.1 大数定律
第一章引入概率概念时，曾经指出，事件发生 的频率在一、二次或少数次试验中具有随机性的， 但随着试验次数n的增大，频率将会逐渐稳定且趋 近于概率。特别，当n很大时，频率与概率会非常 “接近”的。这个非常“接近”是什么意思？这与 高等数学中的极限概念有否联系？本章将从理论上 讨论这一问题。 定理1 设随机变量的数学期望E= ，方差D = 2， 则对任意的正数，不等式
1 n P i (n ) n i 1
这就为寻找随机变量的期望值提供了一条实际 可行的途径。
5.2 中心极限定理
在第二章介绍正态分布时曾经特别强调了它在概 率论与数理统计中的地位与作用，为什么会有许多 随机变量遵循正态分布？仅仅是经验猜测还是确有 理论根据？这当然是一个需要弄清的问题。