概率论大数定律与中心极限定理

‘、第五章 大数定律与中心极限定理

第一节 大数定律

在第一章中我们已经指出，人们经过长期实践认识到，虽然个别随机事件在某次试验中可能发生也可能不发生，但是在大量重复试验中却呈现明显的规律性，即随着试验次数的增大，一个随机事件发生的频率在某一固定值附近摆动.这就是所谓的频率具有稳定性.同时，人们通过实践发现大量测量值的算术平均值也具有稳定性.而这些稳定性如何从理论上给以证明就是本节介绍的大数定律所要回答的问题.

在引入大数定律之前，我们先证一个重要的不等式——契比雪夫（Chebyshev ）不等式. 设随机变量X 存在有限方差D （X ），则有对任意ε＞0，

P {｜X -E （X ）｜≥ε}≤2)

(εX D .(5.1)

证 如果X 是连续型随机变量，设X 的概率密度为f (x ),则有

P {|X -E （X ）|≥ε}=

⎰⎰≥-≥--≤

εεε)(22)()()()(X E x X E x x x f X E x x x f d d ≤[].)()()(1

222⎰+∞∞-=-ε

εX D x x f X E x d 请读者自己证明X 是离散型随机变量的情况.

契比雪夫不等式也可表示成

P {｜X -E （X ）｜＜ε}≥1-2)

(εX D . 5.2）

这个不等式给出了在随机变量X 的分布未知的情况下事件{｜X -E （X ）｜＜ε}的概率的下限估计，例如，在契比雪夫不等式中，令ε=3)(X D ，4)(X D 分别可得到

P {｜X -E （X ）｜＜3)(X D }≥0.8889,

P {｜X -E (X )｜＜4)(X D }≥0.9375.

例5.1 设X 是掷一颗骰子所出现的点数，若给定ε=1,2，实际计算P {|X -E （X ）|≥ε}，并验证契比雪夫不等式成立.

解 因为X 的概率函数是P {X =k }=1/6（k =1，2，…，6），所以

E （X ）=7/2, D （X ）=35/12,

P {|X -7/2|≥1=P {X =1}+P {X =2}+P {X =5}+P {X =6}=2/3;

P {|X -7/2|}≥2}=P {X =1}+P {X =6}=1/3.

ε=1：

2)(εX D =35/12>2/3, ε=2：2)

(εX D =1/4×35/12=35/48>1/3.

可见契比雪夫不等式成立.

例5.2 设电站供电网有10000盏电灯，夜晚每一盏灯开灯的概率都是0.7，而假定开、关时间彼此独立，估计夜晚同时开着的灯数在6800与7200之间的概率.

解 设X 表示在夜晚同时开着的灯的数目，它服从参数为n =10000,p =0.7的二项分布.若要准确计算，应该用贝努里公式：

P {6800

∑=-⨯⨯7199

680110000100003.07.0k k k k C .

如果用契比雪夫不等式估计： E （X ）=np =10000×0.7=7000,

D （X ）=npq =10000×0.7×0.3=2100,

P {6800

2100≈0.95. 可见，虽然有10000盏灯，但是只要有供应7200盏灯的电力就能够以相当大的概率保证够用.事实上，契比雪夫不等式的估计只说明概率大于0.95，后面将具体求出这个概率约为0.99999.契比雪夫不等式在理论上具有重大意义，但估计的精确度不高.

契比雪夫不等式作为一个理论工具，在大数定律证明中，可使证明非常简洁.

定义5.1 设Y 1，Y 2，…，Y n ，…是一个随机变量序列，a 是一个常数，若对于任意正数ε有

{}1lim =<-∞→εa Y

P n n ，

则称序列Y 1，Y 2，…，Y n ，…依概率收敛于a ,记为Y n P a .

定理5.1（契比雪夫（Chebyshev ）大数定律） 设X 1，X 2，…是相互独立的随机变量序列，各有数学期望E （X1），E （X2），…及方差D （X 1），D （X 2），…，并且对于所有i =1,2,…都有D （X i ）0，有

1)(1111lim =⎭

⎬⎫⎩⎨⎧<-∑∑==∞→εn i n

i i i n X E n X n P . （5.3） 证因X 1，X 2，…相互独立，所以

n l nl n X D n X n D n i i n i i =⋅<=⎪⎭⎫ ⎝⎛∑∑==21

211)(11. 又因

,)(111

1∑∑===⎪⎭⎫ ⎝⎛n

i i n i i X E n X n E 由(5.2)式，对于任意ε>0，有

2111)(11εεn l X E n X n P n i i n i i -≥⎭

⎬⎫⎩⎨⎧<-∑∑==, 但是任何事件的概率都不超过1，即

1)(111112≤⎭⎬⎫⎩⎨⎧<-≤-∑∑==εεn

i i n i i X E n X n P n l

,

因此

1)(1111lim =⎭

⎬⎫⎩⎨⎧<-∑∑==∞→εn i n

i i i n X E n X n P . 契比雪夫大数定律说明：在定理的条件下，当n 充分大时，n 个独立随机变量的平均数

这个随机变量的离散程度是很小的.这意味，经过算术平均以后得到的随机变量n X

n i i

∑=1将比较密的聚集在它的数学期望n X E n

i i ∑=1

)(的附近，它与数学期望之差依概率收敛到0.

定理5.2（契比雪夫大数定律的特殊情况） 设随机变量X 1，X 2，…，X n ，…相互独立，且具有相同的数学期望和方差:E （X k ）=μ，D （X k ）=σ2（k =1，2，…）.作前n 个随机变量的算术平均∑==n

k k n X n Y 1

1则对于任意正数ε有 {}1lim =<-∞→εμn n Y P . (5.4)

定理5.3（贝努里（Bernoulli ）大数定律） 设n A 是n 次独立重复试验中事件A 发生的次数.p 是事件A 在每次试验中发生的概率，则对于任意正数ε>0，有

1lim =⎭

⎬⎫⎩⎨⎧<-∞→εp n n P A n ， （5.5） 或 0lim =⎭⎬⎫⎩⎨⎧≥-∞

→εp n n P A n . 证 引入随机变量

X k =⎩⎨⎧=,,2,1,1,0 k ，

A k ，A k 发生次试验中若在第不发生次试验中若在第, 显然 n A =∑=n k k X

1.

因为X k 只依赖于第k 次试验，而各次试验是独立的.于是X 1，X 2，…，是相互独立的；又因为X k 服从（0-1）分布，故有

E （X k ）=p ， D (X k )=p (1-p ), k =1,2,….

由定理5.2有

111lim n i n k P X p n ε→∞=⎧⎫-<=⎨⎬⎩⎭

∑, 即 1lim =⎭

⎬⎫⎩⎨⎧<-∞→εp n n P A n .