概率统计简明教程 第五章 大数定律与中心极限定理

168

第五章 大数定律与中心极限定理

我们知道，随机事件在某次试验中可能发生也可能不发生，但在大量的重复试验中随机事件的发生却呈现出明显的规律性，例如人们通过大量的试验认识到随机事件的频率具有稳定性这一客观规律.实际上，大量随机现象的一般平均结果也具有稳定性，大数定律以严格的数学形式阐述了这种稳定性，揭示了随机现象的偶然性与必然性之间的内在联系.

客观世界中的许多随机现象都是由大量相互独立的随机因素综合作用的结果，而其中每个随机因素在总的综合影响中所起作用相对微小.可以证明，这样的随机现象可以用正态分布近似描述，中心极限定理阐述了这一原理.

§1 大 数 定 律

首先我们介绍证明大数定律的重要工具—切比雪夫（Chebyshev ）不等式.

1.1 切比雪夫不等式

定理 1.1 设随机变量X 数学期望()E X 和方差()D X 都存在，则对任意给定的正数ε，成立

{}2

()

()D X P X E X εε

-≥≤

. （1.1）

证明 只对X 是连续型随机变量情形给予证明. 设X 的密度函数为()f x ，则有

{}()P X E X ε-≥()()d x E X f x x ε

-≥=

⎰

2

2

()[()]

()d x E X x E X f x x ε

ε

-≥-≤

⎰

2

2

1

[()]()d x E X f x x ε

+∞-∞

≤

-⎰

169

2

()

D X ε

=

.

称（1.1）为切比雪夫不等式，它的等价形式为 {}2

()

|()|1.D X P X E X εε

-<≥-

（1.2）

切比雪夫不等式直观的概率意义在于：随机变量X 与它的均值()E X 的距离大于等于e 的概率不超过

2

1D X （）e

.在随机变量X 分布未知的情

况下，利用切比雪夫不等式可以给出随机事件{()}X E X ε-<的概率的一种估计.

例如当ε=

{

8|()|0.8889.9

P X E X -<=≥

也就是说，随机变量X 落在以()E X

为中心，以为半径的邻域内的概率很大，而落在该邻域之外的概率很小.

随机变量X 的取值集中在()E X 附近，而这正是方差这个数字特征的意义所在.

例1.1 已知随机变量X 和Y 的数学期望、方差以及相关系数分别为

()()2E X E Y ==,()1D X =,()4D Y =,,0.5X Y ρ=,用切比雪夫不等

式估计概率{6}P X Y -≥.

解 由于

()()()0E X Y E X E Y -=-=,

,(,)1X Y

Cov X Y ρ==,

()()()2(,)523D X Y D X D Y cov X Y -=+-=-=,

170

由切比雪夫不等式，有

2

()

{6}{()()6}6

D X Y P X Y P X Y

E X Y --≥=---≥≤

310.083336

12

=

==.

例 1.2 假设某电站供电网有10000盏电灯,夜晚每一盏灯开灯的概率都是0.7,并且每一盏灯开、关时间彼此独立,试用切比雪夫不等式估计夜晚同时开灯的盏数在6800至7200之间的概率.

解 令X 表示夜晚同时开灯的盏数,则~(,)X B n p ，10000n =，

0.7p =，所以

()7000E X np ==, ()(1)2100.D X np p =-=

由切比雪夫不等式，有

{}{}68007200|7000|200X P X P <<=-<2

21001200

≥-

0.9475=.

在例1.2中，如果用二项分布直接计算，这个概率近似为0.99999.可见切比雪夫不等式的估计精确度不高. 切比雪夫不等式的意义在于它的理论价值，它是证明大数定律的重要工具.

1.2 依概率收敛

在微积分中，收敛性及极限是一个基本而重要的概念，数列{}n a 收

敛到a 是指对任意0e >，总存在正整数,N 对任意的n N >时，恒有

||.n a a e -<

在概率论中，我们研究的对象是随机变量，要考虑随机变量序列的收敛性.如果我们以定义数列的极限完全相同的方式来定义随机变量序列的

收敛性，那么，随机变量序列{}1n X n （）³收敛到一个随机变量X 是指对

任意0e >，总存在正整数,N 对任意的n N >时，恒有||n X X e -<.但

171

由于,n X X 均为随机变量，于是||n X X -也是随机变量，要求一个随机变量取值小于给定足够小的e 未免太苛刻了，而且对概率论中问题的进一步研究意义并不大.为此，我们需要对上述定义进行修正，以适合随机变量本身的特性.我们并不要求n N >时， ||n X X e -<恒成立，只要求n 足够大时，出现||n X X e ->的概率可以任意小.于是有下列的定义

定义 1.1 设12,,,,n X X X 是一个随机变量序列，X 是一个随机变量，如果对于任意给定的正数ε，恒有

{}lim 0,n n P X X ε→∞

->= （1.3）

则称随机变量序列12,,,,n X X X 依概率收敛于X ，记作

n

P

X X −−→.

1.3 大数定律

在第一章，我们曾指出，如果一个事件A 的概率为p ，那么大量重复试验中事件A 发生的频率将逐渐稳定到p ，这只是一种直观的说法.下面的定理给出这一说法的严格数学表述.

定理1.2 伯努利大数定律 设A n 是n 重伯努利试验中事件A 发生的次数， p (01)p <<是事件A 在一次试验中发生的概率，则对任意给定的正数ε，有

{

}

lim 1.n A n P

p n

ε

→∞

-<= （1.4）

证明 由于A n 是n 重伯努利试验中事件A 发生的次数，所以

~(,)A n B n p ，进而