大数定律

第五章 大数定律与中心极限定理

在数学中大家都注意到过这样的现象：有时候一个有限项的和很难求，而一经取极限让有限过渡到无限，则问题反而好办。例如计算和

!

1!31!212n s n ++++= 对于固定的但很大的n ，这个和很难求，但考虑∞→n 取极限时，则

有十分简单的结果：e s n n =∞

→lim 。利用此结果，当n 很大时就可以把e 作为n s 的近似值。

在概率论中，也经常会出现求与很多个随机变量和有关的事件的概率。比如)(21b X X X a P n <+++< ，除少数情况外，这样的概率计算都会十分复杂。因而自然会提出问题：可否利用极限来近似计算呢？即考虑∞→n 时，n 个随机变量之和是否有某种极限分布。概率论中不仅证明了这是可能的，而且还证明了在很一般的情况下，和的标准化随机变量的极限分布就是标准正态分布。这一事实既可以解决近似计算概率的问题，同时也强化了正态分布的重要性，以及也解释了现实世界中许多随机现象中的变量的分布密度曲线会呈现钟形曲线的原因。在概率论中把这类结果的有关定理叫做“中心极限定理”. 中心极限定理就是研究在什么条件下，大量随机变量之和的分布会接近于正态分布。

概率论中，另一类极限定理是所谓的“大数定理”.它是由“频率的稳定性”引申和发展而来的。考虑n 次独立重复试验，每次试验观察事件A 是否发生，令

⎩⎨⎧=否则

0,发生A 次试试 i 若第,1i X ，n i ,,2,1 = 那么事件A 发生的频数为n n X X X S +++= 21，频率为n S X n n /=。若p A P =)(，则“频率的稳定性”就是说，在n 很大时，频率n X 会接近于概率p 。而p X E i =)(，p X E n =)(。故也可说成是：在n 很大时，n 个随机变量的算术平均n X 会接近于其期望)(n X E 。按后一种说法，就可不必局限于i X 只取0，1两个值的情况。概率论中讨论的大数定理就是研究在何种条件下，n 个随机变量的算术平均n X ，当∞→n 时会在某种意义下收敛于其期望)(n X E 。

上面提到的问题都属随机变量序列的收敛性问题，随机变量序列的收敛性有多种，其中常用的是两种：依概率收敛和按分布收敛。 §5.1 大数定律

一． 依概率收敛的定义

定义 设}{n X 为一随机变量序列，X 为一随机变量，若对任意的0>ε，有

0)|(|lim =ε≥-∞

→X X P n n 或

1)|(|lim =ε<-∞

→X X P n n 则称随机变量序列}{n X 依概率收敛于X ，记作X X P

n →。

依概率收敛的含义是：n X 与X 的绝对偏差不小于任意给定的正数的可能性会随n 的无限增大而无限变小。或者说，绝对偏差||X X n - 小于任意给定的正数的可能性的会随n 的无限增大而无限地接近于1。

特别当X 为退化的随机变量时，即X 为常数c ，则称}{n X 依概率收敛于常数c 。

依概率收敛的序列有以下性质。

设,a X P n →,b Y P

n →),(y x g 在点),(b a 过连续，则

),(),(b a g Y X g P n n →

二、 大数定律 大数定律有多种形式，下面从最简单的伯努利大数定律说起，然后逐个介绍各种大数定律。

1.伯努利大数定律

定理 设A n 为n 重伯努利试验中事件A 发生的次数，每次试验中事件A 发生的概率都为p ，则频率

n n A 依概率收敛于p ，即对0>ε∀，有 0)|(|lim =ε≥-∞→p n

n P A n ， 或1)|(|lim =ε<-∞→p n

n P A n 证明：由于A n ～),(p n B ，故,)(p n n

E A =n p p n n Var A )1()(

-=， 由切比雪夫不等式，有

0)1()()|(|02

2→ε-=ε≤ε≥-≤n p p n n Var p n

n P A A ， 所以 0)|(|lim =ε≥-∞→p n n P A n 。 伯努利大数定律说明：随着试验次数n 的增大，事件A 发生的频率n

n A 与其概率p 的绝对偏差||p n n A -大于任意给定的正数ε的可能性可以无限地接近于零，这就是频率的稳定性的概率意义。

2.几个常用的大数定律

定理（切比雪夫大数定律） 设}{n X 为一列两两不相关的随机变量

序列，若,,2,1,)( =≤i c X Var i 则}{n X 服从大数定律，即对0>ε∀，有 0)|)((|lim =ε≥-∞

→n n n X E X P 其中∑==n i i n X n X 1

1。 证明：由于}{n X 两两不相关，故

n

c X Var n X Var n i i n ≤

=∑=)(1)(12， 由切比雪夫不等式，有

0)()|((|02

2→ε≤ε≤ε≥-≤n c X Var X E X P n n n 。 证明完毕。

以上大数定律都要求随机变量i X 的方差存在，以下的辛钦大数定律

则去掉这个条件，但保留期望存在的条件，并要求}{n X 为独立同分布的随机变量序列。

定理（辛钦大数定律） 设}{n X 为独立同分布的随机变量序列，且i X 的期望存在，则}{n X 服从大数定律，即对0>ε∀，有 0)|)(|lim =ε≥μ-∞

→n n X P 其中)(i X E =μ。

辛钦大数定律刻画了算术平均值的稳定性。同时，辛钦大数定律提供了求随机变量的数学期望)(X E 的近似值的方法。设想对X 作多次独立重复观察（或从X 的分布中产生多个随机数），观察结果为

n X X X ,,,21 ，当n 足够大时，可以把观察值的平均值∑=n

i i X n 1

1作为)(X E