大数定理

三.几个常见大数定律及其比较

由于随机变量序列向常数的收敛有多种不同的形式，按其收敛为依概率收敛，以概率1收敛或均方收敛，分别有弱大数定律、强大数定律和均方大数定律。

定义1 设有一列随机变量1,2,ηηη…..，如果对于任意的0ε>，有

()l i m 1n n P ηηε→∞

-<=则称随机变量序列{}n η依概率收敛于η，记作

(),p n n ηη−−→→∞。

定义2 设有随机变量η和一列随机变量{}n η ，1,2ηη…..，若

(){}l i m 1n n P ηωη→∞

==成立，则称{}n η几乎处处收敛于η，记作().,a e n n ηη−−→→∞ 定义3 若12,,n ξξξ⋅⋅⋅⋅⋅⋅是随机变量序列,如果存在常数列1,2,a a ⋅⋅⋅,使得对任意的0ε>,有

11lim 1n i n n i P a n ξε→∞

=⎛⎫

-<= ⎪⎝⎭

∑ （8） 成立,则称随机变量序列{}i ξ满足大数定律.

定义4 设有随机变量η和随机变量序列{}n η的r 阶原点矩r E η、r

n

E η（n=1,2……）存在，其中r>0，若lim 0r

n n E ηη→∞

-=则称n ηr 次平均收敛到η。记

作 r

L

n ηη−−→。

此时必有r

r n E E ηη=。

当r=2时是常用的二阶矩，2

L n ηη−−→称为均方收敛。

定义5 若12,,n ξξξ⋅⋅⋅⋅⋅⋅是随机变量序列，它们的数学期望(1,2,.....)i E i ξ=存在，0ε∀>有

11lim 1n n

k k n i i E n n ξξε→∞⎛⎫-<= ⎪⎝⎭

∑∑ 则称随机变量序列12,,n ξξξ⋅⋅⋅⋅⋅⋅服从弱大数定律。

定义6 若12,,n ξξξ⋅⋅⋅⋅⋅⋅是随机变量序列，它们的数学期望(1,2,.....)i E i ξ=存在，0ε∀>有

()1l i m 01n

k k n i

P E n ξξ→∞

⎧⎫-==⎨⎬⎩⎭

∑或等价地.110n n a e

k k i i E n n ξξ-−−→∑∑， 则称12,,n ξξξ⋅⋅⋅⋅⋅⋅服从强大数定律。

上述两个大数定律要注意，强大数定律和弱大数定律区别不仅仅是一个法则的不同，不能简单的把极限符号lim n →∞

从概率号P （）中移出来，弱大数

定律描述的是一列概率的收敛性，而强大数定律说的是一列随机变量收敛到一个常数，也正是这点，保证了用事件出现的频率来作为事件概率的估计的正确性。

定理1 对任意的随机变量ξ，若E a ξ=，又D ξ存在，则对任意的正常数ε，有()2

D P a ξ

ζεε

-≥≤

， 则称此式子为契贝晓夫不等式。

粗糙地说，如果D ξ越大，那么()P a ζε-≥也会大一些。 大数定律形式有很多种，我们仅介绍几种最常用的大数定律。

定理2 （伯努利大数定律）设n μ是n 重伯努利实验中事件A 出现的次数，且A 在每次试验中出现的概率为p （0，有

l i m 1

n n P p n με→∞⎛⎫

-<= ⎪⎝⎭

（5） 此定理表明：当n 很大时，n 重伯努利试验中事件A 发生的频率几乎等于事件A 在每次试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，因此，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。

定理3 （契贝晓夫大数定律） 设12,,n ξξξ⋅⋅⋅⋅⋅⋅是一列两两不相关的随机变量,

又设它们的方差有界,即存在常数0C >,使有,1,2,3i D C i ξ≤=⋅⋅⋅，则对于任意的0ε>,有

1111lim 1n n

i i n i i P E n n ξξε→∞==⎛⎫-<= ⎪⎝⎭∑∑ （9）

在上述的定理中，因为用到契贝晓夫不等式，都有对方差的要求，其实方差这个条件并不是必要的。例如独立同分布时的辛钦大数定律

定理4 （辛钦大数定律） 设12,,n ξξξ⋅⋅⋅⋅⋅⋅是独立同分布的随机变量序列,且有有限的数学期望()1,2i E a i ξ==⋅⋅⋅,则对于任意的0ε>,有

11l i m 1

n i n i P a n ξε→∞=⎛⎫

-<= ⎪⎝⎭

∑ （10） 上式也可表示为1

1lim p

n i n i a n ξ→∞==∑或()11n p

i i a n n ξ=−−→→∞∑,并且称11n i i n ξ=∑依概率

收敛于.

定理5 （泊松大数定律）设12,,n ξξξ⋅⋅⋅⋅⋅⋅是相互独立的随机变量序列,

()1n n P p ξ==，()0n n P q ξ==，其中1n n p q +=，则12,,n ξξξ⋅⋅⋅⋅⋅⋅服从泊松大数定律。

泊松大数定律是伯努利大数定律的推广，伯努利大数定律证明了事件在完全相同的条件下重复进行的随机试验中频率的稳定性；而泊松定理表明，当独立进行的随机试验的条件变化时，频率仍然具有稳定性：随着n 的无限增大，在n 次独立试验中，事件A 的频率趋于稳定在各次试验中事件A 出现概率的算术平均值附近。

定理6 （马尔科夫大数定律）对于随机变量序列12,,n ξξξ⋅⋅⋅⋅⋅⋅,若有

2

110,n i i D n n ξ=⎛⎫

→→∞ ⎪⎝⎭

∑ 则有

1111lim 1n n

i i n i i P E n n ξξε→∞==⎛⎫-<= ⎪⎝⎭

∑∑ 作为对这几个定理有更深入的理解，本文着重介绍对于辛钦大数定理的

证明：

6.几个常见大数定律之间的比较

6.1 伯努利大数定律是泊松大数定律的推广，伯努利大数定律证明了事件