概率论中的大数定律及中心极限定理

概率论中的大数定律及中心极限定理

唐南南

摘要 概率论是从数量上研究随机现象的规律的学科，概率论的特点是先提出数学模型，然后去研究它的性质，特点和规律。它在自然科学，技术科学和社会科学等科学中有广泛的应用。而大数定律和中心极限定理的内容是概率论中极限理论极为重要的一部分内容。在这篇文章中，我们从贝努力试验中的频率出发，讨论了独立随机变量和分布的极限问题。在一定条件下，这些分布弱收敛于退化分布，这就是大数定律。在另一些条件下，这些分布弱收敛于N(0,1)分布,这一类收敛于N(0,1)分布的定理统称为中心极限定理.大数定律说明了随机现象都具有稳定性而中心极限定理是研究相互独立随机变量序列{}i x 的部分和∑==

n

i i

n x

S 1

的分布，在适当条件下向正态分布收放的问题。在这篇文章

里，我们只介绍了一些定理的提出，内容以证明以及在其他学科上的应用，而大数定律和中心极限定理还有许多更深入，更广泛的内容，限于篇幅这里就不再介绍了。掌握定理的结论是重要的，这些结论一方面使频率稳定于概率，n 次观察的算术平均值稳定于数学期望都有了明确的含义和理论依据；另一方面，又将给数理统计中大样本的统计推断等提供理论依据。 关键词 大数定律 中心极限定理 随机现象 随机变量

引言

大数定律和中心极限定理是概率论中重要的一部分内容，但对读者来说，多数人对于这部分内容感到很难掌握，这篇文章就是对这部分内容进行浅入的分析，但对其内容进行详细的说明，而且进行了归纳性的总结，指出了各定律之间的联系及其差别，希望通过本篇文章内容的介绍，能使读者对于这部分知识有一个清晰的印象，能整体地把握这部分内容。

一 、大数定律

（一）、问题的提法（大数定律的提法）

重复实验中事件的频率的稳定性，是大量随机现象的统计规律性的典型表现。人们在实践中认识到频率具有稳定性，进而由频率的稳定性预见概率的存在；由频率的性质推断概率的性质，并在实际应用中（当n

充分大时）用频率的值来估计概率的值。这些都是概率的公理化定义的实际背景。概率的概念以及在此基础上建立的理论应该与实际相符合。因此，我们需要对频率的稳定性这一实际作理论的说明。

其实，在大量的随机现象中，不但事件的频率具有稳定性，而且大量随机现象的平均结果一般也具有这稳定性：单个现象的行为对大量随机现象共同产生的总平均效果几乎不发生影响，这就是说，尽管单个随机现象的具体实现不可避免地引起随机偏差，然而在大量随机现象共同作用时，由于这些随机偏差互相抵消，补偿和拉平，致使总的平均结果趋于稳定。例如，在分析天平上称量一质量为u 的物品，以21,ξξ……，n ξ表示n 次重复测量的结果。经验告诉我们，当n 充分大时，它们的算术平均值()

∑==n

i i n n 1

1ξξ对u 的偏差却很小，而且一般n 越大，这种偏差越小。如果把一连串的观察结果21,ξξ……，n ξ看成随机变量，则上述直观现实表

明，当n 充分大时，在一顶的收敛意义下，有u n n

i i →∑=1

1ξ，它就是大量随

机现象的平均结果稳定性的数学表达式。

频率的稳定性也可以表达成u n n

i i →∑=1

1ξ这种形式。为此令

⎩⎨

⎧=次试验中不出现

若在第次试验中出现

若在第i i i ,0,1ξ i=1,2……，n 。

那么，()∑==n

i i n A u 1

ξ是n 次试验中A 出现的频数。频率的稳定性指的是随着

n 无限增大，频率()A P n 趋于稳定概率()A P 附近，即在一定的收敛意义下

())(1)(1

A P n n A u A P n i i n n →==∑=ξ。概率论中，一切关于大量随机现象的平均结

果稳定性的定理，统称为大数定律，按收敛性的含义不同，大数定律有

弱大数定律和强大数定律之分。

（二）、大数定律的内容及证明

1、 在证大数定理时，我们经常用到著名的切比雪夫不定式，首先我们来讲这个不定式]2[。

设随机变量X 有期望()x E 和方差()x D ，则对于任意 ε>0,有

(){}()

2

εεx D x E x P ≤

≥-或(){}()

2

1εεx D x E x P -

≥<-

证明：（1）：

x 是离散型随机变量的情形。

(){}(){}()[]()()[]()

2

2

2

2

2εεεεε

ε

x D x E X P

X E X x x P x E x P k x E x k

k k

x E x k k =-≤-≤

==

≥-∑

∑∑≥

-≥

- （{}K K P X x P ==）

（2）x 是连续随机变量的情形。

设x 的密度函数是()x P ，则有(){}()εε≥-⎰=≥-x E x x E x P ()dx x P 积分区域如图：

P(x)

E(x)-ε E(x) E(x)+ε 由于()(),,)(,εεε-≤-≥-≥-x E x x E x x E x 所以 即()().,εε-≤+≥x E x x E x 于是有

(){}()()()()[]()()[]()()2

2

22

21

ε

ε

εεεεx D dx x P x E x dx

x P x E x dx x P x E x P x E x x E x =-≤-⎰≤⎰=≥-⎰∞

+∞-≥-≥-

切比雪夫不定式给出了在随机变量x 的分布未知的情况下，对事件

X