(完整版)大数定律及中心极限定理

第五章大数定律及中心极限定理【基本要求】1、了解切比雪夫不等式；2、了解切比雪夫大数定律，Bernoulli大数定律和辛钦大数定律成立的条件及结论；3、了解独立同分布的中心极限定理（列维—林德伯格定理）和德莫佛—拉普拉斯中心极限定理（二项分布以正态分布为极限分布）的应用条件和结论，并会用相关定理近似计算有关随机事件的概率。

【本章重点】切比雪夫不等式，切比雪夫大数定理及Bernoulli大数定理。

【本章难点】对切比雪夫大数定理及独立同分布的中心极限定理的理解。

【学时分配】2学时【授课内容】§5.1 大数定律0.前言在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，这一事实显示了可以用一个数来表征事件发生的可能性大小，这使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义，而频率的稳定性是概率定义的客观基础。

在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。

下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。

一、切比雪夫大数定律12事件的频率稳定于概率，能否有p nlimnn =μ∞→，答案是否定的。

而是用)(0}{∞→→ε≥-μn p nP n [依概率收敛]来刻划（弱）。

或者用{}1n n P p n →∞μ−−−→=[a.e.收敛] 来刻划（强）。

1.定义：设 ,,,,21n X X X 是一个随机变量序列，a 是一个常数，若对于任意正数ε，有()1lim =<-∞→εa X P n n ，则称序列 ,,,,21n X X X 依概率收敛于a .记为a X Pn −→−. 2．切比雪夫不等式设随机变量ξ具有有限的期望与方差，则对0>∀ε，有2)())((εξεξξD E P ≤≥-或2)(1))((εξεξξD E P -≥<-证明：我们就连续性随机变量的情况来证明。

设~()p x ξ，则有22()()(())(())()()x E x E x E P E p x dx p x dx ξεξεξξξεε-≥-≥--≥=≤⎰⎰2221()(())()D x E p x dx ξξεε+∞-∞≤-=⎰该不等式表明：当)(ξD 很小时，))((εξξ≥-E P 也很小，即ξ的取值偏离)(ξE 的可能性很小。

这再次说明方差是描述ξ取值分散程度的一个量。

切比雪夫不等式常用来求在随机变量分布未知，只知其期望和方差的情况下，事件{}E ξξε-≥概率的下限估计；同时，在理论上切比雪夫不等式常作为其它定理证明的工具。

3．定理1（切比雪夫大数定律）设}{n ξ是相互独立的随机变量序列，每一随机变量都有有限的方差，且一致有界，即存在常数C ，使 ,2,1)(=≤i C D i ξ，则对任意的0>ε，有01111=ε≥ξ-ξ∑∑==∞→})(E n n {P lim n i ni i i n [即31111()()n n pi i i i E n n n ξξ==−−→→∞∑∑] 证明：由切比雪夫不等式知：,0>∀ε有：)(0)1(1})(11{022********∞→→=≤=≤≥-≤∑∑∑∑====n n Cn nC n D n D E n n P ni ini i n i n i i i εεεξξεεξξ该定理表明：当n 很大时，随机变量n ξξ,,1 的算术平均值11ni i n ξ=∑接近于其数学期望11()ni i E n ξ=∑，这种接近是在概率意义下的接近。

通俗的说，在定理的条件下，n 个相互独立的随机变量算术平均值，在n 无限增加时将几乎变成一个常数。

推论：设n ξξ,,1 是相互独立的随机变量，由相同的数学期望和方差,2,1)(,)(2===i D E i i σξμξ，则,0>∀ε有0}1{lim 1=≥-∑=∞→εμξni i n n P （即∑=n i i n 11ξ以概率收敛于μ）这个结论有很实际的意义：人们在进行精密测量时，为了减少随机误差，往往重复测量多次，测得若干实测值n ξξ,,1 ，然后用其平均值∑=ni i n 11ξ来代替μ。

切比雪夫大数定律是最基本的大数定理，作为切比雪夫大数定律的特殊情形有Bernoulli 大数定理和辛钦大数定律。

二、Bernoulli 大数定律定理2：设n μ是n 重Bernoulli 试验中事件A 出现的次数，而)10(<<p p 是事件A 在每次试验中出现的概率，则对0>∀ε，0lim =⎭⎬⎫⎩⎨⎧≥-∞→εμp n P n n 证明：令⎩⎨⎧=不出现次试验中第出现次试验中第A i A i i 01ξ，n i ,1,2, ＝4 则12,,,n ξξξ相互独立且n nμ＝∑=n i i n 11ξ，P E i =)(ξ，11()n i i E p n =ξ=∑，41)1()(≤-=P P D i ξ，n i ,1,2, ＝故由切比雪夫大数定律立刻推出贝努里大数定律。

或者，直接由切比雪夫不等式，对0>∀ε，有⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧ε≥⎪⎭⎫ ⎝⎛ξ-ξ=⎭⎬⎫⎩⎨⎧ε≥-μ≤∑∑==n i i n i i n n E n P P n P 111100111212→ε-=⎪⎭⎫ ⎝⎛ξε≤∑=n )p (p n D n i i )(∞→n 即P n p n →μ )(∞→n 。

故{i ξ}服从大数定律。

Bernoulli 大数定律表表明：事件发生的频率nnμ依概率收敛于事件的概率p ，这个定理以严格的数学形式表达了频率的稳定性。

就是说当n 很大时，事件发生的频率于概率有较大偏差的可能性很小。

由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。

切比雪夫大数定律（定理1）中要求随机变量12,,,,n ξξξ的方差存在，但在这些随机变量服从相同分布的场合，并不需要这一要求，从而我们有以下的定理： 三、辛钦大数定律定理3：设随机变量n ξξ,,1 独立同分布，且具有数学期望(),1,2,i E i ξμ==，则,0>∀ε有0}1{lim 1=≥-∑=∞→εμξni i n n P （即∑=n i i n 11ξ以概率收敛于μ） 证明：略。

显然，Bernoulli 大数定律是辛钦大数定律的特殊情况。

5§5.2 中心极限定理0.前言在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量是近似地服从正态分布，这种现象就是中心极限定理的客观背景。

中心极限定理的内容包含极限，因而称它为极限定理是很自然的，又由于它在统计中的重要性，称它为中心极限定理这是Poyla 在1920年取得名字。

设{n ξ}是相互独立的随机变量序列，它们的期望与方差均存在，考虑)()(111∑∑∑===ξξ-ξ=ζni i ni i ni in D E （标准化和） 2,1=n ，这时对于任意的n 都有1,0=ζ=ζn n D E ，因而当∞→n 时，n ζ不至于发生趋向于0或∞这种情形，这时讨论它的分布才有意义。

下面研究n ζ的分布：中心极限定理有多种不同的形式，下面我主要讲独立同分布的中心极限定理及其一特殊情形：一、定理1:(Levy-Lindeberg 极限定理)[独立同分布的中心极限定理]设}{n ξ是独立同分布的随机变量序列，且2,σξμξ==i i D E （0>σ）， ,2,1=i ，均存在，则R x ∈∀，有)(21lim 212x dt e x n n P x t n i i n Φ=π=⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧≤σμ-ξ⎰∑∞--=∞→ 证：（略）该定理也可改写为：对b a <∀，有)()(}{lim 1a b b n n a P ni in Φ-Φ=≤σμ-ξ<∑=∞→6在一般情况下，很难求出n 个随机变量之和1ni i ξ=∑的分布函数，该定理表明：当n 充分大时，可以通过()x Φ给出其近似分布，这样就可以利用正态分布对1ni i ξ=∑作理论分析或作实际计算，其好处是明显的。

二、定理2（De Moivre-Laplace 极限定理）(定理1的特殊情形) 设(1,2,)n n μ=是n 重Bernoulli 试验中成功的次数，已知每次试验成功的概率为()10<<p p ，则对,R x ∈∀有()22lim }xn tnpP x dt x eμ--∞→∞-≤==Φ。

该定理也可改写为：b a <∀，有()()lim {}n P a b b a →∞<≤=Φ-Φ证明： 令⎩⎨⎧=ξ次试验不出现成功第次试验出现成功第i i i 01 则}{i ξ为独立同分布的随机变量序列,且,(1)i i E p D p p ξ=ξ=-均存在显然：1nn i i μξ==∑，此时n npμζ-=该定理为上定理的一个特殊情形，故由上定理该定理得证。

中心极限定理表明：在相当一般的条件下，当独立随机变量的个数增加时，其和的分布趋于正态分布。

因此，只要和式中加项的个数充分大，就可以不必考虑和式中的随机变量服从什么分布，都可以用正态分布来近似，这在应用上是有效的和重要的。

作为以上两个定理的应用，我们给出下面例子：例1：一加法器同时收到20个噪声电压)20,,2,1( =k V k ，设它们是相互独立的随机变量，且都在区间（0，10）上服从均匀分布。

记∑==201k k V V ，求)105(>V P 的近似值。

解：)20,,2,1(12100)(,5)( ===k V D V E k k ，由定理1，得 )105(>V P )20)1210(52010520)1210(520(⨯->⨯-=V P7)387.020)1210(100(>-=V P)387.020)1210(100(1≤--=V P)387.0(1Φ-≈ 348.0=即有 )105(>V P 348.0≈例2:一船舶在某海区航行，已知每遭受一次波浪的冲击，纵摇角大于 3的概率为31=p ，若船舶遭受了90000次波浪冲击，问其中有30500~29500次纵摇角大于 3的概率是多少？解：设}3{ 纵摇角大于=A ，1)(==p A P ，的次数发生次波浪冲击中表示在 A 90000X 。

则），（3190000B ~X ，由定理2得）（）〈（)1(30500)1(X )1(29500P 30500X 29500P p np np p np np p np np --≤--<--=≤))311(3190000319000030500)311(31900003190000X )311(3190000319000029500(-⨯⨯-≤-⨯⨯-<-⨯⨯-=P )225()225(-Φ-Φ≈995.0=。