讲大数定律及中心极限定理

第十四讲 大数定律及中心极限定理 1.依概率收敛

与微积分学中的收敛性的概念类似, 在概率论中, 我们要考虑随机变量序列的收敛性. 定义1 设ΛΛ,,,,21n X X X 是一个随机变量序列, a 为一个常数,若对于任意给定的正数ε,有 ,1}|{|lim =<-∞

→εa X P n n 则称序列

ΛΛ,,,,21n X X X 依概率收敛于a , 记为

).(∞→−→−n a X P

n

定理1 设,,b Y a X P

n P n −→−−→−

又设函数),(y x g 在点),(b a 连续, 则

),(),(b a g Y X g P

n n −→−.

2. 切比雪夫不等式(以前讲过)

设随机变量X 有期望μ=)(X E 和方差

2)(σ=X D ,则对于任给0>ε, 有

22

}|{|ε

σεμ≤≥-X P .

上述不等式称切比雪夫不等式.

3. 大数定理

定理1 (切比雪夫大数定律)设

ΛΛ,,,,21n X X X ,相互独立，且具有相同的数学

期望和方差:

μ=)(k X E ,2)(σ=k X D ),2,1(Λ=k 。

做前n 个随机变量的算术平均

∑==n

i i X n X 1

1

第五章 大数定律及中心极

限定理

§1 大数定律

在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。 下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。

事件的频率稳定于概率，能否有p n

n

n =∞

→μlim

，答案是否定

的。而是用0}{

→≥-εμp n

P n

)(∞→n [依概率收敛]来刻画

（弱）。或者用{}1n n P p n

→∞

μ−−−→=

[a.e.收敛] 来刻画（强）。

则对任意正数ε, 有 {}

1)(11lim lim 11=⎭⎬⎫⎩⎨⎧<-=<-∑∑==∞→∞

→εε

μn

i i n i i n n X E n X n P X P 或者说，

序列∑==n

i i X n X 1

1以概率收敛于μ，

即.μP

X →

定理表明: 当n 很大时,随机变量序列}

{n X 的算术平均值∑=n

i i X n 11依概率收敛于其数学

期望∑=n

i i X E n 1

)(1.

定理2 (伯努利大数定律)设A n 是n 重伯努利试验中事件A 发生的次数, p 是事件A 在每次试验中发生的概率, 则对任意的0>ε, 有

1lim =⎭

⎬⎫

⎩⎨⎧<-∞→εp n n P A n 或 0lim =⎭

⎬⎫

⎩⎨⎧≥-→∞

εp n n P A n .

定理3 (辛钦大数定律) 设随机变量

ΛΛ,,,,21n X X X 相互独立, 服从同一分布,且

具有数学期望,,2,1,)(Λ==i X E i μ 则对任意

0>ε, 有

11lim 1=⎭

⎬⎫

⎩⎨⎧<-∑=∞

→εμn i i n X n P . 注: (i) 定理不要求随机变量的方差存在;

注：(i) 伯努利大数定律是定理1的推论的一种特例, 它表明: 当重复试验次数n 充分大时, 事件A 发生的频率

n

n A

依概率收敛于事件A 发生的概率p .定理以严格的数学形式表达了频率的稳定性. 在实际应用中, 当试验次数很大时,便可以用事件发生的频率来近似代替事件的概率.

(ii) 如果事件A 的概率很小，则由伯努利大数定律知事件A 发生的频率也是很小的，或者说事件A 很少发生. 即“概率很小的随机事件在个别试验中几乎不会发生”，这一原理称为小概率原理，它的实际应用很广泛. 但应注意到，小概率事件与不可能事件是有区别的. 在多次试验中，小概率事件也可能发生.

(ii) 伯努利大数定律是辛钦大数定律的特殊情况;

(iii) 辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径. 例如, 要估计某地区的平均亩产量, 可收割某些有代表性的地块, 如n 块,计算其平均亩产量, 则当n 较大时,可用它作为整个地区平均亩产量的一个估计. 此类做法在实际应用中具有重要意义.

4. 中心极限定理

中心极限定理回答了大量独立随机变量和的近似分布问题, 其结论表明: 当一个量受许多随机因素(主导因素除外) 的共同影响而随机取值, 则它的分布就近似服从正态分布.

定理4 (独立同分布的中心极限定理)

（林德伯格—勒维定理） 设ΛΛ,,,,21n X X X 相互独立，服从同一分布, 且具有数学期望和方差：,)(μ=i X E

,)(2σ=i X D ΛΛ,,,2,1n i =, 则随机变量之

和∑=n

i i X 1

的标准化变量

n

n X X D X E X Y n

i i n i i n i i n

i i n σμ

∑∑∑∑====-=⎪⎭

⎫ ⎝⎛⎪

⎭⎫ ⎝⎛-=1

111

的分布

函数)(x F n 对于任意x 满足

在实际问题中, 许多随机现象是由大量相互独立的随机因素综合影响所形成, 其中每一个因素在总的影响中所起的作用是微小的. 这类随机变量一般都服从或近似服从正态分布. 以一门大炮的射程为例, 影响大炮的射程的随机因素包括: 大炮炮身结构的制造导致的误差, 炮弹及炮弹内炸药在质量上的误差, 瞄准时的误差, 受风速、风向的干扰而造成的误差等. 其中每一种误差造成的影响在总的影响中所起的作用是微小的, 并且可以看成是相互独立的, 人们关心的是这众多误差因素对大炮射程所造成的总影响. 因此需要讨论大量独立随机变量和的问题.