极限定理

在概率论中，用来阐明大量平均结果稳定 性的一系列定理统称为大数定律。为证明 一系列大数定律的定理，下面给出一个重 要且有用的不等式。 1、切比雪夫不等式 设随机变量 X 有数学期望 E(X)和方差 D(X)，则对于任意给定的正数 ε > 0 ,总成 立不等式
P( X − E( X ) < ε ) ≥ 1−
当n 无限增大时，
⎛1 D (Y n ) = D ⎜ ⎜n ⎝
∑
n
穷小量。即当n充分大时， Y n
1 = n
i =1
∑
n
⎞ Xi⎟ ⎟ 是一个无 ⎠
i=1
X 的分布 i
的分散程度是很小的。这表明，经过算术平均 后的 Yn 的值，将比较紧密地集中在其数学期望 值 E (Yn ) 附近。即说明算术平均值具有稳定性。
ε > 0, 都有 limP( Yn − a < ε ) =1.
n→∞
则称随机变量序列 Y1 , Y2 ,⋅ ⋅ ⋅, Yn ,⋅ ⋅ ⋅ 依概率收敛 于a。
定理 1 表明，当 n 很大时，随机变量 n 1 X 1 , X 2 ,⋅ ⋅ ⋅, X n ,⋅ ⋅ ⋅ 的算术平均 ∑ X i 接近于 n i =1 数学期望 E ( X i ) = μ (i = 1,2,⋅ ⋅ ⋅, n ). 这种接近是 概率意义下的接近。 在定理 1 的条件下，n 个随机变量的算术 平均，当 n 无限增加时将几乎变成一个常 数了。
或
P( X − E (X ) ≥ ε ) ≤
D( X )
ε
2
.
D(X )
ε2
此不等式称为切比雪夫不等式。 由切比雪夫不等式可以看出，若方差 D( X ) 越小，则概率 P ( X − E ( X ) < ε ) 越大，表明
概率 P( X − E ( X ) < ε ) 越小，表明随机变量 X 取
随机变量 X 取值越集中；反之，方差 D( X ) 越大
定理1 （同分布的中心极限定理）设随机 变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n ,⋅ ⋅ ⋅ 相互独立，服从同一分布 并且具有有限的数学期望和方差， E ( X i ) = μ ,
D( X i ) = σ ≠ 0 (i = 1,2,⋅ ⋅ ⋅).
2
Yn =
则随机变量
∑X
i =1
n
i
− nμ
1 1.33 − t2 = e dt ∫ −1.33 2π = Φ (1.33 ) − Φ (− 1.33 ) = 0.8164 .
2
等式表明，当 n → ∞ , 时，这个事件的概率趋 于 1，即对于任意正数 ε > 0, 当 n 充分大时， 不等式 Y n − μ < ε ⋅ 依概率收敛于 μ 。
一般地，设 Y1 , Y2 ,⋅ ⋅ ⋅, Yn ,⋅ ⋅ ⋅ 为一个随机 变量序列， a 是一个常数，若对于任意正数
t2 − 2
(3)
综上述，通俗的说，大量随机变量的平均 值已不具有显著的随机性，而是必然接近 某个常数，这是自然界一类随机现象隐含 的最重要的规律之一；另一规律是，尽管 个别随机变量的分布函数可能各式各样， 但大量相互独立的随机变量和的分布不再 是任意的，而是服从正态分布。
例1 在每组射击中，命中目标的炮弹数 的数学期望为 2 ，均方差为1.5，求在 100 组射击中由 180 到 220 发炮弹命中目标的 概率。 解 设 X i 表示第 i 组命中目标的炮弹数 2 ( ) ( ) i = 1,2,⋅ ⋅ ⋅,100. 由题设 E X i = 2, D X i = 1.5 . 则 Y100 =
定理2（德莫佛—拉普拉斯定理）设随机 变量Yn (n = 1,2,⋅ ⋅ ⋅ ) 服从参数为 n, p(0 < p < 1) 的 二项分布，则对于任意区间 (a, b] 恒有
⎫ ⎧ Yn − nP ⎪ b 1 ⎪ limP⎨a < e dt. ≤ b⎬ = ∫ a n→∞ ⎪ ( ) np 1 p 2π − ⎪ ⎭ ⎩
第七章 极限定理
以大数定理和中心极限定理为核心 的极限定理是概率论的基本理论之 一，它们在概率论与数理统计的理 论研究与应用中都具有十分重要的 意义，本章将起到承上启下的重要 作用。
一 大数定律
在前面我们已经提到过事件发生的频率 具有稳定性，即随着试验次数的增多，事件 发生的频率逐渐稳定于某个常数。这就充分 说明事件的概率是客观存在的。频率的稳定 性，便是这一客观存在的反映。 人们还认识到大量测量值的算术平均值也具 有稳定性。这种稳定性就是本节所要讨论的 大数定律的客观背景。
nσ
的分布函数F ( x )对任意的x，满足
n
⎫ ⎧ n X i − nμ t2 ∑ ⎪ ⎪ ⎪ x 1 −2 ⎪ i =1 lim Fn ( x ) = lim P ⎨ e dt. ≤ x⎬ = ∫ −∞ n →∞ n →∞ n 2π σ ⎪ ⎪ ⎪ ⎪ ⎭ ⎩
在很多问题中，所考虑的随机变量，都可 表示成若干独立的随机变量之和。它们往往近 似地服从正态分布。在后面将学的数理统计 中，我们会看到，中心极限定理是大样本统计 推断的理论基础。
值较分散。由此，我们可以更进一步理解 方差的概率含义。 2、大数定律 定理1 （切比雪夫定理的特殊情况）设 随机变量 X 1 , X 2 ,⋅ ⋅ ⋅ X n ,⋅ ⋅ ⋅ 相互独立，且具有 相同的有限数学期望和方差： E ( X i ) = μ ,
D( X i ) = σ (i = 1,2,⋅ ⋅ ⋅ ) 。作前 n 个随机变量
2
的算术平均，记为 Yn ,
1 n 即Yn = ∑ X i , 则对于任意正数 ε > 0, 恒有 n i =1
⎛ 1 n ⎞ ⎟ lim P ( Yn − μ < ε ) = lim P ⎜ X μ ε =1 − < ∑ i ⎜ ⎟ n→∞ n→∞ ⎝ n i =1 ⎠
式中，
{Y
n
− μ < ε } 是一个随机事件，
∑X
i =1
100
i
− 200 =
∑X
i =1
100
i
− 200
近似
100 ×1.5
15
~ N (0, 1)
⎛ P ⎜ 180 ≤ ⎝
∑
100
X
i =1
i
⎞ ≤ 220 ⎟ ⎠
100 ⎛ ⎞ − 200 X ⎜ ⎟ ∑ i − − 180 200 220 200 ⎟ = P⎜ ≤ i =1 ≤ ⎜ ⎟ 15 15 15 ⎜ ⎟ ⎝ ⎠ = P (− 1.33 ≤ Y100 ≤ 1.33 )
（c为常数，i=1，2，… ）作前 n 个随机
1 ⎛1 ⎞ limP⎜ ∑ X − ∑ E( X ) < ε ⎟ = 1. n ⎝n ⎠
n n n→∞ i =1 i i =1 i
2 ( ) 定理 2 中要求方差 D X i = σ ≤ c （c为常数， i=1，2，… ），即 D ( X i ) 是一致有界的。因此，
定理3 （贝努里定理）设在 n 次独立试 验中事件 A 发生的次数为 n A ，在每次试验 中事件 A 发生的概率为 p，则对于任意给定 的正数ε＞0 ，恒有 ⎛ nA ⎞ lim P ⎜ − p <ε⎟ =1 ⎜ ⎟ n→ ∞ ⎝ n ⎠ 或 ⎛ nA ⎞ lim P ⎜ − p ≥ε⎟ = 0. ⎜ ⎟ n→ ∞ ⎝ n ⎠
贝努里定理是切比雪夫定理的特例，它从 理论上证明了频率的稳定性。只要试验次数 n
nA 足够大，事件 A 出现的频率 与事件 A 的概 n
率 p 有较大偏差的可能性很小。因此在实践中， 当试验次数较大时，便可以用事件发生的频率 来代替事件发生的概率。
三 中心极限定理
在客观实际中有许多随机变量，它们是由 大量相互独立的随机因素的综合效应所形成的， 而其中的每一个单个因素在总的效应中所起的 作用都是微小的。这类随机变量往往近似地服 从正态分布。在概率论中，论证随机变量和的 极限分布是正态分布的一系列定理统称为中心 极限定理。下面介绍常用的二个中心极限定理。
定理2（切比雪夫定理）设随机变量X1， X2，…，X n，… ， 相互独立，并且具有 有限的数 2 ( ) E X = μ i , ( ) i D X = σ ≤c 学期望和方差： i i
1 n 变量的算术平均，记为 Yn , 即 Yn = ∑ X i n i =1 则对于任意正数 ε > 0, 恒有