(公)大数定律

第六章 极限定理 切贝雪夫不等式 大数定律 中心极限定理
本章要解决的问题 1. 为何能以某事件发生的频率 作为该事件的 概率的估计？ 2. 为何能以样本均值作为总体 期望的估计？ 3. 为何正态分布在概率论中占 有极其重要的地位？ 4. 大样本统计推断的理论基础 是什么？
答复 大数 定律
中心极 限定理
t Yn −np − x 1 limP ≤ x = ∫ e 2 dt −∞ n→ ∞ 2π np(1− p) 1−
2
定理表明， 很大， 定理表明，当n很大，0<p<1是一个定值 很大 是一个定值 或者说， 也不太小时），二项变 时（或者说，np(1-p)也不太小时），二项变 也不太小时），二项 量 Y 的分布近似正态分布 N(np,np(1-p)). n
概率论与数理统计是研究随机现象统计 规律性的学科. 规律性的学科 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 也就是说， 来. 也就是说，要从随机现象中去寻求必然 的法则，应该研究大量随机现象. 的法则，应该研究大量随机现象
研究大量的随机现象， 研究大量的随机现象，常常采用极限 形式，由此导致对极限定理进行研究. 形式，由此导致对极限定理进行研究 极 限定理的内容很广泛， 限定理的内容很广泛，其中最重要的有两 种: 大数定律 与 中心极限定理 下面我们先从切贝雪夫不等式开始
1 lim P{| ∑Xi −µ |< ε} =1 n→ ∞ n i=1
n
贝努里
定理3 贝努里大数定律） 定理3（贝努里大数定律） 设 Xn 是 n 重贝努里试验中事件 A 发生的次数， 是事件A发生的概率 发生的概率， 发生的次数，p 是事件 发生的概率， 则对任给的ε> 0
Xn lim P {| − p |< ε} =1 n→ ∞ n
∑X ，而这个总和服从
k k
或近似服从正态分布.
中心极限定理的客观背景
在实际问题中， 在实际问题中，常常需要考虑许多随机 因素所产生总影响. 因素所产生总影响
例如：炮弹射击的落点与目标的偏差， 例如：炮弹射击的落点与目标的偏差，就受 着许多随机因素的影响. 着许多随机因素的影响
如：瞄准时的误差， 瞄准时的误差， 空气阻力所产生的误差， 空气阻力所产生的误差， 炮弹或炮身结构所引起的误差等等. 炮弹或炮身结构所引起的误差等等 对我们来说重要的是那些随机因素的总影响. 对我们来说重要的是那些随机因素的总影响
28800−28500 19000−28500 ≈ Φ −Φ 47500 47500
≈Φ(1.376) −Φ(− 43.589)
≈ 0.9162
例3 某车间有200台车床，每台独立工作， 开工率为0.6. 开工时每台耗电量为 r 千瓦. 问供 电所至少要供给这个车间多少电力, 才能以 99.9% 的概率保证这个车间不会因 供电不足而影响生产？ 解 设至少要供给这个车间 a 千瓦的电力， X 为开工的车床数 , 则 X ~ B(200,0.6) ,
Xk P
10 0.5
20 0.5
E(Xk ) =15, D(Xk ) = 25
X1, X2,⋯ X1900 相互独立同分布, X = ∑Xk ,
k= 1 1900
E(X) =1900×15 = 28500 D(X) =1900×25 = 47500
近 似
X ~ N(28500,47500)
P(10×1900 ≤ X ≤ 3600×8) = p(19000 ≤ X ≤ 28800)
E ( X ) = np = 7000, D ( X ) = npq = 2100.
由切贝雪夫不等式可得: 由切贝雪夫不等式可得
P {6 8 0 0 < X < 7 2 0 0} 2100 = P { | X − 7 0 0 0 |< 2 0 0} ≥ 1 − ≈ 0 .9 5． 2 200
大数定律的客观背景 Large Number Law 大量的随机现象中平均结果的稳定性
对此现象还 可举个有趣 的例子—— 高尔顿钉板 试验—— 加 以说明.
n N(0, ) 4
⋯ ⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯
−3
0 3
n—
钉子层数
自从高斯指出测量误差服从正 态分布之后，人们发现， 态分布之后，人们发现，正态分布 在自然界中极为常见. 在自然界中极为常见 观察表明，如果一个变量是由大量相互 观察表明， 独立的随机因素的影响所造成， 独立的随机因素的影响所造成，而每一个因 素在总影响中所起的作用不大. 素在总影响中所起的作用不大 则这种变量 一般都服从或近似服从正态分布. 一般都服从或近似服从正态分布
E(Xk ) = 2, D(Xk ) =1.52, k =1 2,⋯100 , ,
X1, X2,⋯ X100 相互独立， ,
设 X 表示100次轰击命中的炮弹数, 则
X = ∑Xk , E(X) = 200, D(X) = 225,
k= 1
100
由独立同分布中心极限定理, 有
X ~ N(200,225)
贝努里大数定律的意义
在概率的统计定义中, 事件 A 发生的频率
nA n “ 稳定于”事件 A 在一次试验中发生
的概率。即：
nA nA 频率 与 p 有较大偏差 − p ≥ ε 是 n n
小概率事件, 因而在 n 足够大时, 可以用频 率近似代替 p . 这种稳定称为依概率稳定.
定理1 独立同分布下的中心极限定理） 定理1（独立同分布下的中心极限定理） 序列， 变量 序列，且E(Xi)= µ，D(Xi)= i=1,2,…，则 ，
n ∑Xi − nµ i =1 limP ≤ x = 2 n→∞ n σ n n ∑Xi −nµ i =1 ~ N(0,1) σ n 2 i =1
设X1,X2, …是独立同分布的随机 是独立同分布的随机
σ
2 ，
∫
x
1 2π
-∞
e
-t2 2
dt
∑X
i
~ N (nµ , nσ )
2
定理2 德莫佛-拉普拉斯定理） 定理2 (德莫佛-拉普拉斯定理） 设随机变量 Yn服从参数 n, p(0<p<1)的 ( ) 二项分布， 二项分布，则对任意 x，有 ，
n
辛钦
定理的意义
具有相同数学期望和方差的独立 r.v.序 列的算术平均值依概率收敛于数学期望. 当 n 足够大时, 算术平均值几乎是一常数.
数学 算术 可被 近似代替 期望 均值
例如要估计某地区的平均亩产量， 例如要估计某地区的平均亩产量，要 收割某些有代表性的地块，例如 n 块. 计 收割某些有代表性的地块， 算其平均亩产量， 较大时， 算其平均亩产量，则当 n 较大时，可用它 作为整个地区平均亩产量的一个估计. 作为整个地区平均亩产量的一个估计
平均结果的稳定性
它是随机现象统计规律的具体表现. 它是随机现象统计规律的具体表现 大数定律在理论和实际中都有广泛的应用. 大数定律在理论和实际中都有广泛的应用
中心极限定理
前面曾讲过有许多随机现象服从 正态分布 是由于许多彼次没有什么相依关 系、对随机现象谁也不能起突出影响，而 均匀地起到微小作用的随机因素共同作用 (即这些因素的叠加)的结果. 若联系于此随机现象的随机变量为X ， 则它可被看成为许多相互独立的起微小作 用的因素Xk的总和
1. 切贝雪夫不等式
P{| X − E ( X ) |≥ ε } ≤ D( X )
ε2
D( X )
2.不等式的其它(等价) 2.不等式的其它(等价)形式 不等式的其它
(1) P{| X − E ( X ) |< ε } ≥ 1 −
ε
2
X − E( X ) 1 (2) P ≥ε≤ 2 D( X ) ε
定理4（辛钦大数定律） 定理 （辛钦大数定律） 设随机变量序列X 设随机变量序列 1,X2, …独立同 独立同 分布，具有有限的数学期 分布，具有有限的数学期E(Xi)=µ, i=1,2,…， 则对任给ε >0 ， ，
1 lim P{| ∑Xi −µ |< ε} =1 n→ ∞ n i=1
辛钦大数定律为寻找随机变量的期 望值提供了一条实际可行的途径. 望值提供了一条实际可行的途径. 不要求随机变量的方差存在. 不要求随机变量的方差存在.
注 , 设 r.v.序列 X1, X2,⋯ Xn ,⋯相 互独立具有相同的分布，且
E(X ) = µk , i =1 2,⋯ ,
பைடு நூலகம்k i
则 ∀ε > 0 有
1 k limP ∑Xi − µk ≥ ε = 0 n→ ∞ n i=1
n
记
1 n k ∑Xi = Mk n i=1
则
M1 µ1 →
1 1 lim P{| ∑Xi − ∑E( Xi ) |< ε} =1 n→ ∞ n i=1 n i=1
n n
切比雪夫
变量
常数
定理2 独立同分布下的大数定律） 定理2（独立同分布下的大数定律） 设X1,X2, …是独立同分布的随机变量 是独立同分布的随机变量 序列，且E(Xi)=µ ，D(Xi)=σ 2， i=1,2,…, 序列， 则对任给 ε >0,
= 2[1 − Φ (3)] ≈ 0.0027
设电站供电网有10000盏电灯，夜晚每盏灯开灯 盏电灯， 例2 设电站供电网有 盏电灯 的概率均为0.7，假定灯的开、关是相互立的， 的概率均为 ，假定灯的开、关是相互立的，使用切 贝雪夫不等式估计夜晚同时开着的灯数在6800到7200盏 贝雪夫不等式估计夜晚同时开着的灯数在 到 盏 之间的概率。 之间的概率。 表示在夜晚同时开着的灯数目， 解 令X表示在夜晚同时开着的灯数目，则X服从 表示在夜晚同时开着的灯数目 服从 n=10000，p=0.7的二项分布，这时 ， 的二项分布， 的二项分布