大数定律及中心极限定理.ppt

高斯在研究误差理论时已经用到正态分布，以炮弹射击误
差为例，设靶心是坐标原点，多次射击的结 Y
果，炮弹弹着点为(X,Y)，它是二维随机变 量，都认为它服从正态分布，它的每一 个
M (X,Y)
y
分量X和Y服从正态分布，这到底为什么？ 要搞清误差是怎样？
一般来说，如果某个随机变量是由大量相互独立的随机因 素综合影响形成的，而其中每一项因素对总和的影响是“均 匀微小的”，那么可以断定这个随机变量服从或近似服从正 态分布中心极限定理是用极严格的数学推导来论证这一事 实。下面介绍中心极限定理的基本形式。
二、两个中心极限定理
定理3（同分布的中心极限定理）设随机变量X1, X2, …,X n…独立同分布,且E(Xk)= ,D(Xk)=2≠0，
n n
引人随机变量
Xk
1，在第k次试验中A发生 0，在第k次试验中A不发生, k
1，2，, n
n
因而 n
X
，
k
k 1
X
1，X
，
2
X
n
相互独立均服从两点分布，
EXk p，DXk p1 p，
由切比雪夫大数定律，有
1
lim
n
P
|
n
n
Xk
k 1
p
|
l i m P | n
n n
p | 1
X = X1 + X2 + X3 + X4 + ······
而且这些小误差可以看成彼此相互是独立的，因此要讨论 X的分布，就要讨论独立随机变量和的分布问题，中心极限 定理就是研究在什么条件下独立随机变量序列和的极限分布 服从正态分布的一系列定理的总称。由于正态分布在概率论 理论和应用中占有中心地位，因此这些定理称为中心极限定 理。
（1）定理2说明当重复试验的次数无限增大时，事件A发 生的频率依概率收敛于A的概率，即
n p n
（2）在实际应用中，当试验次数很大时，便可以用事件发 生的频率代替事件发生的概率，即
n p n
二、中心极限定理
1、实际背景
正态分布在概率统计中占有重要的地位与作用，许多随机
变量会遵循正态分布其理论依据是什么？
点分布，则X
1，X
，
2
,
X
n
是独
立同分布的随机变量序列。
(2). 依概率收敛定义
设X1 , X 2，, Xn 是一个随机变量序列， a是一常数，对任意正数 , 有
lim
n
P (|
X
n
a |
)
1
则称序列X1，X 2，，Xn 依概率收敛于a。
记作 Xn P a
Xn P a
lim P(|
n
Xn
a |
)
2、两个重要慨念
(1). 独立同分布定义
若随机变量X1, X2, …, Xn…是相互独立，若对所 有Xi (i=1，2，…)有相同的分布，则称X1, X2, …, X n…是独立同分布的随机变量序列.
例1. 不改变条件,连续抛掷硬币,
令随机变量
1, 第k次出现正面 XK 0，第k次出现反面
X1，X2，, Xn 独立且都服从两
实验者 蒲丰
掷 硬 币 次 出现正面次数 频率 数
4040
2048
0.5069
皮尔逊 12000
6019
0.5016
皮尔逊 24000
12012
0.5005
任何随机试验，事件发生的频率随着试验次数的增多逐 渐稳定于某一常数——概率，为什么有这一规律？这是由于 大量试验过程中随机因素相互抵消相互补偿的结果。用极限 方法来研究大量独立随机试验的规律性的一系列定理，称为 大数定律。
这为寻求随机变量的期望值提供了切实可行办法：
1 n
n
Xk
k 1
E(Xk )
(3)
1 n
n
Xk
k 1
P
也就是当观察次数无限增多时，观察
结果的算术平均值几乎变成一个常数，不是随机的了。
定理2（贝努利大数定理）设n是n次独立试验 中事件A发生的次数，则对任意的正数有
lim P| n p | 1, 其中PA p
D n Xk
n
D(Xk ) n 2 n
k1
k 1
n
Yn即前n个随机变量和 Xk 标准化，当n→∞时，以标准 k 1
正态分布为极限。所以当 n 充分大时，可以以标准正态分布
作为它的近似分布。这就是正态分布在概率论中占有重要地
位的一个基本原因。
（2）在很多问题中，所考虑的随机变量都可以看成很多独立 的随机变量之和，(这些随机变量并不一定同分布）只 要满足一定的条件，它们也以正态分布为极限。例如在 任一指定时刻一个城市的耗电量是大量用户耗电量的总 和，一个物理实验的测量误差是由许多观察不到的可加 的微小误差的合成，它们往往近似地服从正态分布。
§3.4 大数定律及中心 极限定理
一、大数定律
1、实际背景
随机事件在一次试验中，可能发生，也可能不发生，具有很 大的偶然性，但是大量的重复试验，则呈现某种规律性。如掷一 枚硬币，观察出现正面，还是反面。掷一次谁也无法预言是出现 正面，还是反面。但是大量重复抛掷，则出现正与反面的可能性 均是1/2，这就是事件频率的稳定性。
以横坐标总误差X为例，即使炮身在瞄准后不再改变， 那么每次射击后，它也会因震动而产生微小的偏差X1； 每发炮弹外型细小差别而引起空气阻力不同，而出现误差X2； 每发炮弹内的炸药的数量和质量的微小差别而引起的误差X3； 炮弹前进中遇到空气流的的微小扰动而造成弹着点的误差X4； 等许多原因。 每种原因引起的误差，有时为正，有时为负，都是随机的， 而弹着点的总误差X就是这许多随机误差的总和，即
k=1,2,…则对任意实数 x有
n
Xk
n
lim P k1`
x
x
n
n
1
t2
e 2 dt
2
n
Xk n
(1) 令Yn k1 n 的分布函数Fn x，那么
lim
n
F（n x）
lim
n
P(Yn
x)
x
1
t2
e 2 dt (x)
2
E n Xk n E(Xk ) n, k1 k1
则对任意正数 , 有
lim
n
P |
1 n
n
Xk
k 1
| 1
或
lim
n
P |
1 n
n
Xk
k 1
| 0
以上定律可简写成
X
1 n
n
XK
k 1
P
（1）以上定律可简写为
1 n
n
Xk
k 1
P
（2）
1 n
n
k 1
X
k
是前n个随机变量的算术平均值，定理1说明
算术平均值以概率几乎是1接近于期望值。
1
依概率收敛是指当n无限增大时，事件（|Xn-a| <ε）发生
的概率无限接近于1。
| Xn a | a Xn a
Xn
a a a
或Xn落在（a - ε，a + ε ）的概率无限接近于1。
二、两个大数定理
定理1 ( 切比雪夫大数定律 ) 设X1,X2,…,Xn…是一
个随机变量序列, 且E(Xk)= ,D(Xk)=2 (k=1,2,…）