浙大概率论与数理统计课件 第五章大数定律与中心极限定理

2、 定理以数学形式证明了随机变量X 1 , X n 1 n 的算术平均X X i 接近数学期望E（X k） n i 1 （k 1,2, n），这种接近说明其具有的稳定性 .
这种稳定性的含义说明算术平均值是依概率 收敛的意义下逼近某一常数 .
3、定理的另一种叙述方式：
数学期望EX 1 , EX 2 , 及方差DX 1 , DX 2 , 并且对于所有 的i 1,2, 都有DX i l , 其中l是与i无关的常数, 则任给 0，有 lim P{| 1 n X 1 n EX | } 1 i n i n n i 1 i 1
n 近似地
X ~ N ( , n) 或 1 n 其中X X k n k 1
2
近似地
X 近似地 ~ N (0,1) n
n
3、虽然在一般情况下，我们很难求出 X k 的分 布的确切形式，但当n很大时，可以求出近似分布.
k 1
2、定理五（李雅普诺夫(Liapounov)定理)
第五章、大数定律与中心极限定理
第一节：大数定律 第二节：中心极限定理
第一节
大数定律
大数定律的背景及概念 依概率收敛定义及性质 三个大数定律 小结
一、大数定律的背景和概念
1、大数定律的客观背景
事件发生的频率稳定于某一常数 大量随机试验中 测量值的算术平均值具有稳定性
例1、掷一颗均匀正六面体的骰子，出现1点的概率是1/6。 但掷的次数少时，出现1点的频率可能与1/6相差较大，但 掷次数很多时，出现1点的频率接近1/6几乎是必然的。 例2、测量一个长度a，一次测量的结果不见得就等于a， 量了若干次，其算术平均值仍不见得等于a,但当测量的 次数很多时，算术平均值接近于a几乎是必然的。
切贝谢夫大数定律是1866年被俄国数学家切比雪 夫所证明，它是关于大数定律的一个相当普遍的结论，很多大 数定律的古典结果是它的特例。
2、定理二（贝努里大数定律）
设 nA 是n次独立重复试验中事件A发生的次数， p是事件A在每次试验中发生的概率，则对于任意正 数ε> 0 ，有
或
nA lim P{| p | } 1 n n nA lim P{| p | } 0 n n
由于E ( X k ) p, D( X k ) p(1 p) k 1,2,, n)，
设随机变量X 1，X 2 ,, X n , 相互独立，且具 有相同的数学期望和方差：E ( X k ) , D( X k ) 2 1 n ( k 1,2,)，则序列X X k 依概率收敛于，即 n k 1 X P .
（切贝谢夫定理） 设X 1 , X 2 , X n ,是相互独立的随机变量序列，各有
由定理一有
n
lim P{|
1
X n
i 1
n
i
p | } 1 ,
即
nA lim P{| p | } 1 。 n n
贝努里大数定律的重要意义： (1)从理论上证明了频率具有稳定性。 （2)提供了通过试验来确定事件概率的方法:
nA p P(A) n
这种方法是参数估计的重要理论基础。 （3）是“小概率原理”的理论基础。 小概率原理：实际中概率很小的随机事件在个 别试验中几乎是不可能发生的。
请注意 :
X n 依概率收敛于a，意味着对任意给定的 0，
当n充分大时，事件 X n a 的概率很大，接近于1； 并不排除事件 X n a 的发生，而只是说他发生的 可能性很小.
依概率收敛比高等数学中的普通意义下的收敛 弱些，它具有某种不确定性 .
三、大数定律
1、定理一（切比雪夫定理的特殊情况）
二、中心极限定理定义 概率论中有关论证独立随机变量的和的极限分布 是正态分布的一系列定理称为中心极限定理。 由于无穷个随机变量之和可能趋于∞，故我们 不研究n个随机变量之和本身而考虑它的标准化的随 机变量，即：
Yn
k 1
X k E( X k )
k 1
n
n
D( X k )
k 1
2
E X k k
n

0
则随机变量之和 X k的标准化变量：
Zn
k 1
X k E( X k )
k 1
n
n
D( X k )
k 1
n

k 1
X k k
k 1
n
n
Bn
的分布函数Fn ( x )对于任意x，满足
n n X k 1 k k 1 k lim Fn ( x ) lim P x n n Bn 1 - t 2 2 ( x ) x - e dt 2
1 n 2 n P Xk 1 2 n k 1 上式中令 n 得
1 n lim P {| X i | } 1 n n i 1
说明
1 n 1、定理中{| X i | }是指一个随机事件， n i 1 当n 时，这个事件的概率趋于1.
nA ~ b( n, p)
E( X k ) 2 D( X k )
E( X k )
大数定律以严格的数学形式表达了随机现 象最根本的性质之一： 平均结果的稳定性
第二节
中心极限定理
中心极限定理的背景
中心极限定理的定义
中心极限定理
小结
一、中心极限定理的客观背景
在实际问题中许多随机变量是由相互独立随机因素的 综合（或和)影响所形成的. 例如：炮弹射击的落点与目标的偏差，就受着许多随机因素 （如瞄准，空气阻力，炮弹或炮身结构等）综合影响的.每 个随机因素的对弹着点（随机变量和）所起的作用都是很小 的.那么弹着点服从怎样分布 ？ 如果一个随机变量是由大量相互独立的随机因素的综 合影响所造成，而每一个别因素对这种综合影响中所起的作 用不大. 则这种随机变量一般都服从或近似服从正态分布.
下面给出的独立同分布下的大数定律， 不要求随机变量的方差存在. 3、定理三（辛钦大数定律）
设随机变量序列X1,X2, … 相互独立，服从同一 分布，具有数学期E(Xi)=μ, i=1,2,…， 则对于任意
正数ε ，有
1 n lim P{| X i | } 1 n n i 1
设随机变量X 1 , X 2 ,, X n 相互独立，它们具 有数学期望和方差： E ( X k ) k , D( X k ) k , ( k 1,2,)
2
记
Bn k
2 k 1
n
2
若存在正数，使得当n 时， 1 Bn
n k 1
2 k 1
李雅普诺夫 条件
dt ( x )
证 由第四章知识知可将n分解成为n个相互独立、
服从同一(0 1)分布的诸随机变量X 1 , X 2 , X n之和，
即有
n X k
k 1
n
其中X k ( k 1,2,, n)的分布律为 PX k i p i (1 p)1 i , i 0,1
此定理说明了频率的稳定性。
0，在第k次试验中A不发生 ，k 1,2,, n 证：令 X k 1，在第k次试验中A发生
则 nA X k ，且 X 1 ,, X n 相互独立同服从于(0 1) 分布
k 1
n
故 EX k p， DX k p (1 p )， k 1,2, , n,
k 1 n
似服从正态分布，这就是为什么正态分布在概率论 中所占的重要地位的一个基本原因.
3、定理六(棣莫佛－拉普拉斯（De Laplace定理）
设随机变量 n(n=1,2,‥‥)服从参数n,p(0<p<1) 的二项分布，则对任意x，有
x 1 n np e lim P{ x } n 2 np(1 p) t2 2
Yn
n
2
X
k 1
n
k
E( X k )
k 1 n
n

X
k 1
n
k 1
k
nμ
D( X k )
k 1
nσ
的分布函数Fn ( x )对于任意x满足
n X n i 1 i x lim Fn ( x ) lim P x - n n n
一个常数 .若对于任意正数，有
lim P{| Yn a | } 1
n
则称序列Y1 ,Y2 ,Yn ,依概率收敛于a .记为 Yn a .
P
性质
设X n P a，Yn P b, 又设函数g( x , y )在
P
点(a , b)连续，则g( X n ,Yn ) g(a , b).
n
讨论Yn的极限分布是否为标准 正态分布
三、中心极限定理
1、定理四（独立同分布下的中心极限定理）
设随机变量X 1 , X 2 , X n , 相互独立，服从同一分 布，且具有数学期望和方差 : E ( X k ) , D( X k ) ( k 1,2,)，则随机变量之和 X k的标准化变量
请注意 : n 1、定理中随机变量之和 X k 及其标准化变量
k 1
Z n 在n很大时, 分别近似服从
k 1
X k ~ N ( k , Bn ) ;
2 k 1
n
近似地
n
近似地
Z n ~ N (0,1)
2、随机变量X k 无论服从什么分布，只要满足 定理条件，随即变量之和 X k，当n很大时，就近
证
由于
1 n 1 1 n E X k E ( X k ) n n k 1 n k 1 n