第五章 大数定律和中心极限定理
合集下载
第五章大数定律及中心极限定理
求P{V>105}的近似值
解 E(Vk)=5, D(Vk)=100/12 (k=1,2,…,20).
20
Vk 20 5
Z k1
V 20 5
100/ 12 20 100/ 12 20
近似服从正态分布N(0,1),
P{V 105} P{ V 20 5 105 20 5 }
100/ 12 20 100/ 12 20
设随机变量 X1 , X2 ,…, X n 相互独立, 服从同一分
布 , 且 具 有 相 同 的 数 学 期 望 和 方 差 ， E(Xk) ,
D( Xk ) 2 0,(k 1,2,),则随机变量
n
n
n
Xk E( Xk ) Xk n
Yk k1
k 1 n
D( Xk )
k1
n
k 1
n k 1
Xk
|
}
1
说明
伯努利大数定理是辛钦定理的特殊情况。
n个随机变量的算术平均值以概率收敛于算术平
均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 用算术平均值作为所研究指标值的近似值。
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
(2.5) 0.9938
三 小结
1、独立同分布的中心极限定理
2.李雅普诺夫定理
3.棣莫佛－拉普拉斯定理
n
n
n
n
Xk E( Xk ) Xk k
Zn k1
k 1 n
D( Xk )
k1
k 1
Bn
k 1
近似服从标准正态分布N(0,1)。
解 E(Vk)=5, D(Vk)=100/12 (k=1,2,…,20).
20
Vk 20 5
Z k1
V 20 5
100/ 12 20 100/ 12 20
近似服从正态分布N(0,1),
P{V 105} P{ V 20 5 105 20 5 }
100/ 12 20 100/ 12 20
设随机变量 X1 , X2 ,…, X n 相互独立, 服从同一分
布 , 且 具 有 相 同 的 数 学 期 望 和 方 差 ， E(Xk) ,
D( Xk ) 2 0,(k 1,2,),则随机变量
n
n
n
Xk E( Xk ) Xk n
Yk k1
k 1 n
D( Xk )
k1
n
k 1
n k 1
Xk
|
}
1
说明
伯努利大数定理是辛钦定理的特殊情况。
n个随机变量的算术平均值以概率收敛于算术平
均值的数学期望。
三 小结
1、切比雪夫(Chebyshev)定理的特殊情况 用算术平均值作为所研究指标值的近似值。
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 n个随机变量的算术平均值以概率收敛于算术 平均值的数学期望。
(2.5) 0.9938
三 小结
1、独立同分布的中心极限定理
2.李雅普诺夫定理
3.棣莫佛－拉普拉斯定理
n
n
n
n
Xk E( Xk ) Xk k
Zn k1
k 1 n
D( Xk )
k1
k 1
Bn
k 1
近似服从标准正态分布N(0,1)。
概率论与数理统计第五章大数定律及中心极限定理
概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。
数学中研究大量的工具是极限。
因此这一章学习概率论中的极限定理。
第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。
意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。
大数定律解释了这一结论。
首先介绍切比雪夫不等式。
一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。
切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。
进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。
当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。
二、依概率收敛随机变量序列即由随机变量构成的一个序列。
不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。
只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。
依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。
注意这三个大数定律的条件有何异同。
定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。
定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。
伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。
伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。
(完整版)大数定律和中心极限定理
第五章 大数定律和中心极限定理一、内容提要（一）切贝谢夫不等式 1. 切贝谢夫不等式的内容设随机变量X 具有有限的数学期望E （X ）和方差D （X ），则对任何正数ε，下列不等式成立。
(){}()(){}().1,22εεεεX D X E X P X D X E X P -≤-≤≥-2. 切贝谢夫不等式的意义（1）只要知道随机变量X 的数学期望和方差（不须知道分布律），利用切贝谢夫不等式，就能够对事件(){}ε≥-X E X 的概率做出估计，这是它的最大优点，今后在理论推导及实际应用中都常用到切贝谢夫不等式。
（2）不足之处为要计算(){}ε≥-X E X P 的值时，切贝谢夫不等式就无能为力，只有知道分布密度或分布函数才能解决。
另外，利用本不等式估值时精确性也不够。
（3）当X 的方差D (X )越小时，(){}ε≥-X E X P 的值也越小，表明X 与E (X )有较大“偏差”的可能性也较小，显示出D (X )确是刻画X 与E (X )偏差程度的一个量。
（二）依概率收敛如果对于任何ε＞0，事件{}ε a X n -的概率当n →∞时，趋于1，即{}1lim =-∞→ε a X P n n ，则称随机变量序列X 1,X 2,…,X n ,…当n →∞时依概率收敛于α。
（三）大数定律 1. 大数定律的内容（1）大数定律的一般提法若X 1,X 2,…,X n ,…是随机变量序列，如果存在一个常数序列α1,…,αn ,…，对任意ε＞0，恒有11lim 1=⎭⎬⎫⎩⎨⎧-∑=∞→ε n i n i n a X n P ， 则称序列{X n }服从大数定律（或大数法则）。
（2）切贝谢夫大数定律设随机变量X 1,X 2,…,X n ,…相互独立，分别有数学期望E(X i )和方差D(X i )，且它们的方差有公共上界C ，即()().,,,2,1, n i C X D i =≤则对于任意的ε＞0，恒有()111lim 11=⎭⎬⎫⎩⎨⎧-∑∑==∞→ε n i ni i i n X E n X n P 。
第五章大数定律及中心极限定理
k 1
其中 X1, X2 ,, Xn是相互独立的、服从同一
均值为μ，方差为σ2>0的独立同分布的随机变量
n
X1,X2,…,Xn之和 X k 的标准化变量，当n充分
大时，有
k 1
n
k 1
Xk
nm
～近似N(0,1)
ns
n
这样可以用(标准)正态分布来对 X k 作
k 1
理论分析或实际计算，不必求分布函数
19/41
§5.2 中心极限定理
将上式改写为
即对任意的正数ε，当n充分
lim P n
1 n
n k 1
Xk
m
1.
大时，不等式 立的概率很大
|
X
m | 成
3/41
证 由随机变量X1,X2,…,Xn,…相互独立，且具有 相同的数学期望和方差，有
E
1 n
n k 1
Xk
lim
n
P
1 n
(X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
1.
伯努利大数定理表明，事件发生的频率nA/n依概率收敛
于事件的概率p，以严格的数学形式表达了频率的稳定性和概
率的合理性
近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的 可能性很小，因此由实际推断原理，由于小概率事件几乎不
辛钦定 理
X P m
第五章大数定律与中心极限定理
X lim P{
n i 1
n
i
np } lim
n
np(1 p)
Y np P{ n x} np(1 p)
1 2
e
t2 2
dt
例: 设某妇产医院出生男孩的概率为 0.515，求在 10000 个新生儿中，出生的女孩不少于男孩的概率.
解法1 设X为10000个新生儿中男孩个数 则X服从B(n,p)，其中n=10000，p=0.515 由德莫弗-拉普拉斯中心极限定理，所求概率为
2
不等式求概率 P X 的近似值.
解
当 2时
P X 2
2
2
2
2
1 4
当 3时
P X 3
3
2
1 9
§1.2 大数定律
• 定义:设{Xk}是随机变量序列，数学期望 E(Xk)(k=1,2,...)存在，若对于任意ε >0，有
22 1 P{| X 20 | 4} 2 4 4
P{| X 20 | 4}
1 P{| X 20 | 4}
1 3 1 4 4
例：已知随机变量 X 的数学期望为 E(X)=μ ，方 差 D( X ) ，当 2 和 3 时，试用切比雪夫
n
1 n P{| X k | } 1 n k 1
注:
1 n 1 n E( X k ) E( X k ) n k 1 n k 1
例: 设随机变量 X 1 , X 2 ,, X n , 相互独立，且有如 下表的分布律，问：对随机变量 X 1 , X 2 ,, X n , 可 否使用大数定理？
大数定律及中心极限定理
则 g(X n, Yn ) P g(a, b)
定理1 （切比雪夫定理旳特殊情况）设随机变量序
列 X1,X2,…,Xn, ...相互独立，且具有相同旳数学期望
和方差： E(Xk)=，D(Xk)=2 (k=1,2,...) , 则对任意
旳
> 0，有
lim P n
1 n
n
Xi
i 1
1
即
X
1 n
第五章 大数定律及中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律
定义1 设Y1, Y2 …,Yn ,...为一随机变量序列，a是常数， 若对任意正数，有
lim
则称随机变量序列Y1, Y2 ,…,Yn , ... 依概率收敛于a ，
记为: Yn P a
性质：设 Xn P a, Yn P b , g(x, y)在点(a, b)连续,
100
于是, 一盒螺丝钉旳重量为 X Xi i 1
且 E( X i ) 100, D( X i ) 10, n 100
由中心极限定理
100
P{ X 10200} P{ i 1
Xi
10200}
P
100
Xi
i 1
n
n
10200 n n
P
X
1000 100
10200 1000
Φ
k 120 48
Φ
120 48
0.999
k 141.48,
至少供电142千瓦,才干确保以不不大于99.9%旳概率正常工作.
例3 在人寿保险企业里,有3000个同一年龄旳人参加保险.设在
一年内这些人旳死亡率为0.1%, 参加保险旳人在一年旳头一天 交付保险费10元，死亡时，家眷可从保险企业领取2023元． 求 （1）保险企业一年中获利不不大于10000元旳概率；
定理1 （切比雪夫定理旳特殊情况）设随机变量序
列 X1,X2,…,Xn, ...相互独立，且具有相同旳数学期望
和方差： E(Xk)=，D(Xk)=2 (k=1,2,...) , 则对任意
旳
> 0，有
lim P n
1 n
n
Xi
i 1
1
即
X
1 n
第五章 大数定律及中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§5.1 大数定律
定义1 设Y1, Y2 …,Yn ,...为一随机变量序列，a是常数， 若对任意正数，有
lim
则称随机变量序列Y1, Y2 ,…,Yn , ... 依概率收敛于a ，
记为: Yn P a
性质：设 Xn P a, Yn P b , g(x, y)在点(a, b)连续,
100
于是, 一盒螺丝钉旳重量为 X Xi i 1
且 E( X i ) 100, D( X i ) 10, n 100
由中心极限定理
100
P{ X 10200} P{ i 1
Xi
10200}
P
100
Xi
i 1
n
n
10200 n n
P
X
1000 100
10200 1000
Φ
k 120 48
Φ
120 48
0.999
k 141.48,
至少供电142千瓦,才干确保以不不大于99.9%旳概率正常工作.
例3 在人寿保险企业里,有3000个同一年龄旳人参加保险.设在
一年内这些人旳死亡率为0.1%, 参加保险旳人在一年旳头一天 交付保险费10元，死亡时，家眷可从保险企业领取2023元． 求 （1）保险企业一年中获利不不大于10000元旳概率；
第5章__大数定律和中心极限定资料
解：设在n重贝努里试验中，事件A出现的次数为X，
则X Bn,0.75,E X np 0.75n, D X npq 0.1875n,
又A事件的频率为：fn
A
X n
(1) n 7500, P
0.74
X n
0.76
P X 0.75n
0.01n
1
0.1875n
0.01n 2
1 n2
n
DXk
k 1
1 n2
n 2
2
n
由契比雪夫不等式得：P
1 n
n k 1
Xk
1
2
2
n
lim
n
P
1 n
n
Xk
k 1
1
7
定理二 伯努利大数定理
设事件A在每次试验中发生的概率为p，记nA为n次独立重复试验
中A发生的次数, 则
0, 有：lim
P
n
nA n
p
1
证明： nA Bn, p
1,
则称随机变量序列Yn依概率收敛于常数a，
记为：Yn P a。
a a a
依概率收敛性质： 若 X n P a, Yn Pb, 且g(x, y)在(a,b)处 连续，则 g( X n ,Yn）P g(a,b)
6
定理一 契比雪夫定理的特殊情况：
设随机变量序列X1, X 2, , X n , 相互独立，且具有相同的
且存在数学期望，作前n个随机变量的算术平均： X
1 n
n k 1
Xk
则 0，有：
lim P
n
X
lim
n
P
1 n
n
Xk
k 1
第五章大数定律及中心极限定律
3 - 18
4.某单位设置一电话总机，共有200门电话 分机，每门电话分机有5%的时间要用外 线通话，假设各门分机是否使用外线通 话是相互独立的，问总机至少要配置多 少条外线，才能以90%的概率保证每门 分机要使用外线时，有外线可供使用．
3 - 19
lim P
n
fn( A) p 1
频率的稳定性！小概率事件！
3 -8
§5.2 中心极限定理
一. 独立同分布中心极限定理 二. 棣莫佛-拉普拉斯定理
3 -9
独立同分布的中心极限定理
设随机变量 X1, X 2 ,, X n , 独立同分布，且有
E( Xk ) , D( Xk ) 2 0(k 1,2,),
用来阐述大量随机现象平均结果的稳定性 的一系列定理统称为大数定律.
3 -3
§5.1 大数定律
一. 大数定律
切比雪夫定理
辛钦定理
伯努利大数定理
3 -4
大数定律： 切比雪夫定理
设随机变量序列 {Xn相} 互独立，且均存在数学期 望 E，(X方n) 差 D( X(nn )=1,K2,...), 则对任意的ε>0 ， 有
大纲要求：
1.了解大数定理. 2.了解中心极限定理.
掌握中心极限定理的应用.
3 -1
学习内容
§5.1 大数定律 §5.2 中心极限定理
3 -2
前面各章节中所叙述的理论是以随机事件 概率的概念为基础的,而此概念的形成则是大 量现象的客观规律性--随机事件频率的稳定 性.概率论的理论与方法必须符合客观实际, 根据科学抽象得到的概念正确的反映了现实 世界的客观规律性.在大量随机现象中,不仅 看到随机事件频率的稳定性,而且还看到一般 的平均结果的稳定性.
4.某单位设置一电话总机，共有200门电话 分机，每门电话分机有5%的时间要用外 线通话，假设各门分机是否使用外线通 话是相互独立的，问总机至少要配置多 少条外线，才能以90%的概率保证每门 分机要使用外线时，有外线可供使用．
3 - 19
lim P
n
fn( A) p 1
频率的稳定性！小概率事件！
3 -8
§5.2 中心极限定理
一. 独立同分布中心极限定理 二. 棣莫佛-拉普拉斯定理
3 -9
独立同分布的中心极限定理
设随机变量 X1, X 2 ,, X n , 独立同分布，且有
E( Xk ) , D( Xk ) 2 0(k 1,2,),
用来阐述大量随机现象平均结果的稳定性 的一系列定理统称为大数定律.
3 -3
§5.1 大数定律
一. 大数定律
切比雪夫定理
辛钦定理
伯努利大数定理
3 -4
大数定律： 切比雪夫定理
设随机变量序列 {Xn相} 互独立，且均存在数学期 望 E，(X方n) 差 D( X(nn )=1,K2,...), 则对任意的ε>0 ， 有
大纲要求：
1.了解大数定理. 2.了解中心极限定理.
掌握中心极限定理的应用.
3 -1
学习内容
§5.1 大数定律 §5.2 中心极限定理
3 -2
前面各章节中所叙述的理论是以随机事件 概率的概念为基础的,而此概念的形成则是大 量现象的客观规律性--随机事件频率的稳定 性.概率论的理论与方法必须符合客观实际, 根据科学抽象得到的概念正确的反映了现实 世界的客观规律性.在大量随机现象中,不仅 看到随机事件频率的稳定性,而且还看到一般 的平均结果的稳定性.
第五章大数定律与中心极限定理
Xi
1 n
n i 1
E(Xi)
1,
则称{Xn}服从大数定律.
（2）伯努利大数定律是切比雪夫大数定律的特例
（3） 伯努利大数定律和切比雪夫大数定律的证明 都用到切比雪夫不等式，而且需要方差存在。
定理 5.1.4. 辛钦大数定律
设X1, X 2 ,..., X n,...是独立同分布的随机变量序列，
意义：只要试验次数够大，发生事件的频率无限接近于 概率，频率稳定性，频率代替概率。
定理 5.1.3. 切比雪夫大数定律
设X1 , X 2 ,, X n ,是一相互独立的随机变 量序列，
它们的数学期望和方差 均存在，且方差有共同 的上界，
即存在常数 K 0，使得 D ( X i ) K , i 1,2, ,
不等式给出了X 与它的期望的偏差不小于的概率
的估计式.
例 1 E( ) 4, D( ) 0.2, 则由切比雪夫不等式知
P{| 4 | 2} P{| 4 | 1}
,
P{ X
}
2 2
,
P{1 7}
定义 5.1.1设{X n}是一个随机变量序列，a是常数，
若对于任意的 0，有
已知整个系统中至少有84个部件正常工作，系统
工作才正常.试求系统正常工作的概率.
解： 记Y为100个部件中正常工作的部件数，则
Y 近似服从 N(100 0.9,100 0.9 (1 0.9))
即Y 近似服从N (90, 9)
因此，所求概率为
P{Y 84}=1-P{Y<84}=1-P{ Y-90 < 84-90 }
解： 设Xi为第i个螺丝钉的重量，i 1, 2,...,100.
且设X 为一盒螺丝钉的重量.
第五章大数定律与中心极限定理
• 例:一加法器同时收到 个噪声电压 k(k=1,2,…,20), 一加法器同时收到20个噪声电压 一加法器同时收到 个噪声电压V 它们相互独立且都在区间[0,10]上服从均匀分布 噪声 上服从均匀分布,噪声 它们相互独立且都在区间 上服从均匀分布 的近似值. 电压总和V=V1+V2+…+V20,求P{V>105}的近似值 电压总和 求 的近似值 • 解:易知 易知E(Vk)=5,D(Vk)=100/12,由独立同分布的中心 易知 由独立同分布的中心 20 极限定理知
∑ D( X
k =1
n
k
)=
σ2
n
1 n 所以 P{| ∑ X k − µ |< ε } = P {| X n − E ( X n ) |< ε } n k =1 D( X n ) σ2 ≥ 1− = 1− 2 2 nε ε
设随机变量序列{Y 如果存在一个常数a 定义 设随机变量序列{Yn}，如果存在一个常数a，使得 ε>0 对任意的 ε>0，有
1 故 n
X k 1 . ∑ 2 P→ 3 k =1
§2
中心极限定理
定理(林德贝尔格 勒维 定理):设 定理 林德贝尔格-勒维 林德贝尔格 勒维(Lindeberg-Levy)定理 设 定理 {Xk}为相互独立的随机变量序列 服从同一分布 且 为相互独立的随机变量序列,服从同一分布 为相互独立的随机变量序列 服从同一分布,且 具有数学期望E(Xk)=µ和方差 和方差D(Xk)=σ2 ,则随机变 具有数学期望 和方差 则随机变 量
X 1 ~ U ( −1, 1). 则 1 （1） n X k，（2）1 ∑ n k =1
n 2 X k 分别 依概 率收 敛吗 ？ ∑ k =1 n
《概率论与数理统计》课件第五章大数定律及中心极限定理
有极其重要的地位？
4.大样本统计推断的理论基础
是什么？
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景：1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证：_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布，则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点：用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布，当n很大时，计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计？
2.为何能以样本均值作为总体
期望的估计？
3.为何正态分布在概率论中占
解：(1)设X表示一年内死亡的人数，则~(, )，其中=，=.%. 设Y表示保险公司一年的利润，=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且，
由中心极限定理
解：设为第i个螺丝钉的重量， 相互独立同分布. 于是，一盒螺丝钉的重量为
4.大样本统计推断的理论基础
是什么？
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景：1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证：_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布，则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点：用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布，当n很大时，计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计？
2.为何能以样本均值作为总体
期望的估计？
3.为何正态分布在概率论中占
解：(1)设X表示一年内死亡的人数，则~(, )，其中=，=.%. 设Y表示保险公司一年的利润，=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且，
由中心极限定理
解：设为第i个螺丝钉的重量， 相互独立同分布. 于是，一盒螺丝钉的重量为
第五章大数定律和中心极限定理
第五章 大数定律和中心极限定理§1 大数定律设X 1,X 2,...X n ,...是一随机变量列，a 1,a 2,...a n ,...是一常数列，令Y n =∑=ni iXn11n=1,2,...,，所谓大数定律就是研究(Y n -a n )收敛到0的定理。
按收敛意义的不同，有弱大数定律和强大数定律。
我们主要介绍弱大数定律，弱大数定律也称大数定律。
契比雪夫不等式设R.V.X ，其2)(,)(σμ==X D X E 都存在，则对任意>ε均有 或一、大数定律定理5.1:(契比雪夫大数定律）若X 1,X 2,...X n ,...相互独立，它们的数学期望和方差都存在，且方差一致有界，即E(X i )=?i , D(X i )=?i 2?C(常数） i=1,2,...则对任意的??0，均有lim ∞→n P{?Y n-E(Y n)???}=1 (5.1)其中Y n=∑=ni iX n 11 定理5.2（伯努利大数定律）设伯努利试验中，事件A 发生的概率为p(0?p?1)，m 为n 重伯努利试验中事件A 发生的次数，则对任意的??0，均有1lim =⎭⎬⎫⎩⎨⎧<-∞→εp n m P n (5.2) 定理5.3 （辛钦大数定律）若X 1,X 2,...,X n,...相互独立同分布，其数学期望存在，即E(X i )=?,i=1,2,...，则对任意的??0，均有111lim =⎭⎬⎫⎩⎨⎧<-∑=∞→εμn i i n X n P (5.3) 例:设X 1,X 2,...,X n,...独立同分布，且X i 的k 阶矩m k =E(X i k )存在（k 为正整数），则对任意的??0，均有二、中心极限定理定理5.4 (林德贝格-莱维定理）若X 1,X 2,...,X n,...相互独立同分布，其数学期望和方差均存在且方差大于零，即E(X i )=?,D(X i)=?2?0, i=1,2,...则∑=ni iX 1的标准化随机变量σμn n XY ni in-=∑=1的分布函数)(x F n 对于任意的x 满足即σμn n X ni∑-1的分布函数−→−∞→n )1,0(N .当n 很大时近似公式P <α{σμn n X ni∑-1}β<()()βαΦ-Φ≈.例:为了把问题简化，假定在计算机上进行加法计算时，对每个数都取最接近它的整数（即取整）再相加。
第五章 大数定律与中心极限定理
X
i 1
n
i
n
，
P{| Yn a | } 1 如果满足 lim n
称
Yn
依概率收敛于数a，记为
Yn a.
P
大数定律讨论的是依概率收敛的问题。
大数定律以严格的数学形式表达了随 机现象最根本的性质之一： 平均结果的稳定性 它是随机现象统计规律的具体表现. 大数定律在理论和实际中都有广泛的应用.
下面给出的独立同分布随机变量序列 的中心极限定理, 也称列维一林德伯格 （Levy－Lindberg）定理.
定理1（独立同分布下的中心极限定理） 设X1,X2, …,Xn是独立同分布的随机 变量序列，且E(Xi)= ，D(Xi)= 2 ， i=1,2,…,n，则
lim P{
n
X
i 1
下面我们再举一例说明大数定律的 应用.
定积分的概率计算法 求 I g ( x )dx 的值
0 1
求 I g ( x )dx 的值
0
1
我们介绍均值法，步骤是
1) 产生在(0,1)上均匀分布的随机数rn, n=1,2,…,N 2) 计算g(rn)， n=1,2,…,N
3) 用平均值近似积分值
0 1 解: X k ~ , 0.1 0.9
E(Xk)=0.1, k=1,2, …,n
诸Xk 独立同分布，且期望存在，故能 使用大数定律.
0 1 解: X k ~ , 0.1 0.9
E(Xk)=0.1, k=1,2, …,n
诸Xk 独立同分布，且期望存在，故能使用 大数定律.
n
D ( X k )
k 1
的分布函数的极限.
考虑 Z n
X
k 1
概率论第五章 大数定律及中心极限定理
的标准化变量为
n
X i n
Yn i1 n
则Yn的分布函数Fn(x)对任意的x∈(-∞,+∞)都有
n X i n
lim
n
Fn
(
x)
lim
n
P(Yn
x)
lim
n
P
i 1
n
x
x
1
t2
e 2 dt
2
该定理说明，当n充分大时， Yn近似地服从标准正 态分布，Yn~N(0,1)， (n )
P|
X
|
2 2
P X
1
2 2
证明 (1)设X的概率密度为p(x),则有
P{| X | } p(x)dx
| x |2
p(x)dx
|x|
|x|
2
1
2
(x
)2
p(
x)dx
2 2
Xi 2
0
pi
1 4
1 2
2
(i 1,2, , n, )
1 4
解
因为 X1, X 2 , , X n ,
相互独立， EX i 0 ， E
X
2 i
1
又
DX i
E
X
2 i
EX i
2
1 0
1， i
1,2,
, n,
所以,满足切比雪夫大数定理的条件,可使用大数定理.
第五章---大数定律与中心极限定理
(a , a ) 内的概率越来越大. 0, n0
当 n n0
Xn
a a a
而 X n a 意思是: 0, n0 ,当 n n0
| X n a |
6
5.2 大数定律
我们曾经说, 频率是概率的反映,随 着观察次数的增大, 频率将会逐渐稳定 到概率. 这里是指试验的次数无限增大 时, 在某种收敛意义下逼近某一定数,这 就是所谓大数定律
D(
1 n
n k 1
Xk)
1 n2
n
D( X k )
k 1
8
由契比雪夫不等式,得:
P{|
1 n
n k 1
Xk
1 n
n k 1
E(Xk
)
|
}
1
1 n2
n
D( X k )
k 1
2
n 1
表明: 算术平均值依概率收敛于数学期望
9
5.3 中心极限定理
在一定条件下,大量独立随机变量 的和的分布以正态分布为极限分布的 这一类定理称为中心极限定理
7
契比雪夫大数定律
设随机变量X1, X2, ... , Xn, ...相互独 立,且分别具有期望E(Xk)和方差D(Xk) (k
=1,2,...),若方差有界,则 >0,有:
lim
n
P{|
1 n
n k 1
Xk
1 n
n k 1
E(Xk
)
|
}
1
E
(
1 n
n k 1
Xk )
1 n
n k 1
E(Xk )
∴ 只要供给这个车间141千瓦电, 就可保证因供电
不足而影响生产的可能性小于0.01.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y
k 1
n
k
n a 14
2 X 12 X 2 X 3 X 4 X 5 X 6 X 32n 2 X 3n 1 X 3n P a, n n
17 May 2016
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第16页
5.1.3 强大数定律
关于强大数定律，不加证明地给出一个引理和两个定律。 （强者非重点，少用到，弱者反而为重点）
引理5.1.2(柯尔莫哥洛夫不等式)设X1 , , X n ,为独立 随机变量序列, 具有有限的数学期望和方差, 则对任意
2 2 2 Y X X X X X X X k 1 2 3 4 5 6 3 n 2 X 3 n 1 X 3 n k 1 n
E[Yk ] E[ X 32k 2 X 3k 1 X 3k ] E[ X 32k 2 ] E[ X 3k 1 X 3k ] Var[ X 3k 2 ] ( E[ X 3k 2 ]) 2 E[ X 3k 1 ]E[ X 3k ] 6 4 4 14 k 1, 2, , n {Yn }满足辛钦大数定律条件，所以
概率论与数理统计
(5.1.5)
17 May 理
第23页
对于本题
2 2 X12 X 2 X 3 X 4 X 5X 6 X 3 P n 2 X 3n 1X 3n a, n , n
即对任意的 >0，有
lim P n
2 X X X 2 X X X 2 X1 X 3n1 X 3n 5 6 2 3 4 3n2 a 0 n
17 May 2016
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第24页
解：设Yk =X 32k 2 X 3k 1 X 3k ,由于{ X n }是独立同分布的随机变量序列 所以， {Yn }也是独立同分布的随机变量序列，且
（这是弱大数定律最一般的形式：均值弱收敛于期望均值）
证明用到切比雪夫不等式.
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第10页
（随机变量与期望有
17 May 2016
偏差的可能性不大）(证明中大X应为小x)
概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第五章 大数定律与中心极限定理
第12页
辛钦弱大数定律
定理5.1.2
若随机变量序列{Xn}独立同分布，且Xn的 数学期望存在，则 {Xn}服从弱大数定律.
即 X1 X 2 X n lim P 0. n n 其中E ( X n ) .
第2页
§5.1
大数定律
本节给出几个大数定律：
切比雪夫弱大数定律、辛钦弱大数定律
科尔莫哥洛夫强大数定律、博雷尔强大数定律 (两强两弱） 其中，讨论了 “概率是频率的稳定值”（伯努利 大数定律）的确切含义.
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第3页
对大数定律的直观认识
学校有10000个学生，平均身高为a；
若随意观察1个学生的身高X1，则X1与a可能相差较大。 随意观察10个学生的身高X1, X2 ,…, X10 ，则10个数据的均值 (X1+X2+…+X10 )/10与a较接近； 若随意观察100个学生的身高X1, X2 ,…, X100 ，则100个数据 的均值(X1+X2+…+X100 )/100与a更接近； 若随意观察n个学生的身高X1, X2 ,…, Xn ，则当n为很大数时， n个数据的均值(X1+X2+…+Xn ) / n （样本均值） 与a（总体 平均值）充分接近.
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第20页
有关大数定律习题选讲
5.5 设{ X n }是独立同分布的随机变量序列，且假设E[ X n ] 2, Var[ X n ] 6, 证明：
2 X 12 X 2 X 3 X 4 X 5 X 6 X 32n 2 X 3n 1 X 3n P a, n , n 并确定常数a之值.
第五章 大数定律与中心极限定理
第1页
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
注：教材的这一章有些地方有误，可对照ppt作修改。 例如：p93定理5.1.1及其证明，p95定理5.1.4）
17 May 2016
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第五章 大数定律与中心极限定理
第9页
切比雪夫弱大数定律
定理5.1.1 （切比雪夫弱大数定律）设X 1 , X 2 , , 为独立随机变量， Var[ X i ] C , i 1, 2, , 则对任意 0有 X1 X 2 X n 1 n lim P E[ X i ] 0. n n n i 1 (5.1.5)
Y
弱大数定律讨论的就是依概率收敛.
（有
17 May 2016
偏差的的可能性趋于0）
理学院数学系
概率论与数理统计
第五章 大数定律与中心极限定理
第7页
以概率1收敛
类似地，设有随机变量序列X1, X2,…, Xn，。。。 和随机变量Y， P( : lim X n ( ) Y ( )) 1 如果 x
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第4页
5.1.1 大数定律问题的提法
（平均值有
17 May 2016
偏差的的可能性趋于0）
概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第5页
（平均值偏差趋于0的可能性是1）
17 May 2016 概率论与数理统计 理学院数学系
n n X k E[ X k ]) 0) 1. P(lim k 1 k 1 n n n
(这是强大数定律的最一般形式)
17 May 2016 概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第18页
把定理5.1.3用于独立同分布,则得 定理5.1.4(柯尔莫哥洛夫强大数定律)设X1 , , X n ,为独立 同分布随机变量序列, 具有有限的数学期望 ,则 n Xk P(lim k 1 0) 1. n n
17 May 2016
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第21页
依概率收敛（复习）
设有随机变量序列X1, X2,…, Xn，。。。和随机 变量Y，
lim P X Y 若对任意的 >0，有 n n 0
则称随机变量序列{Xn}依概率收敛于Y, 记为
Xn
P
Y
弱大数定律讨论的就是依概率收敛.
（有
17 May 2016
偏差的的可能性趋于0）
理学院数学系
概率论与数理统计
第五章 大数定律与中心极限定理
第22页
辛钦弱大数定律（复习） 定理5.1.2
若随机变量序列{Xn}独立同分布，且Xn的
数学期望存在，则 {Xn}服从弱大数定律.
即 X1 X 2 X n lim P 0. n n 其中E ( X n ) . X1 X 2 X n P 也就是 n
则称随机变量序列{Xn}以概率1收敛于Y, 记为
Xn
可以证明，若 X n
（偏差趋于0的可能性是1）
17 May 2016
a.s a.s 则
Y Y
Xn
P
Y
强大数定律讨论的就是以概率1收敛.
（几乎处处收敛）
概率论与数理统计 理学院数学系
第五章 大数定律与中心极限定理
第8页
第五章 大数定律与中心极限定理
第6页
依概率收敛
这里顺便讲一下两个更一般的概念，设有随 机变量序列X1, X2,…, Xn，。。。和随机变量Y，
lim P X Y 若对任意的 >0，有 n n 0
则称随机变量序列{Xn}依概率收敛于Y, 记为
Xn
P
17 May 2016 概率论与数理统计
(5.1.5)
理学院数学系
第五章 大数定律与中心极限定理
第13页
补：另一个重要不等式
若X非负，则
P( X )
E( X )
.
(例如习题5.2用到)
17 May 2016
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第14页
伯努利大数定律 推论5.1.1（伯努利大数定律（频率收敛于概率））
5.1.2 弱大数定律
我们将要学的弱大数定律(重点)的一般形式为：
若随机变量序列{Xn}满足：
1 n lim P Xi n n i 1 1 n E[ X i ] n i 1 0
则称{Xn} 服从弱大数定律.
（均值弱收敛于期望均值）
17 May 2016 概率论与数理统计 理学院数学系
17 May 2016
概率论与数理统计