5-1 大数定律
合集下载
第五章 大数定律与中心极限定理
中心极限定理
独立随机变量和
设 {Xn} 为独立随机变量序列，记其和为
Yn = ∑Xi
i=1 n
讨论独立随机变量和的极限分布, 指出极限分布为正态分布.
13 July 2011
湖南大学
第五章 大数定律与中心极限定理
第18页 18页
独立同分布下的中心极限定理
林德贝格—勒维中心极限定理 设 {Xn} 为独立同分布随机变量序列，数学期 望为µ, 方差为 σ2>0，则当 n 充分大时，有
解: 设 X 表示命中的炮弹数, 则 X ~ b(500, 0.01)
(1) P( X = 5) = C ×0.015 ×0.99495 ＝0.17635
5 500
(2) 应用正态逼近: P(X=5) = P(4.5 < X < 5.5) = 0.1742
13 July 2011
5.5 − 5 4.5 − 5 ≈ Φ −Φ 4.95 4.95
第五章 大数定律与中心极限定理
第25页 25页
三、给定 y 和概率，求 n
例7 用调查对象中的收看比例 k/n 作为某电视节
目的收视率 p 的估计。 要有 90％ 的把握，使k/n与p 的差异不大于0.05，问至少要调查多少对象？
解：用 Yn表示n 个调查对象中收看此节目的人数，则
P ( Yn / n − p < 0.05) ≈ 2Φ 0.05 n / p(1 − p) − 1 ≥ 0.90
湖南大学
湖南大学
第五章 大数定律与中心极限定理
第16页 16页
X 例 设 1, X2 ,L, Xn是独 立同 布 分 的随 变量 它们 机 ， 都服 从 [a, b]上的 [ 均匀 布 f (x)是 a, b]上 连 函 ， 分 ， 的 续 数 证明 ：
5_1大数定律 5.2中心极限定理
《概率统计》
返回
下页
结束
§5.1 大数定律
一 、切比雪夫不等式
1. 对于任何具有有限方差的随机变量 X ，都有
P{| X E(X ) | } D( X ) (ε是任一正数) 2
证明：(以连续型随机变量为例)设X的概率密度为f(x)，
则
P{| X E(X ) | } f (x)dx
|xE( X )|
② n充分大时， x1,x2, …, xn的算术平均值与真值的误差 依概率1任意小.
《概率统计》
返回
下页
结束
定理2 (贝努里大数定律)设n重贝努里试验中事
件A发生nA次, 每次试验事件A发生的概率p，则对任 意ε>0 , 有
lim P n
nA n
p
1.
贝努里
这就是以频率定义概率的合理性依据.
E(Xk
)
|
} 1
1
2
D( 1 n
n k 1
Xk)
1
c
n 2
.
所以，lim n
P{|
1 n
n k 1
Xk
1 n
n k 1
E(Xk )
|
}
1.
切比雪夫大数定律表明, 相互独立的随机变量的算术平均值, 与其数学期望的差, 在n充分大时以概率1是一个无穷小量.
这意味着在n充分大时，随机变量的算术平均值将比较紧密 地聚集在它的数学期望附近.
《概率统计》
返回
下页
结束
自从高斯指出测量误差服从正态分 布之后，人们发现，正态分布在自然界 中极为常见.
观察表明，如果一个量是由大量相互独立的 随机因素的影响所造成，而每一个别因素在总影 响中所起的作用不大. 则这种量一般都服从或近 似服从正态分布.
第五章大数定律及中心极限定理
k 1
其中 X1, X2 ,, Xn是相互独立的、服从同一
均值为μ，方差为σ2>0的独立同分布的随机变量
n
X1,X2,…,Xn之和 X k 的标准化变量，当n充分
大时，有
k 1
n
k 1
Xk
nm
～近似N(0,1)
ns
n
这样可以用(标准)正态分布来对 X k 作
k 1
理论分析或实际计算，不必求分布函数
19/41
§5.2 中心极限定理
将上式改写为
即对任意的正数ε，当n充分
lim P n
1 n
n k 1
Xk
m
1.
大时，不等式 立的概率很大
|
X
m | 成
3/41
证 由随机变量X1,X2,…,Xn,…相互独立，且具有 相同的数学期望和方差，有
E
1 n
n k 1
Xk
lim
n
P
1 n
(X1
X2
Xn)
p
1,
即
lim
n
P
nA n
p
1.
伯努利大数定理表明，事件发生的频率nA/n依概率收敛
于事件的概率p，以严格的数学形式表达了频率的稳定性和概
率的合理性
近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的 可能性很小，因此由实际推断原理，由于小概率事件几乎不
辛钦定 理
X P m
概率论与数理统计 第五章 大数定律与中心极限定理
nA 一种提法是： “当 n 足够大时，频率 n 与概率 p 有较大偏差
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
的概率很小” ，用数学语言表达，就是要证明： 0 ，有
nA nA lim P p 0 lim P p 1 n ，或 n n ． n
另一种提法是：研究随机变量 n A 的分布的极限行为，即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 ． n
证 引入
1 , 第i次试验中事件A发生 Xi ，i 1 , 2 , , n ， 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验．若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数， 则事件 A 发生的频率为 n ． 所谓 “频 率的稳定性” ，无非是指当试验次数 n 无限增大(即 n )时，
nA 频率 n 无限接近于某个固定常数．这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” ． nA 由此可见，讨论频率 n 的极限行为，是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识，我们先明确随机变量序列收敛的
相关概念，同时给出一个重要的不等式，它是以下理 论证明所用的主要工具之一．
定 义 1.1 设 a 是常数，对于随机变量序列 ，如果 0 ，有
X1 , X 2 ,
, Xn ,
lim P
n
个常数，即在这个常数的附近摆动，这就是所谓的“频
率稳定性”．但对这一点，至今为止我们尚未给予理论 上的说明．另外，在第二章我们给出了二项分布的泊松 逼近，那么更一般的近似计算方案又是怎样呢?
第五章 大数定律
二、基本定理
定理4（独立同分布的林德贝尔格-勒维(Lindeberg －Levy)中心极限定理）设X1，X2，…，Xn，…是相 互独立，且服从同一分布的随机变量序列，并具有数 学期望和方差：
EX i , DX i 2 0, i 1,2,
则对任意的x有
n X i n i 1 lim P n x n
即 Yn中每一被加项对总和的影响都很微小，但 它们迭加的和却以标准正态分布作为极限。
例1有100个电子器件，它们的使用寿命X1，X2，…， X100 均服从参数为=0.05(h-1)的指数分布，其使用情 况为：第一个损坏第二个立即使用，第二个损坏第三
个立即使用等等。令X表示这100个电子器件使用的总
意思？
这与高等数学中的极限概念是否有联系？本章将 从理论上讨论这一问题。
二、基本定理
首先，我们引进依概率收敛的概念。
定义 设X1，X2，…，Xn，…是一个随机变量序列，a
是一个常数，若对任意的正数，有
n
lim P{| X n a | } 1
或
n
lim P{| X n a | } 0
解得
x 21.23
取最接近的整数 x=22，即总机至少应配备22 条外线，才能有95%以上的把握保证各个分机在 使用外线时不必等候。
伯努利大数定律说明了当n很大时事件发生的频率会非常接近概率而这里的辛钦大数定律则表明当n很大时随机变量x在n次观察中的算术平均值也会接近它的期望值即52一问题的引入二基本定理在第二章介绍正态分布时曾经特别强调了它在概率论与数理统计中的地位与作用为什么会有许多随机变量遵循正态分布
第五章 大数定律与中心极限定理
5-1切比雪夫不等式与大数定律
说明： 说明：
与(切)大数定律区别: 不要求 X1 , X2 ,..., Xn方差存在,但要求分布相同.
ቤተ መጻሕፍቲ ባይዱ
1、切比雪夫大数定律 、
设 随 机 变 量 X 1 , X 2 , ..., X n 相 互 独 立 , 各 有 数 学 期 望 E ξ i和 方 差 D ξ i . 同 时 存 在 常 数 C , 使 得 D ξ i ≤ C,i=1,2...n。 则 对 于 任 意 ε > 0 i=1,2...n 。 1 n 1 n lim P ∑ X i − ∑ EX i < ε = 1 n→ ∞ n i =1 n i =1 1 n 1 n 或 ∑ X i − ∑ EX i P → 0 ( n → ∞ ) n i =1 n i =1
证 明 : n A 代 表 n重 伯 努 利 试 验 中 A发 生 的 次 数 , n A ∼ b( n, p )
i A 生 第次 发 1 (i=1,2,...,n) X 令 i = i A 发 0 第 次 没 生
则
n A = X 1 + X 2 + ... + X n
X i ∼ b(1, p ), ⇒ E ( X i ) = p, D( X i ) = p(1 − p) (i=1,2,...,)
推论2、 推论 、伯努利大数定律
设 n A 为 n 次 独 立 重 复 试 验 中 随 机 事 件 A 发 生 的 次 数 , p是 事 件 A 在 每 次 试 验 中 发 生 的 概 率 , 则 对 任 意 ε > 0, 成 立 nA lim P { − p < ε } = 1, 即 n→ ∞ n nA P → p( A ) n
nA 1 n , 又 X = ∑ Xi = n i =1 n 1 n E( X ) = E( ∑ Xi ) = p n i =1
5-1大数定律
2
．
证
由于 EXi DXi
1
，故
E
(
X
2 i
)
2
，
i
1,
2,L
，所以
1 1, 2 2 ．由推论 1.2 知，
lim
n
1 n
n i 1பைடு நூலகம்
Xi
P
1
1,
lim
n
1 n
n i 1
X
2 i
P
2
2．
11
第五章 大数定律和中心极限定理
1
§1 大数定律
一、切比雪夫不等式 定理 1.1 设随机变量 X 的数学期望 EX ，方差
DX 2 ，则对任意的 0 ，有
P{ X } 2 或 P{ X } 1 2 ．
2
2
此不等式称为切比雪夫不等式．
2
证(了解) 现仅证明 X 为连续型随机变量时的情形．
切比雪夫不等式估计概率 P{ X * 2} ．
解 P{ X * 2} P{ X EX 2} DX
P{ X EX 2 DX } 1 DX 3 ．
(2 DX )2 4
【注】此处并非计算概率 P{ X * 2} ，而是估计概率 P{ X * 2}的大致取值。
4
例 1.2 设 X ~ P(2) ，则根据切比雪夫不等式有（ ）．
lim
n
P{
X
n
a
}1，
P
就称序列{X
n
}
依概率收敛于
a
，记为
lim
n
X
n
a
．
6
定义 1.2 设有随机变量序列 X1, X 2 ,L , X n ,L ，如果
．
证
由于 EXi DXi
1
，故
E
(
X
2 i
)
2
，
i
1,
2,L
，所以
1 1, 2 2 ．由推论 1.2 知，
lim
n
1 n
n i 1பைடு நூலகம்
Xi
P
1
1,
lim
n
1 n
n i 1
X
2 i
P
2
2．
11
第五章 大数定律和中心极限定理
1
§1 大数定律
一、切比雪夫不等式 定理 1.1 设随机变量 X 的数学期望 EX ，方差
DX 2 ，则对任意的 0 ，有
P{ X } 2 或 P{ X } 1 2 ．
2
2
此不等式称为切比雪夫不等式．
2
证(了解) 现仅证明 X 为连续型随机变量时的情形．
切比雪夫不等式估计概率 P{ X * 2} ．
解 P{ X * 2} P{ X EX 2} DX
P{ X EX 2 DX } 1 DX 3 ．
(2 DX )2 4
【注】此处并非计算概率 P{ X * 2} ，而是估计概率 P{ X * 2}的大致取值。
4
例 1.2 设 X ~ P(2) ，则根据切比雪夫不等式有（ ）．
lim
n
P{
X
n
a
}1，
P
就称序列{X
n
}
依概率收敛于
a
，记为
lim
n
X
n
a
．
6
定义 1.2 设有随机变量序列 X1, X 2 ,L , X n ,L ，如果
第五章 数理统计 大数定律与中心极限定理
) 0.999
查正态分布函数表得
(3.1) 0.999
故
N 120 48
≥ 3.1,
从中解得N≥141.5,
即所求N=142.
也就是说, 应供应142 千瓦电力就能以99.9%的 概率保证该车间不会因供电不足而影响生产.
例3 对于一个学生而言，来参加家长会的家长人数
是一个随机变量，设一个学生无家长、 1名家长、名 2 家长来参加会议的概率分别为0.05、.8、.15.若学校 0 0 共有 400名学生，设各学生参加会议的家长数相互 独立，且服从同一分布.
lim P n X np np 1 p x 1 2
x
t
2
e
2
dt x
证明:设 则
第i次试验事件A发生 第i次试验事件A不发生
由中心极限定理,结论得证
当 n 充分大时，二项分布 X ~ B n , p 可近似地用正态分布N np , np 1 p 来代替。
由于无穷个随机变量之和可能趋于∞，故我们 不研究n个随机变量之和本身而考虑它的标准化的随 n 机变量. 即考虑随机变量X k ( k 1,n)的和 X k
k 1
讨论Yn的极限分布是否为标准 正态分布
在概率论中，习惯于把和的分布收敛于正态分 布这一类定理都叫做中心极限定理.
5.2
中心极限定理 标准化随机变量
如
意思是:当
时,Xn落在
内的概率越来越大.
a
而
意思是:
,当
几个常用的大数定律
定理5-2 切比雪夫大数定律
，
设{Xi, i=1,2,...}为独立的随机变量序列， 且存在数学期望、方差 E X n nDBiblioteka X n2 nDX
《概率论与数理统计》5-1 中心极限定理
即: 只要供应 320Q 瓦的电力, 就能以99%的把握保证该 车间的机器能正常工作.
例5. 为了测定一台机床的质量, 将其分解成若干个部件 来称量. 假定每个部件的称量误差（单位: kg ）服从区 间 1,1 上的均匀分布, 且每个部件的称量是独立的, 试 问至多分成多少个部件才能以不低于99%的概率保证 机床的称量总误差的绝对值不超过10.
1.55 1.55
2 1.55 1 0.8788.
例3. 有一批钢材, 其中80%的长度不小于3m, 现从钢材 中随机取出100根, 试利用中心极限定理求小于3m的钢 不超过30根的概率. 解 以Yn 为100根钢材中小于3m的钢材根数, 由题意知:
1 E X p, D X p 1 p n
定理5.3 独立同分布情形下大数定律
设
X1 , X 2 ,
是一个独立同分布的随机变量序列. 且
P E X , D X 2 . 则 X
证明关键步骤:
1 2 E X , D X n
Yn
B 200,0.15 .
Y np N 30 0.95, P Yn N P n np 1 p 25.5 N 30 查表得: 1.645, 即: N 38.3068, 所以可取
25.5
N 39方能以95%的把握保证在该时刻分机可以使用外
在§1.3中, 我们曾经提到频率的稳定性. 设随机事件A的概率P(A)=p, 在n重贝努利试验中事件A 发生的频率为 f n A .当n很大时, 将与p非常接近. 由 于 f n A 本质上是一个随机变量，它随着不同的n次试 验可能取不同的值, 因而需要对随机变量序列引进新 的收敛性定义.
例5. 为了测定一台机床的质量, 将其分解成若干个部件 来称量. 假定每个部件的称量误差（单位: kg ）服从区 间 1,1 上的均匀分布, 且每个部件的称量是独立的, 试 问至多分成多少个部件才能以不低于99%的概率保证 机床的称量总误差的绝对值不超过10.
1.55 1.55
2 1.55 1 0.8788.
例3. 有一批钢材, 其中80%的长度不小于3m, 现从钢材 中随机取出100根, 试利用中心极限定理求小于3m的钢 不超过30根的概率. 解 以Yn 为100根钢材中小于3m的钢材根数, 由题意知:
1 E X p, D X p 1 p n
定理5.3 独立同分布情形下大数定律
设
X1 , X 2 ,
是一个独立同分布的随机变量序列. 且
P E X , D X 2 . 则 X
证明关键步骤:
1 2 E X , D X n
Yn
B 200,0.15 .
Y np N 30 0.95, P Yn N P n np 1 p 25.5 N 30 查表得: 1.645, 即: N 38.3068, 所以可取
25.5
N 39方能以95%的把握保证在该时刻分机可以使用外
在§1.3中, 我们曾经提到频率的稳定性. 设随机事件A的概率P(A)=p, 在n重贝努利试验中事件A 发生的频率为 f n A .当n很大时, 将与p非常接近. 由 于 f n A 本质上是一个随机变量，它随着不同的n次试 验可能取不同的值, 因而需要对随机变量序列引进新 的收敛性定义.
第五章大数定律及中心极限定律
3 - 18
4.某单位设置一电话总机，共有200门电话 分机，每门电话分机有5%的时间要用外 线通话，假设各门分机是否使用外线通 话是相互独立的，问总机至少要配置多 少条外线，才能以90%的概率保证每门 分机要使用外线时，有外线可供使用．
3 - 19
lim P
n
fn( A) p 1
频率的稳定性！小概率事件！
3 -8
§5.2 中心极限定理
一. 独立同分布中心极限定理 二. 棣莫佛-拉普拉斯定理
3 -9
独立同分布的中心极限定理
设随机变量 X1, X 2 ,, X n , 独立同分布，且有
E( Xk ) , D( Xk ) 2 0(k 1,2,),
用来阐述大量随机现象平均结果的稳定性 的一系列定理统称为大数定律.
3 -3
§5.1 大数定律
一. 大数定律
切比雪夫定理
辛钦定理
伯努利大数定理
3 -4
大数定律： 切比雪夫定理
设随机变量序列 {Xn相} 互独立，且均存在数学期 望 E，(X方n) 差 D( X(nn )=1,K2,...), 则对任意的ε>0 ， 有
大纲要求：
1.了解大数定理. 2.了解中心极限定理.
掌握中心极限定理的应用.
3 -1
学习内容
§5.1 大数定律 §5.2 中心极限定理
3 -2
前面各章节中所叙述的理论是以随机事件 概率的概念为基础的,而此概念的形成则是大 量现象的客观规律性--随机事件频率的稳定 性.概率论的理论与方法必须符合客观实际, 根据科学抽象得到的概念正确的反映了现实 世界的客观规律性.在大量随机现象中,不仅 看到随机事件频率的稳定性,而且还看到一般 的平均结果的稳定性.
4.某单位设置一电话总机，共有200门电话 分机，每门电话分机有5%的时间要用外 线通话，假设各门分机是否使用外线通 话是相互独立的，问总机至少要配置多 少条外线，才能以90%的概率保证每门 分机要使用外线时，有外线可供使用．
3 - 19
lim P
n
fn( A) p 1
频率的稳定性！小概率事件！
3 -8
§5.2 中心极限定理
一. 独立同分布中心极限定理 二. 棣莫佛-拉普拉斯定理
3 -9
独立同分布的中心极限定理
设随机变量 X1, X 2 ,, X n , 独立同分布，且有
E( Xk ) , D( Xk ) 2 0(k 1,2,),
用来阐述大量随机现象平均结果的稳定性 的一系列定理统称为大数定律.
3 -3
§5.1 大数定律
一. 大数定律
切比雪夫定理
辛钦定理
伯努利大数定理
3 -4
大数定律： 切比雪夫定理
设随机变量序列 {Xn相} 互独立，且均存在数学期 望 E，(X方n) 差 D( X(nn )=1,K2,...), 则对任意的ε>0 ， 有
大纲要求：
1.了解大数定理. 2.了解中心极限定理.
掌握中心极限定理的应用.
3 -1
学习内容
§5.1 大数定律 §5.2 中心极限定理
3 -2
前面各章节中所叙述的理论是以随机事件 概率的概念为基础的,而此概念的形成则是大 量现象的客观规律性--随机事件频率的稳定 性.概率论的理论与方法必须符合客观实际, 根据科学抽象得到的概念正确的反映了现实 世界的客观规律性.在大量随机现象中,不仅 看到随机事件频率的稳定性,而且还看到一般 的平均结果的稳定性.
概率论与数理统计 第三版 第五章 大数定律和中心极限定理
上页 下页 返回
依概率收敛的序列还有以下性质: 设 X n p a, Yn pb, 且函数 g(x,y) 在点 (a,b)连续,
具有数学期望 E(X ) 和方差 D(X ) , 0 ,有
P{
X
E
(
X
)
≥
}≤
D(
X
2
)
,
或
P{ X E(X ) }≥1 D(X ) .
2
上页 下页 返回
证 以连续型随机变量X为例.
P{ X E( X ) ≥} f (x)dx x E ( X ) ≥
≤ x E ( X ) ≥
x E(X ) 2
E(
X
k
)
，D(
X
k
)
2
(k
1，2，
上页
,
n)．
下页
返回
则对任意的ε>0, 有
1
lim P{ n n
n
Xk
k 1
}1
证 由于
lim P X 1.
n
E
1 n
n k 1
X
k
1 n
n k 1
E(X
k
)
1 n
n
,
D
1 n
n k 1
Xk
1 n2
n
D
k 1
XK
1 n2
n
2
2
n
,
上页 下页 返回
由切比雪夫不等式知
P
1 n
n
Xk
k 1
≥1
2
n
2
.
令n , 并注意到概率不能大于1, 即得
1
lim
n
P
依概率收敛的序列还有以下性质: 设 X n p a, Yn pb, 且函数 g(x,y) 在点 (a,b)连续,
具有数学期望 E(X ) 和方差 D(X ) , 0 ,有
P{
X
E
(
X
)
≥
}≤
D(
X
2
)
,
或
P{ X E(X ) }≥1 D(X ) .
2
上页 下页 返回
证 以连续型随机变量X为例.
P{ X E( X ) ≥} f (x)dx x E ( X ) ≥
≤ x E ( X ) ≥
x E(X ) 2
E(
X
k
)
，D(
X
k
)
2
(k
1，2，
上页
,
n)．
下页
返回
则对任意的ε>0, 有
1
lim P{ n n
n
Xk
k 1
}1
证 由于
lim P X 1.
n
E
1 n
n k 1
X
k
1 n
n k 1
E(X
k
)
1 n
n
,
D
1 n
n k 1
Xk
1 n2
n
D
k 1
XK
1 n2
n
2
2
n
,
上页 下页 返回
由切比雪夫不等式知
P
1 n
n
Xk
k 1
≥1
2
n
2
.
令n , 并注意到概率不能大于1, 即得
1
lim
n
P
《概率论与数理统计》课件第五章大数定律及中心极限定理
有极其重要的地位？
4.大样本统计推断的理论基础
是什么？
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景：1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证：_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布，则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点：用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布，当n很大时，计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计？
2.为何能以样本均值作为总体
期望的估计？
3.为何正态分布在概率论中占
解：(1)设X表示一年内死亡的人数，则~(, )，其中=，=.%. 设Y表示保险公司一年的利润，=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且，
由中心极限定理
解：设为第i个螺丝钉的重量， 相互独立同分布. 于是，一盒螺丝钉的重量为
4.大样本统计推断的理论基础
是什么？
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景：1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证：_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布，则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点：用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布，当n很大时，计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计？
2.为何能以样本均值作为总体
期望的估计？
3.为何正态分布在概率论中占
解：(1)设X表示一年内死亡的人数，则~(, )，其中=，=.%. 设Y表示保险公司一年的利润，=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且，
由中心极限定理
解：设为第i个螺丝钉的重量， 相互独立同分布. 于是，一盒螺丝钉的重量为
第五章大数定律和中心极限定理讲解
12 June 2019
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第12页
说明：
(1) 切比雪夫弱大数定律和辛钦弱大数定律的条件是不同的， 但它们都可以推导出伯努利大数定律.
切比雪夫弱大数定律里随机变量序列不要求是同分布的， 但是要求它们的方差有一致的上界。
辛钦弱大数定律里随机变量序列是同分布的，但不要求 它们的方差存在或有一致上界。
讨论 “概率是频率的稳定值” 的确切含义：
伯努利大数定律和博雷尔强大数定律
12 June 2019
概率论与数理统计
理学院数学系
第五章 大数定律与中心极限定理
第3页
从抛硬币说起
回顾第一章概率的统计定义，我们是用 事件的频率近似代替这个事件的概率。
试验者 德.摩 根 蒲丰
皮尔逊 皮尔逊
维尼
抛 掷 次 数n 出现正面的次数m 出现正面的频率m / n
第10页
切比雪夫弱大数定律
设X1, X2 , 为独立随机变量序列，具有共同
的数学期望，并且Var[Xi ] C, i 1, 2, , 则对任意 0有
lim
n
P
X1
X2 n
Xn
0.
注：这里的随机变量不要求是同分布的，
但是要求它们的方差有一致的上界。
第7页
伯努利大数定律可以说是最早发现，也是最基本的大数定律， 以它为基础人们又发展起来其它的大数定律。 大家很容易理解抛硬币出现正面的概率是二分之一，但是日常 生活中，很多问题里事件的概率不能直观感受到或者预先知道， 这时我们就利用伯努利大数定律，以频率来代替概率。
5-1 切比雪夫不等式
7. 在每次试验中, 事件A发生的概率为0.5.利用切比雪夫不等式估计, 在1000次独立试验中, 事件A发生次数在400 ~ 600之间的概率.
事件发生的频率稳定于某一常数 大量随机试验中 测量值的算术平均值具有稳定性
大量抛掷硬币 生产过程中的 字母使用频率 正面出现频率 废品率 ……
5.1 切比雪夫不等式(Chebyshev)
定理5 -1 (Chebyshev不等式) 设随机变量X 的期望E ( X )及D( X )方差存在, 则对任意小正数 0, 有
5.(2009 1)设随机变量X 的期望E ( X ) , 方差D( X ) 2 , 利用切比雪夫 不等式估计P{| X - E ( X ) | 3 2 } ( )
A.
1 9
B.
1 3
C.
8 9
D.1
6.(2008 1)设随机变量X的期望E ( X ) , 方差D( X ) 2 , 利用切比雪夫 不等式估计P{| X - E ( X ) | 3 2 } _____________ .
第五章 大数定律和中心极限定理
概率统计是研究随机变量统计规律性的数学学科, 而随
机变量的规律只有在对大量随机现象的考察中才能显现出
来.研究大量随机现象的统计规律,常常采用极限定理的形式 去刻画,由此导致对极限定理进行研究.极限定理的内容非常 广泛，本章主要介绍大数定律与中心极限定理.
大数定律的客观背景
A. P{| X n | }
n 2
2
n 2
2 B. P{| X | } 1 2 n
C. P{| X | } 1
2
D. P{| X n | }
概率论与数理统计第5章
2、定理以数学形式证明了随机变量X
1
,
X
的算术平均
n
X
1 n
n i 1
X i接近数学期望E( X k ) （k
1,2, n）,这种接近
说明其具有的稳定性
这种稳定性的含义说明算术平均值是依概率收敛的意义下 逼近某一常数.
1.(2010-1)设 n 为n次独立重复试验中事件A发生的次数,p是事件
10
3.(2009 1)
设X i
0, 1,
事件A不发生 事件A发生 (i 1, 2,
,100),且P(A) 0.8,
100
X1, X 2 , , X100相互独立,令Y Xi则由中心极限定理知Y 近似服从于 i 1
正态分布,其方差为________ .
4.(2008 -10)设总体X的分布律为P{X 1} p, P{X 0} 1- p, 其中0 p 1.
P{|
m n
p
|
}1
或
ln im
P{|
m n
p
|
}
0
注： 贝努里大数定律表明，当重复试验次数n充分 大时，事件A发生的频率m/n与事件A的概率p有较 大偏差的概率很小.
事件发生的频率可以代替事件的概率.
5.2.2 独立同分布随机变量的切比雪夫大数定律
定理5-3
设随机变量X
1
,
X
，
2
，X
n
,
是独立同分布随机变量序列,
E( Xi ) , D( Xi ) 2 (i 1, 2, )均存在,则对任意 0有
lim{|
n
概率论与数理统计：5_1大数定律
则对于任意实数 > 0,
P(X ) E(X )
证 仅证连续型 r.v.的情形
P( X
)
f
(x)dx
x
f
(x)dx
1
0
xf
(x)dx
E(X
)
推论 1 ——马尔可夫 ( Markov ) 不等式
设随机变量 X 的k阶绝对原点矩 E( |X |k)
存在，则对于任意实数 > 0,
P(|
X
|
由 Chebyshev 不等式， = 0.01n ,故
P|
令
X
0.75n
|
0.01n
1
0.1875n (0.01n)2
1
0.1875n (0.01n)2
0.90
解得 n 18750
大数定律
贝努里（Bernoulli） 大数定律
设 nA 是 n 次独立重复试验中事件 A 发生 的次数, p 是每次试验中 A 发生的概率, 则 0 有
lim P
n
1 n
n k 1
Xk
0
或
lim P
n
1 n
n k 1
Xk
1
定理的意义
具有相同数学期望和方差的独立 r.v.序列的 算术平均值依概率收敛于数学期望.
当 n 足够大时, 算术平均值几乎是一常数.
数学 期望
可被
算术 均值
近似代替
注1 X1, X 2,, X n , 不一定有相同的数学 期望与方差，可设
P940
X
1060
1059
Ck 6000
k 941
1 6
k
5 6
6000k
P(X ) E(X )
证 仅证连续型 r.v.的情形
P( X
)
f
(x)dx
x
f
(x)dx
1
0
xf
(x)dx
E(X
)
推论 1 ——马尔可夫 ( Markov ) 不等式
设随机变量 X 的k阶绝对原点矩 E( |X |k)
存在，则对于任意实数 > 0,
P(|
X
|
由 Chebyshev 不等式， = 0.01n ,故
P|
令
X
0.75n
|
0.01n
1
0.1875n (0.01n)2
1
0.1875n (0.01n)2
0.90
解得 n 18750
大数定律
贝努里（Bernoulli） 大数定律
设 nA 是 n 次独立重复试验中事件 A 发生 的次数, p 是每次试验中 A 发生的概率, 则 0 有
lim P
n
1 n
n k 1
Xk
0
或
lim P
n
1 n
n k 1
Xk
1
定理的意义
具有相同数学期望和方差的独立 r.v.序列的 算术平均值依概率收敛于数学期望.
当 n 足够大时, 算术平均值几乎是一常数.
数学 期望
可被
算术 均值
近似代替
注1 X1, X 2,, X n , 不一定有相同的数学 期望与方差，可设
P940
X
1060
1059
Ck 6000
k 941
1 6
k
5 6
6000k
5-1大数定律
1 n lim P{| X k | } n n k 1 nA lim P{| p | } 1 n n
nA lim P{| p | } 1 n n
注: ▲ 定理 表明：当 n 很大时,事件A 发生的频率
nA n 接近于事件 A 发生的概率 P, 即证明了频
总结： 大数定律从各个角度描述 了样本的算术平均值的及频率 的稳定性 。也为人们习惯上经 常采用的用样本的算术平均值 去代替或 估计其平均值；用频 率去代替或估计其“概率”提 供了理论上的依据。
率的稳定性。从而，当 n (试验次数) 很大时 可以用事件发生的频率来近似代替事件的概率。 ▲ 称事件A 发生的频率 依概率收敛于事件A的 概率 P。 ▲ 贝努利大数定律提供了通过试验来确定事件概 率的方法。
前面两个大数定律在证明中都是以契比雪夫 不等式为基础的，所以要求随机变量具有方差。 但是进一步的研究表明，在随机变量服从相同分 布的场合，并不需要这一要求，我们有下面的定 理：
2、大数定律的概念 概率论中用来阐明大量随机现象平均结果的 稳定性的一系列定理，称为大数定律（law of large number) 本章将介绍三个大数定律： （1）契比雪夫大数定律、 （2）贝努利大数定律 （3）辛钦大数定律。 它们之间既有区别也有联系。
二、契比雪夫不等式
在介绍大数定律之前，我们先来介绍一个重要 的不等式－契比雪夫( chebyshev)不等式，它是大数 定律的理论基础 设随机变量X有期望E(X)=μ和方差 D(X)＝σ2 ,则对 于任给 >0,
第五章 大数定律与中心极 限定理
本章要解决的问题 1. 为何能以某事件发生的频率 作为该事件的概率的估计？ 2. 为何能以样本均值作为总体 期望的估计？
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数定律的客观背景
大量的随机现象中平均结果的稳定性
大量抛掷硬币 正面出现频率
生产过程中的 字母使用频率 …… 废品率
二、大数定律（难点）
背景：
大数定律研究在什么条件下随机变量序列的算术平均值 收敛于其均值的算术平均值。
nA 1 n n X i p( A) 特例：频率的稳定性。 Rn ( A) n n i 1
0
1
{ln X k }满足辛钦Βιβλιοθήκη 数定律,令Zn ln Yn
1 n P 则Z n ln Yn ln X i 1 n i 1
又函数 f ( x ) e x 连续
故 Yn e
Zn
e
P
1
故 C e 1
本节重点总结
三个大数定律的核心
说明:(1) 另一种形式 lim P{ X n a } 0
n
(2) 对N ,n N时, 落在邻域U (a, )外的X n个数有限,测度为0.
P P P (3) 设X n a , Yn b, 则X n Yn a b. P X n .Yn a .b, P X n / Yn a / b(b 0)
例3 {X k }( k 1, 2, ...)独立同分布,且X k U (0,1), 令 Yn ( X k )
k 1 n
1 n
P 证明 : Yn C , 并求C .
证明 :{ X k }独立同分布, 故{ln X k }也独立同分布.
X k U (0,1),
E (lnX k ) ln xdx 1
说明：
(证明见下页)
nA P (1) n重伯努利试验中, 事件A发生的频率Rn ( A) p( A) n nA (2) 试验次数充分大时,可用频率 近似代替概率p( A) n nA 5 例抛硬币试验 : 若 =0.01, n=10 时, P{ 0.5 0.01} 97.5% n
1 n 1 P { X E ( X ) } P{ X i } n i 1
2 D( X ) 1 n 1 1 2 2 n
1 n 即得 : lim P{ X } lim P{ X i } 1 n n n i 1
证明 : nA代表n重伯努利试验中A发生的次数, nA b(n, p)
第i次A发生 1 令X i (i=1,2,...,n) 0 第i次A没发生
则
nA X1 X 2 ... X n
X i b(1, p), E( X i ) p, D( X i ) p(1 p) (i=1,2,...,)
1 例2 {X n }( n 1, 2, ...)相互独立,P{ X n n } , n 2 P { X n 0} 1 ( n 2, 3, ...), 证明{X n }服从大数定律. n 2 1 1 证明 : E ( X n ) 0* (1 ) n * ( n )* 0 n n n 2 1 1 2 2 D( X n ) E( X n ) 0 * (1 ) n * n * 2 n n n
核心: X 1 , X 2 ,..., X n满足什么条件时,
1 n 1 n P X i E ( X i ) n i 1 n i 1
P 即满足什么条件时, X E( X )
1、切比雪夫大数定律
设随机变量 X 1 , X 2 , ..., X n相互独立,且数学期望和方差相同. 1 n 即E ( X i )= , D( X i )= (比P 89条件弱),令X X i , 则对于 n i 1
nA 1 n 又 X Xi = , n i 1 n 1 n E( X ) E( X i ) p n i 1
又X1 , X 2 ,..., X n相互独立, 根据切比雪夫大数定律
nA lim P{ X } 1, 即lim P{ p } 1 n n n
P
P (2) X , X为总体均值的一致无偏估计,数理统计用 X 估计E( X ).
1 n 1 证明 : E ( X ) E ( X i ) n i 1 n
1 E ( X i ) n * n i 1
n
1 n 1 2 n 1 2 D( X ) D( X i ) ( ) D( X i ) 2 * n 2 n i 1 n i 1 n n 由切比雪夫不等式，可得：
P P (4) 设X n a, 函数y g( x)在x a处连续, 则g( X n ) g(a).
P P (5) 设X n a , Yn b, 函数g( x , y )在点(a , b)处连续, 则 P g( X n , Yn ) g(a , b).
2
1 n 任意 0, lim P { X } 1或 lim P{ X i } 1 n n n i 1
(证明见下页)
说明：
1 n 1 n P (1) X 1 , X 2 ,..., X n的算术平均值X , 即 X i E ( X i ). n i 1 n i 1
3、辛钦大数定律
切比雪夫大数定律中的条件可以弱化: 下面给出的独立同分布下的大数定律， 不要求随机变量的方差存在.
辛钦
设随机变量 X 1 , X 2 , ..., X n相互独立,服从同一分布,且数学期望 1 n E ( X i )= ( k 1, 2, ...). 令X X i , 则对于任意 0, 成立 n i 1 1 n lim P{ X } 1 或 lim P{ X i } 1 n n n i 1
{ X n }满足切比雪夫大数定律 即 P{ X E ( X ) } 1
又 E( X ) E( X n ) 0
1 n P 故 X X i 0 n i 1
2、伯努利大数定律 设nA为n次独立重复试验中随机事件A发生的次数,p是
事件A在每次试验中发生的概率,则对任意 0, 成立 nA nA P lim P{ p } 1, 即 p( A) n n n
第五章
大数定理及中心极限定理
第一节 大数定律
一、依概率收敛简介。
二、大数定律（难点）。
1、切比雪夫大数定律。 2、伯努利大数定律。 3、辛钦大数定律。
一、依概率收敛简介
设 {X n }为一随机变量序列(n=1, 2, ...), a R, 若对 0,
P lim P{ X n a } 1, 则称{X n }依概率收敛于a .记作 : X n a. n
辛钦定律为切比雪夫大数定律特例(D( X i )相同, 分布不一定相同).
注 1、辛钦大数定律为寻找随机变量的期望 值提供了一条实际可行的途径.
2、伯努利大数定律是辛钦定理的特殊情况. 3、辛钦定理具有广泛的适用性.
要估计某地区的平均亩产量 ， 要收割某些有代表性块，例如n 块 地. 计算其平均亩产量，则当n 较 大时，可用它作为整个地区平均亩 产量的一个估计.
3、辛钦大数定律
说明：
(1) 与(切)大数定律区别: 不要求 X1 , X 2 ,..., X n方差存在,但要求分布相同.
(2) X ,
P
1 n 1 n P 形式二: X i n E ( X i ) n i 1 i 1
(3) 伯努利大数定律为辛钦定律特例(X i b(1, p), E ( X i ) p)