第五章中心极限定理(2).
合集下载
概率论与数理统计 中心极限定理
假定每个部件的称量误差 X ~ U (1,1) (单位:kg ),且
每个部件的称量误差相互独立,试求机床重量的总误差的
绝对值不超过 10 kg 的概率。
作业: 第115页,习题5-2,A组:2.
则
n
近似
Xi ~ N (n, n 2 ) 或
i 1
即对任意的 x,有
n
X i n 近似
i 1
~ N (0,1)
n
Hale Waihona Puke nlimP
i 1
n
X i n n
x ( x)
例 5.2.1 为了测定一台机床的质量,把它分解成 75 个部件来称量。
第五章 中心极限定理
中心极限定理解决的问题:
n
大量的随机变量的和 X i 的近似分布是什么? i 1
结论
n
一定条件下, X i 近似服从正态分布。 i 1
一 独立同分布中心极限定理(列维-林德贝格)
设随机变量序列 X1, X 2, , X n , 独立同分布,且数学
期望和方差存在:E(Xi ) , D(Xi ) 2 (i 1,2, , n)
每个部件的称量误差相互独立,试求机床重量的总误差的
绝对值不超过 10 kg 的概率。
作业: 第115页,习题5-2,A组:2.
则
n
近似
Xi ~ N (n, n 2 ) 或
i 1
即对任意的 x,有
n
X i n 近似
i 1
~ N (0,1)
n
Hale Waihona Puke nlimP
i 1
n
X i n n
x ( x)
例 5.2.1 为了测定一台机床的质量,把它分解成 75 个部件来称量。
第五章 中心极限定理
中心极限定理解决的问题:
n
大量的随机变量的和 X i 的近似分布是什么? i 1
结论
n
一定条件下, X i 近似服从正态分布。 i 1
一 独立同分布中心极限定理(列维-林德贝格)
设随机变量序列 X1, X 2, , X n , 独立同分布,且数学
期望和方差存在:E(Xi ) , D(Xi ) 2 (i 1,2, , n)
第5章§2中心极限定理
n
的分布函数 F (对任意 满足 x) x
n
X k n k 1 lim Fn ( x) lim P x n n n
n
x
1 e 2
t2 2
dt Φ ( x )
第五章 大数定律与中心极限定理
§2
, 对于均值为 方差
中心极限定理
4/11
(n 1, 2, )
则
k 1
k 1
x F对任意 若 Z 的分布函数 满足 n ( x) n n nN (0,1) {Z n }的极限分布是否为 Xk k k 1 k 1 一般地,答案是否定的 ! lim Fn ( x) lim P n n n 2 k 取 X n 0 (n 2, 3, ), 则 k 1
O
拉普拉斯
1
2
3
4
5
6
7
8
9
10 11
k
第五章 大数定律与中心极限定理
§2
中心极限定理
7/11
高尔顿( Francis Galton,18221911) 英国人类 学家和气象学家
共15层小钉
-8 -7 -6 -5 -4 -3 -2 -1 O 1 2 3 4 5 6 7 8
x
记 则
Xk
1, 1,
t2 X1 1 1 Z (n Φ 1,( 2, ) n e 2 dt x) 2 1 x
E ( Z n ) 0, D( Zn ) 1 (n 1, 2, ) 部分和标准化 r.v
x
除非 服从正态分布,否则结论就不真 . X 1 n} X 则称 { 服从中心极限定理 第五章 大数定律与中心极限定理
概率论与数理统计 第五章 大数定律与中心极限定理
nA 一种提法是: “当 n 足够大时,频率 n 与概率 p 有较大偏差
的概率很小” ,用数学语言表达,就是要证明: 0 ,有
nA nA lim P p 0 lim P p 1 n ,或 n n . n
另一种提法是:研究随机变量 n A 的分布的极限行为,即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 . n
证 引入
1 , 第i次试验中事件A发生 Xi ,i 1 , 2 , , n , 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验.若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数, 则事件 A 发生的频率为 n . 所谓 “频 率的稳定性” ,无非是指当试验次数 n 无限增大(即 n )时,
nA 频率 n 无限接近于某个固定常数.这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” . nA 由此可见,讨论频率 n 的极限行为,是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识,我们先明确随机变量序列收敛的
相关概念,同时给出一个重要的不等式,它是以下理 论证明所用的主要工具之一.
定 义 1.1 设 a 是常数,对于随机变量序列 ,如果 0 ,有
X1 , X 2 ,
, Xn ,
lim P
n
个常数,即在这个常数的附近摆动,这就是所谓的“频
率稳定性”.但对这一点,至今为止我们尚未给予理论 上的说明.另外,在第二章我们给出了二项分布的泊松 逼近,那么更一般的近似计算方案又是怎样呢?
的概率很小” ,用数学语言表达,就是要证明: 0 ,有
nA nA lim P p 0 lim P p 1 n ,或 n n . n
另一种提法是:研究随机变量 n A 的分布的极限行为,即讨 论分布函数
nA lim P p 0 lim P n n 或 n
nA p 1 . n
证 引入
1 , 第i次试验中事件A发生 Xi ,i 1 , 2 , , n , 0 , 第i次试验中事件A不发生
下面我们进一步来讨论贝努利试验.若记 n A 为 n 次贝努利试
nA 验中事件 A 发生的次数, 则事件 A 发生的频率为 n . 所谓 “频 率的稳定性” ,无非是指当试验次数 n 无限增大(即 n )时,
nA 频率 n 无限接近于某个固定常数.这个固定的常数就是“事 件 A 在一次试验中发生的的概率 p” . nA 由此可见,讨论频率 n 的极限行为,是理解概率论中最基本
2019年1月14日星期一
11 / 102
§5.1
大数定律
作为预备知识,我们先明确随机变量序列收敛的
相关概念,同时给出一个重要的不等式,它是以下理 论证明所用的主要工具之一.
定 义 1.1 设 a 是常数,对于随机变量序列 ,如果 0 ,有
X1 , X 2 ,
, Xn ,
lim P
n
个常数,即在这个常数的附近摆动,这就是所谓的“频
率稳定性”.但对这一点,至今为止我们尚未给予理论 上的说明.另外,在第二章我们给出了二项分布的泊松 逼近,那么更一般的近似计算方案又是怎样呢?
第五章 大数定律与中心极限定理 《概率论》PPT课件
概率论与数理统计
§5.2 中心极限定理
2)中 心极限 定理表明,若 随 机 变 量 序 列
X 1 , X 2 , , X n 独立同分布,且它们的数学期
望及方差存在,则当n充分大时,其和的分布,
n
即 X k 都近似服从正态分布. (注意:不一定是 k 1
标准正态分布)
3)中心定理还表明:无论每一个随机变量 X k ,
概率论与数理统计
§5.1 大数定律
定理1(Chebyshev切比雪夫大数定律)
假设{ Xn}是两两不相关的随机
变量序列,EXn , DXn , n 1,2, 存在,
其方差一致有界,即 D(Xi) ≤L,
i=1,2, …, 则对任意的ε>0,
lim P{|
n
1 n
n i1
Xi
1 n
n i1
E(Xi ) | } 1.
概率论与数理统计
§5.2 中心极限定理
现在我们就来研究独立随机变量之和所 特有的规律性问题.
在概率论中,习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
下面给出的独立同分布随机变量序 列的中心极限定理, 也称列维——林德 伯格(Levy-Lindberg)定理.
概率论与数理统计
§5.2 中心极限定理
大量的随机现象平均结果的稳定性
大量抛掷硬币 正面出现频率
生产过程中的 字母使用频率 废品率
概率论与数理统计
§5.1 大数定律
一、大数定律
阐明大量的随机现象平均结果的稳定性的一系
列定理统称为大数定律。
定义1 如果对于任意 0, 当n趋向无穷时,事件
" Xn X " 的概率收敛到1,即
概率与数理统计 第五章-2-中心极限定理
14 14
2
/ 10
1
P
X
n 14 0.2
0
1 (0) 0.5.
例2 计算机在进行数字计算时,遵从四 舍五入原则。为简单计,现在对小数点后面
第一位进行舍入运算,则舍入误差X可以认 为服从[-0.5 , 0.5]上的均匀分布。若独立进 行了100次数字计算,求平均误差落在区间
3 20
在这里,我们只介绍其中两个最基本 的结论。
1. 当n无限增大时,独立同分布随机变量“之 和”的极限分布是正态分布;
2. 当n 很大时,二项分布可用正态分布近似。
为方便,我们研究 n 个随机变量之和标 准化的随机变量
n
n
Xk E( Xk )
Yn k 1
k 1 n
D( Xk )
k 1
的极限分布。
(3) (3) 0.9973
2. 二项分布的极限分布
定理2.2 (棣莫佛——拉普拉斯定理):
设随机变量X1, X2, …, Xn, … 相互独立,
并且都 服从参数为 p 的两点分布(0<p<1) ,则
对任意 x∈(-∞,+∞),有 E(Xi ) p.
n
lim
P
i 1
Xi
np
x
n
i1
i1
lim
P
i
1
Xi
n
x
x
1
-t2
e 2 dt
(x) ,
n n
- 2
其中Φ(x)是标准正态分布N(0, 1)的分布函数。
n
lim
P
i 1
Xi
n
x
x
n n-1Fra bibliotek- t2
数学概率-姜-5章-2-中心极限定理
f g 0
1
h
2 3 x
例:20个0-1分布的和的分布
几个(0,1)上均匀分布的和的分布 X1 ~f(x)
X1 +X2~g(x)
X1 +X2+X3~ h(x)
概率论
大量相互独立的随机变量,其均值(或者和) 的分布以正态分布为极限。意思就是当满足某些 条件的时候,比如Sample Size比较大,采样次数 趋于无穷大的时候,就越接近正态分布。而这个 定理amazing的地方在于,无论是什么分布的随机 变量,都满足这个定理。
例3 对于一个学生而言, 来参加家长会的家长人数 是一个随机变量, 设一个学生无家长、1名家长、 2名家长来参加会议的概率分别为 0.05, 0.8, 0.15. 若学校共有 400 名学生, 设各学生参加会议的家长 数相互独立,且服从同一分布.
概率论
(1)求参加会议的家长数X 超过450的概率; (2)求有1名家长来参加会议的学生数不多340的概率.
t2 2
近似地
定理表明,当n很大时,ηn
~ N np, np(1 p) .
概率论
证
由第四章知识知可将ηn分解成为n个相互独立、
服从同一(0 1)分布的诸随机变量 X 1 , X 2 , X n之和, n 即有 ηn X k
k 1
其中X k ( k 1, 2,, n)的分布律为 P X k i p i (1 p )1 i , i 0,1 由于E ( X k ) p, D( X k ) p(1 p) k 1,2,, n),
概率论
自从高斯指出测量误差服从正态 分布之后,人们发现,正态分布在 自然界中极为常见.
高斯
如果一个随机变量是由大量相互独立的随机因 素的综合影响所造成,而每一个别因素对这种综合 影响中所起的作用不大. 则这种随机变量一般都服 从或近似服从正态分布. 现在我们就来研究独立随机变量之和所特有 的规律性问题. 当n无限增大时,这个和的极限分布是什么呢?
1
h
2 3 x
例:20个0-1分布的和的分布
几个(0,1)上均匀分布的和的分布 X1 ~f(x)
X1 +X2~g(x)
X1 +X2+X3~ h(x)
概率论
大量相互独立的随机变量,其均值(或者和) 的分布以正态分布为极限。意思就是当满足某些 条件的时候,比如Sample Size比较大,采样次数 趋于无穷大的时候,就越接近正态分布。而这个 定理amazing的地方在于,无论是什么分布的随机 变量,都满足这个定理。
例3 对于一个学生而言, 来参加家长会的家长人数 是一个随机变量, 设一个学生无家长、1名家长、 2名家长来参加会议的概率分别为 0.05, 0.8, 0.15. 若学校共有 400 名学生, 设各学生参加会议的家长 数相互独立,且服从同一分布.
概率论
(1)求参加会议的家长数X 超过450的概率; (2)求有1名家长来参加会议的学生数不多340的概率.
t2 2
近似地
定理表明,当n很大时,ηn
~ N np, np(1 p) .
概率论
证
由第四章知识知可将ηn分解成为n个相互独立、
服从同一(0 1)分布的诸随机变量 X 1 , X 2 , X n之和, n 即有 ηn X k
k 1
其中X k ( k 1, 2,, n)的分布律为 P X k i p i (1 p )1 i , i 0,1 由于E ( X k ) p, D( X k ) p(1 p) k 1,2,, n),
概率论
自从高斯指出测量误差服从正态 分布之后,人们发现,正态分布在 自然界中极为常见.
高斯
如果一个随机变量是由大量相互独立的随机因 素的综合影响所造成,而每一个别因素对这种综合 影响中所起的作用不大. 则这种随机变量一般都服 从或近似服从正态分布. 现在我们就来研究独立随机变量之和所特有 的规律性问题. 当n无限增大时,这个和的极限分布是什么呢?
第五章 中心极限及大数定理《概率论与数理统计》西南交大峨眉校区剖析
定理 2(伯努利大数定理):设进行了 n 次伯努利试验,事件 A 的频率为 fn ( A) ,
A 在每次试验中发生的概率为 p ,则对任意正数 ,有
lim
n
P(
fn (A)
p
)
1,
即 fn ( A) P p P(A) ( n )。
(5.3)
伯努利大数定理说明,在 n 时,随机事件 A 发 生 的 频 率 fn ( A) 依 概 率 收 敛 于 事 件 A 发 生 的 概 率
P(8 Y
2) P( Y EY
5) P( Y EY
5)
1
DY 52
1 8 17 25 25
例 3:进行 100 次重复独立试验,事件 A 在每次试验中发生的概率为 0.5 ,试利用切比雪夫 不等式估计 100 次试验中事件 A 发生的次数在 40 至 60 次之间的概率。
解:设随机变量 X 表示 100 次重复独立试验中事件 A 发生的次数,则 X ~ B(100, 0.5) ,
2.依概率收敛
定义 1:设 X1, , Xn, 是一个随机变量序列,如果对于任意的正数 ,
事件 Xn a 的概率当 n 时趋于 1,即
lim P
n
Xn a
1
则称随机变量序列Xn 当 n 时依概率收敛于数 a ,
记为 X n P a ( n )。
二、大数定理
大数定理是由“频率稳定于概率”这个概率的统计定义引申而来, 它叙述在什么条件下随机变量序列的算术平均值收敛于其均值的 算术平均值。 所谓“大数”,就是指涉及大量数目的观测,它表明定理中所指 的现象,只有在大量次数的试验和观测之下才能成立
,试验证随机变量序列 X1,
, Xn,
满足
A 在每次试验中发生的概率为 p ,则对任意正数 ,有
lim
n
P(
fn (A)
p
)
1,
即 fn ( A) P p P(A) ( n )。
(5.3)
伯努利大数定理说明,在 n 时,随机事件 A 发 生 的 频 率 fn ( A) 依 概 率 收 敛 于 事 件 A 发 生 的 概 率
P(8 Y
2) P( Y EY
5) P( Y EY
5)
1
DY 52
1 8 17 25 25
例 3:进行 100 次重复独立试验,事件 A 在每次试验中发生的概率为 0.5 ,试利用切比雪夫 不等式估计 100 次试验中事件 A 发生的次数在 40 至 60 次之间的概率。
解:设随机变量 X 表示 100 次重复独立试验中事件 A 发生的次数,则 X ~ B(100, 0.5) ,
2.依概率收敛
定义 1:设 X1, , Xn, 是一个随机变量序列,如果对于任意的正数 ,
事件 Xn a 的概率当 n 时趋于 1,即
lim P
n
Xn a
1
则称随机变量序列Xn 当 n 时依概率收敛于数 a ,
记为 X n P a ( n )。
二、大数定理
大数定理是由“频率稳定于概率”这个概率的统计定义引申而来, 它叙述在什么条件下随机变量序列的算术平均值收敛于其均值的 算术平均值。 所谓“大数”,就是指涉及大量数目的观测,它表明定理中所指 的现象,只有在大量次数的试验和观测之下才能成立
,试验证随机变量序列 X1,
, Xn,
满足
第五章--大数定律与中心极限定理
P{ X
μ
ε
}
1
σ2 ε2
.
第一节 大数定律
大数定律— 概率论中有关阐明大量随机现象平 均结果的稳定性的一系列定理。
迄今为止,人们已发现很多大数定律(laws of large numbers)所谓大数定律,简单地说,就是大 量数目的随机变量所呈现出的规律,这种规律一般 用随机变量序列的某种收敛性来刻画。
i 1
100
P{380 Xi 420}
i 1
100
P{380 400 i1 Xi 400 420 400}
225
225
225
(4) ( 4)
3
3
2(1.333) 1 0.8164.
例 某车间有同型号机床200台,它们独立地工作着.每台开工的 概率为0.7,开工时每台耗电15kw.问供电部门最少要供应该车间 多少电能,才能以95%的概率保证不致因供电不足而影响生产.
X n P a
1.伯努利大数定理
定理2 设试验E可重复进行,事件A在每次实验中出现的
概率为p,将试验进行n次,nA表示事件A发生的次数,则
对任意 0,有
lim P{| nA p | } 1
n
n
证明:
因为n A
~
b(n,
p),
故E(nA )
np,
D(nA )
np(1
p)
从而E(nA ) n
(2) " n很大"是一个较为模糊的概念, 经验告诉我们, 如果取 n 50(有时可放宽到n 30),则近似程度便可以满足一般 要求.当然,n越大精度越好.
德莫佛---拉普拉斯定理:
设随机变量Xn ~ B(n, p), (n 1, 2 ),则对 任意x R,有 lim P{ X n np x} (x)
东华大学《概率论与数理统计》课件 第五章 大数定律与中心极限定理
7 8.75E-06 6.2863E-05 7.19381E-05 7.28862E-05 7.2992E-05
8 3.65E-07 7.3817E-06 8.93826E-06 9.1053E-06 9.124E-06
4 0.01116 0.01494171 0.015289955 0.015324478 0.01532831
5 0.001488 0.00289779 0.003048808 0.003063976 0.00306566
6 0.000138 0.00046345 0.0005061 0.000510458 0.00051094
ln n) + 1 ( 2
ln n) = 0
Dn
=
E
2 n
=
1 2
(ln n) +
1 2
(ln n)
=
ln n
→
但 1
n2
n
D( i ) =
i =1
1 n2
n i =1
Di
=
1 n2
n
ln i
i =1
1 n2
n
ln n =
i =1
ln n n
→0
满足马尔可夫条件,{
}服从大数定律
n
注意: 辛钦大数定律只要求一阶矩存在,但是 随机变量序列是独立同分布的. 若所讨论的 随机变量序列是不服从同分布的要求或不独 立可应用切比雪夫大数定律 或者马尔可夫大 数定律 .
(2)设 n 为 n 次独立重复试验中 A 出现的次数, p 是事件 A 在每次试验中出现的概率, 0 ,
则
lim
n→
P{
n
n
−
p
《概率论与数理统计》课件第五章大数定律及中心极限定理
有极其重要的地位?
4.大样本统计推断的理论基础
是什么?
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景:1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证:_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布,则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点:用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布,当n很大时,计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计?
2.为何能以样本均值作为总体
期望的估计?
3.为何正态分布在概率论中占
解:(1)设X表示一年内死亡的人数,则~(, ),其中=,=.%. 设Y表示保险公司一年的利润,=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且,
由中心极限定理
解:设为第i个螺丝钉的重量, 相互独立同分布. 于是,一盒螺丝钉的重量为
4.大样本统计推断的理论基础
是什么?
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景:1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证:_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布,则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章 大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点:用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布,当n很大时,计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计?
2.为何能以样本均值作为总体
期望的估计?
3.为何正态分布在概率论中占
解:(1)设X表示一年内死亡的人数,则~(, ),其中=,=.%. 设Y表示保险公司一年的利润,=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且,
由中心极限定理
解:设为第i个螺丝钉的重量, 相互独立同分布. 于是,一盒螺丝钉的重量为
第五章 大数定律与中心极限定理
( ) = ∑ X − nµ n ⋅σ D (∑ X )
n n i =1 i
lim FYn ( x) = lim P{Yn ≤ x} = Φ ( x) ,
n→∞ n →∞
(5.6)
其中 Φ ( x) 为标准正态分布函数. 由列维-林德贝格中心极限定理可得计算有关独立同分布随机变量和 的事件概率的近似 .......... 公式:
X ~ B(3000,0.001) ,E(X)=np=3,D(X)=np(1-p)=2.997.
由德莫佛-拉普拉斯中心极限定理得保险公司一年获利不小于 10000 元的概率为
P{10000 ≤ 30000 − 2000 X ≤ 30000} = P{0 ≤ X ≤ 10}
10 − 3 0−3 ≈ Φ − Φ 2.997 2.997
n x − nµ x − nµ P ∑ X i ≤ x = P Yn ≤ ≈ Φ . i =1 n ⋅σ n ⋅σ
{
}
(5.7)
例 1 设一加法器同时收到 20 个噪声电压 Vk ( k = 1,2, " ,20) ,它们是相互独立的随机变量, 且都服从区间(0,10)上的均匀分布,试求 P ∑ Vk > 105 .
第2 页 共6 页
概率论与数理统计
第五章 大数定律 与中心极限定理
定理 3 (辛钦大数定律) 设随机变量 X 1 , X 2 , " , X n , " 相互独立,服从同一分布且存在 相同的期望 E(Xi)=μ(i=1,2,…),则对任意正数ε有
1 n lim P X i − µ < ε = 1. ∑ n→∞ = 1 i n §5.2 中心极限定理
第五章大数定理与中心极限定理
2. 随机事件的频率
lim P p =1 n n
p f n p
n
作业
P112
1、3、6、7
§5.4中心极限定理
在客观实际中有许多随机变量,它们是由大 量的相互独立的随机因素的综合影响所形成的。 而其中每一个别因素在总的影响中所起的作用 都是微小的。这种随机变量往往近似地服从正 态分布,这种现象就是中心极限定理的客观背 景。
设{ξn}为随机变量序列,ξ为随机变量,其对 应的分布函数分别为Fn(x), F(x). 若在F(x)的连 续点,有
第五章
大数定律与中心极限定理
5.1大数定律的概念 5.2切贝谢夫不等式 5.3切贝谢夫定理 5.4中心极限定理
“概率是频率的稳定值”。前面已经提到, 当随机试验的次数无限增大时,频率总在其概 率附近摆动,逼近某一定值。大数定理就是从 理论上说明这一结果。正态分布是概率论中的 一个重要分布,它有着非常广泛的应用。中心 极限定理阐明,原本不是正态分布的一般随机 变量总和的分布,在一定条件下可以渐近服从 正态分布。这两类定理是概率统计中的基本理 论,在概率统计中具有重要地位。
பைடு நூலகம்
大数定律以确切的数学形式表达了这种规 律性,并论证了它成立的条件,即从理论上阐述 了这种大量的、在一定条件下的、重复的随机 现象呈现的规律性即稳定性.由于大数定律的作 用,大量随机因素的总体作用必然导致某种不依 赖于个别随机事件的结果.
§5.2 切贝谢夫不等式
一个随机变量离差平方的数学期望就是它的
f n p
n
证明:设
则
1 第i次试验事件A发生 i 0 第i次试验事件A不发生
E (i ) p, D(i ) p(1 p)
第五章 大数定律与中心极限定理
X
i 1
n
i
n
,
P{| Yn a | } 1 如果满足 lim n
称
Yn
依概率收敛于数a,记为
Yn a.
P
大数定律讨论的是依概率收敛的问题。
大数定律以严格的数学形式表达了随 机现象最根本的性质之一: 平均结果的稳定性 它是随机现象统计规律的具体表现. 大数定律在理论和实际中都有广泛的应用.
下面给出的独立同分布随机变量序列 的中心极限定理, 也称列维一林德伯格 (Levy-Lindberg)定理.
定理1(独立同分布下的中心极限定理) 设X1,X2, …,Xn是独立同分布的随机 变量序列,且E(Xi)= ,D(Xi)= 2 , i=1,2,…,n,则
lim P{
n
X
i 1
下面我们再举一例说明大数定律的 应用.
定积分的概率计算法 求 I g ( x )dx 的值
0 1
求 I g ( x )dx 的值
0
1
我们介绍均值法,步骤是
1) 产生在(0,1)上均匀分布的随机数rn, n=1,2,…,N 2) 计算g(rn), n=1,2,…,N
3) 用平均值近似积分值
0 1 解: X k ~ , 0.1 0.9
E(Xk)=0.1, k=1,2, …,n
诸Xk 独立同分布,且期望存在,故能 使用大数定律.
0 1 解: X k ~ , 0.1 0.9
E(Xk)=0.1, k=1,2, …,n
诸Xk 独立同分布,且期望存在,故能使用 大数定律.
n
D ( X k )
k 1
的分布函数的极限.
考虑 Z n
X
k 1
概率论-第5章 大数定律及中心极限定理
§1 大数定律
一、问题的引入
生产过程中的 字母使用频率 废品率 启示:从实践中人们发现大量测量值的算术平均值 有稳定性.
大量抛掷硬币 正面出现频率
§1 大数定律
一、问题的引入
大数定律的概念 概率论中用来阐明大量随机现象平均结果的 稳定性的一系列定理,称为大数定律(law of large number)
§2 中心极限定理
即考虑随机变量X k (k 1, n)的和 X k的标准化变量
k 1 n
Yn
X
k 1
n
k
E ( X k )
k 1 n
n
D ( X k )
2
说明每一个随机变量都有相同的数学期望。
§1 大数定律
检验是否具有相同的有限方差?
Xn P
2
( na ) 1 2 2n
2 n
2
0 1 1 2 n
2
( na ) 1 2 2n
2
1 2 a , E ( X ) 2( na ) 2 2n 2 ) [ E ( X n )]2 a 2 . D( X n ) E ( X n
使得当 x a y b 时,
g( x , y ) g(a , b)பைடு நூலகம் ,
§1 大数定律
于是 { g( X n , Yn ) g(a, b) }
{ X n a Yn b }
X n a Yn b , 2 2
§2 中心极限定理
自从高斯指出测量误差服从正态分布之后,人 们发现,正态分布在自然界中极为常见.
如果一个随机变量是由大量相互独立的随机因 素的综合影响所造成,而每一个别因素对这种综合 影响中所起的作用不大. 则这种随机变量一般都服 从或近似服从正态分布. 现在我们就来研究独立随机变量之和所特有 的规律性问题.
第5章 大数定律及中心极限定理
定理2(辛钦大数定律) 设随机变量序列X1,X2, … 相互独立, 服从同一分布,具有数学期E(Xi)=μ, i=1,2,…, 则对于任意正数ε ,有
辛钦
1 n lim P{| X i | } 1 n n i 1
注
1、辛钦大数定律为寻找随机变量的期望值 提供了一条实际可行的途径.
2、切比雪夫大数定律是辛钦定理的特殊情况. 3、辛钦定理具有广泛的适用性.
例1 在一个罐子中,装有10个编号为0-9的同样 的球,从罐中有放回地抽取若干次, 每次抽一个, 并记下号码. 1 第k次取到号码 0 设 Xk = ,k=1,2, … 0 否则 问对序列{Xk}能否应用辛钦大数定律?
即有
n X k
k 1
n
其中X k ( k 1,2,, n)的分布律为 PX k i p i (1 p)1 i , i 0,1
由于E ( X k ) p, D( X k ) p(1 p) k 1,2,, n),
由定理 4得 n X k np n np lim P{ x } lim P{ k 1 x} n n np(1 p) np(1 p )
V 20 5 105 20 5 PV 105 p 100 12 20 100 12 20
V 20 5 p 0.387 100 12 20
V 20 5 1 p 0.387 100 12 20
n 1 P Xk 1 2 n k 1 上式中令 n 得 1 n lim P{| X i | } 1 n n i 1
n 2
说明
1 n 1、定理中{| X i | }是指一个随机事件, n i 1 当n 时,这个事件的概率趋于1.
辛钦
1 n lim P{| X i | } 1 n n i 1
注
1、辛钦大数定律为寻找随机变量的期望值 提供了一条实际可行的途径.
2、切比雪夫大数定律是辛钦定理的特殊情况. 3、辛钦定理具有广泛的适用性.
例1 在一个罐子中,装有10个编号为0-9的同样 的球,从罐中有放回地抽取若干次, 每次抽一个, 并记下号码. 1 第k次取到号码 0 设 Xk = ,k=1,2, … 0 否则 问对序列{Xk}能否应用辛钦大数定律?
即有
n X k
k 1
n
其中X k ( k 1,2,, n)的分布律为 PX k i p i (1 p)1 i , i 0,1
由于E ( X k ) p, D( X k ) p(1 p) k 1,2,, n),
由定理 4得 n X k np n np lim P{ x } lim P{ k 1 x} n n np(1 p) np(1 p )
V 20 5 105 20 5 PV 105 p 100 12 20 100 12 20
V 20 5 p 0.387 100 12 20
V 20 5 1 p 0.387 100 12 20
n 1 P Xk 1 2 n k 1 上式中令 n 得 1 n lim P{| X i | } 1 n n i 1
n 2
说明
1 n 1、定理中{| X i | }是指一个随机事件, n i 1 当n 时,这个事件的概率趋于1.
5.2中心极限定理
E ( X ) np 1000 0.05 50 ,
D( X ) np(1 p) 50 0.95 47.5 ,
由D-L中心极限定理, X ~ N (50, 47.5) ,
P{40 X 60} Φ(
60 50 47.5
) Φ(
40 50 47.5
第五章
1
在数学中大家都注意到这样的现象:有时候一个 有限的和很难求, 但一经取极限由有限过渡到无限, 则问题反而好办. 例如, 若对某一x,要计算和
x2 x3 xn Sn ( x ) 1 x , 2! 3! n!
则 当 n 很 大 时 , 很 难 求 S n ( x ) , 而一经取极限,则有
, 解 设一年内死亡的人数为X,则 X ~ B(10000 0.006) ,
由D-L中心极限定理, X ~ N (60, 60 0.994) ,
(1) P{10000X 1200000 P{ X 120} }
P{
X 60 59.64
120 60 59.64
} 1 (
简单的结果
lim S n ( x ) e .
x n
x 利 用 这 个 结 果 ,当 n 很 大 时 ,可 以 把 e 作 为 S n ( x )
的近似值.
2
在 概 率 论 中 也 存 在 类 似 的 情 况 :如 果 X 1 , X 2 ,, X n 是 一 些 随 机 变 量 , 则 X1 X 2 X n 的 分 布 一 般 很 复 杂 ,因 而 自 然 会 问 :能 否 利 用 极 限 的 方 法作 近 似 计 算 ?
}
(2) (1) 0.8185 .
中心极限定理
i
160
32 1 ( 1.77) (1.77) 0.96
1.77}
即至少有150名员工通过这种资格考试的概率 为0.96.
例4. 甲、乙两个剧院在竞争1000名观众.假设每 个观众完全随意地选择一个剧院,且观众选择剧 院是彼此独立的,问每个剧院应设多少个座位,才 能保证因缺少座位而使观众离去的概率小于 1%?
X
i 1 n
n
np(1-p)=250.995
i
np
np (1 p )
3 np } np (1 p )
5 5 i 1 P{ } 25 0.995 25 0.995 25 0.995 (1) ( 1) 2 (1) 1 0.6826
现在我们就来研究独立随机变量之和所 特有的规律性问题. 当n无限增大时,这个和的极限分布是 什么呢?
在什么条件下极限分布会是正态的呢?
由于无穷个随机变量之和可能趋于∞, 故我们不研究n个随机变量之和本身而考虑 它的标准化的随机变量
Yn
X
k 1
n
k
E ( X k )
k 1 n
n
Var ( X k )
这一讲我们介绍了中心极限定理 中心极限定理是概率论中最著名的结果 之一,它不仅提供了计算独立随机变量之和 的近似概率的简单方法,而且有助于解释为 什么很多自然群体的经验频率呈现出钟形曲 线这一值得注意的事实. 在后面的课程中,我们还将经常用到中心 极限定理.
复习 这一章的内容为切比雪夫不等式,大数定理和 中心极限定理,要了解各定理的内容与思想, 会利用切比雪夫不等式和中心极限定理估计和 近似计算一些事件的概率
i
X
25
160
32 1 ( 1.77) (1.77) 0.96
1.77}
即至少有150名员工通过这种资格考试的概率 为0.96.
例4. 甲、乙两个剧院在竞争1000名观众.假设每 个观众完全随意地选择一个剧院,且观众选择剧 院是彼此独立的,问每个剧院应设多少个座位,才 能保证因缺少座位而使观众离去的概率小于 1%?
X
i 1 n
n
np(1-p)=250.995
i
np
np (1 p )
3 np } np (1 p )
5 5 i 1 P{ } 25 0.995 25 0.995 25 0.995 (1) ( 1) 2 (1) 1 0.6826
现在我们就来研究独立随机变量之和所 特有的规律性问题. 当n无限增大时,这个和的极限分布是 什么呢?
在什么条件下极限分布会是正态的呢?
由于无穷个随机变量之和可能趋于∞, 故我们不研究n个随机变量之和本身而考虑 它的标准化的随机变量
Yn
X
k 1
n
k
E ( X k )
k 1 n
n
Var ( X k )
这一讲我们介绍了中心极限定理 中心极限定理是概率论中最著名的结果 之一,它不仅提供了计算独立随机变量之和 的近似概率的简单方法,而且有助于解释为 什么很多自然群体的经验频率呈现出钟形曲 线这一值得注意的事实. 在后面的课程中,我们还将经常用到中心 极限定理.
复习 这一章的内容为切比雪夫不等式,大数定理和 中心极限定理,要了解各定理的内容与思想, 会利用切比雪夫不等式和中心极限定理估计和 近似计算一些事件的概率
i
X
25
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
k
1 2
k
e
x2 2
dx (k ) (k ) 2(k ) 1
11
题解续
当 k 3 时有: P 0.866103 99.7% 即我们能以 99.7%的概率断言:
1 0.86610 。这个结果只是前面上限估计的 。 60 • 历史上,误差分析是概率论的重要生长点之一。19世纪 初,德国数学家Gauss正是在研究测量误差时引进了正 态分布并发展了具有广泛应用的最小二乘法,至今这仍 是概率论与生产实际具有广泛联系的领域之一。
X Xi
i 1
200
由独立同分布的中心极限定理得:
X近似服从正态分布,且EX=∑EXi=200EXi=20000, DX=200DXi=20000, 所求为P(X>20500)= 1-P(X≤20500)
1 (
故
20500 20000 20000
) 1 ( 3.54 )
n
5
几个常见的中心极限定理。
定理 5.3.1 设随机变量 X 1 , X 2 , , X n , 相互独立, 服从同一分布,且具有数学期望和方差: E( X k ) , D( X k ) 2 0 , (k 1,2, ) ,
n X k E X k k 1 k 1 记 Yn n D X k k 1 则恒成立
15
定理含义分析
• 从理论上揭示了正态分布的形成机制:如果某一 个量的变化是由大量微小的、相互独立的随机因 素综合作用的结果,而且这些随机因素中没有任 何一个是起主导作用的,那么,这个量就是一个 服从正态分布的随机变量,至少它近似地服从正 态分布。这种机制在经济问题中是常见的,当我 们对一些经济问题进行定量分析时,往往假定在 主要因素的影响之外,其它各种因素的影响可以 用一个服从正态分布的随机变量来表示,其根据 即在于此。
7
林德贝格定理—勒维 (i.i.d下中心极限定理)强调
X1,X2,…,X n,…为独立同分布序列,期望μ ,方差 σ 2>0, 那么当n充分大时,
X 近似服从 N (n , n
所以
i 1 i
n
2
)
X
i 1
n
i
n
近似服从 N (0,1)
n
n
注 意
lim { i 1
X
n
=0.0002
一箱味精净重大于20500的概率为0.0002.
13
定理5.3.2
定理 5.3.2 设随机变量 X 1 , X 2 ,, X n , 相互独立,
E ( X i )
i 1 n n
且 E( X k ) k , D( X k ) k2 , (k 1,2, ) , 记 Zn
3
定义 5.3.1 若独立随机变量序列 X 1 , X 2 ,, X n , 的标准化和
Yn
X
i 1
n
i
E ( X i )
i 1 n
n
D ( X i )
i 1
使得 lim PYn x
n
1
2 则称随机变量序列 Yn 服从中心极限定理 (The Central Limit Theorem) 。 从上述定义中可以看出: 1) 时, (1)由于当 Yn ~ N (0,
17
定理5.3.3
定理 5.3.3 若 n A 是随机变量序列,且 n A ~ B(n, p) , n A np (n 1,2,) ,记 n ,则恒成立 np(1 p)
n
2 定理 5.3.3 称为德莫佛 拉普拉斯 (De Moivre-Laplace)中心极限定理。
n
X
k 1
n
k
n
n
,
2 定理 5.3.1 称为林德贝格——勒维(Lindeberg-Levy) 中心极限定理,也称为独立同分布的中心极限定理。 证明略。
n
lim PYn x
1
x
e
t2 2
dt
(5.3.1)
6
• Lindeberg-Levy中心极限定理有着非常广 泛的应用。在实际问题中,只要足够大, 便可以把独立同分布的随机变量之和当 作是正态随机变量来处理。 • 这种做法在数理统计中使用得非常普遍, 当处理大样本问题时,它将作为一个非 常重要的工具。
lim P n x
1
x
e
t2 2
dt
(5.3.3)
18
证 因为 n A ~ B(n, p) ,所以 n A 表示 n 重 Bernoulli 试验中事件 A 出现的次数。定义
1, 第k次试验出现A Xk 0, 否则 则有 n A X 1 X 2 X n 。由于 X 1 , X 2 ,, X n , 相互独立, (0 1 ) 都服从 分布,且有 E X k p, D X k p(1 p) , 因为 n n n X k E X k X k n n A np k 1 k 1 k 1 Yn n n np(1 p) n D X k k 1 所以应用 Lindeberg-levy 中心极限定理有:
P k 1 a np np(1 p )
k2
1 2
n A np np(1 p ) e
x p ) b np 1 2 e
t 2
2 2
k 2 k1
n
lim PZ n x
1
e
t2 2
dt
(5.3.2)
14
上述定理表明:在相当广泛的情形下, 无论随机变量 X k 服从怎样的分布, 只要 n 充分大,那么它们的和 就近似地服从正态分布。 这就是为什么正态分布是 实际问题中最常见的一种分布, 以及为什么正态分布在概率论中 占有非常重要地位的一个基本原因;
n
lim P n x
1 2
x
e
t2 2
dt
19
这个定理便是 Bernoulli 试验场合下的中心极限定理。 关于这一古典结果在各种场合下的推广, 构成了我们所研究的一系列中心极限定理。
上述定理的结果表明:二项分布的极限分布是正态分布。 因此,当 n 充分大时,若随机变量 n A ~ B(n, p) , 则近似地有: n A ~ N np, np(1 p) , 于是我们可以利用正态分布近似地计算形如 Pa n A b 的概率。 事实上,若记 np , np(1 p) 2 ,则有 Pa n A b
2
定理复习
复习 X~N(μ,σ2) X 定理 设X~N(μ,σ2), Y , 则Y~N(0,1). 所以,若X~N(μ,σ2), 则 P(X<a)= (
a
) ) (
P(X>a)= 1 ( a )
a
P(a<X<b)= (
b
)
中心极限定理就是研究随机变量标准化和的分布函数 收敛于标准正态分布问题,这一点和大数定律的前n项 和的算术平均数收敛有很大相似。
3
12
例.用机器包装味精,每袋味精净重为随机变量,期望值为100
克,标准差为10克,一箱内装200袋味精,求一箱味精净重大 于20500克的概率?
解: 设一箱味精净重为X,箱中第i袋味精净重为Xi,(i=1,2,…,200)
则 且 X1,X2,…,X200独立同分布, EXi=100, DXi=102=100,
i
n x} ( x)
n
(1)一般地,只要n比较大,就可应用以上定理; (2)应用该定理时,需要找出独立同分布的随机变量序列以及 它们的期望和方差,再应用正态分布的有关计算方法.
8
例题
例 5.3.1 在数值计算中,任何实数 x 都 只能用一定位数的有限小数 y 来近似, 这就产生了一个误差 z x y 。 假定每个数都按四舍五入的方法保留 到十进制小数点后 5 位, 则相应的舍入误差可以看作是 5 5 0.5 10 ,0.5 10 上的均匀分布。 若将 10000 个数 x i 相加, 试估计所有这些数和的误差。
i 1 n
显然这种估计方法太保守, 我们可以考虑用概率论的方法重新进行估计。 因为: 0.5 105 E z i 0 , Dz i 3
10
此时可以假定 z i 相互独立,且 n 10000较大, 所以应用 Lindeberg-Levy 中心极限定理有: n z i n n i 1 P z i k n P k k n i 1
X
i 1
n
i
D ( X i )
i 1
, B n2 k2 ,
k 1
n
若存在 0 ,使得当 n 时, 1 n 2 E X k k 0 ,则恒成立 2 Bn k 1
x
2 定理 5.3.2 称为李雅普诺夫(Liapunov)中心极限定理。 证明略。
k1
dx
b
a
d
20
在这里,顺便澄清一个概念。在前面章节的讨论中, 我们曾学习过二项分布的泊松逼近。 当时,泊松分布虽然是作为二项分布的极限分布而引入的, n 但极限过程是: np , n 而现在所说的“二项分布的极限分布是正态分布” n 这一结论涉及的极限过程是: p是常数 。
x
e
t2 2
dt 恒成立,
4