【概率统计】第五章大数定理与中心极限定理

合集下载

【概率统计】第五章大数定理与中心极限定理

第五章
大数定律与中心极限定理
§5.1大数定律的概念 §5.2切贝谢夫不等式 §5.3切贝谢夫定理 §5.4中心极限定理
§5.1大数定律的概念
•例1 掷一颗均匀的正六面体的骰子,出现么点的概率是1/6,在掷的次数比较少时,出现么点的频率可能与 1/6相差得很大.但是在掷的次数很多时,出现么点的频率接近1/6几乎是必然的. 例2 测量一个长度a,一次测量的结果不见得就等于a,量了若干次,其算术平均值仍不见得等于a,但当测量的次数很多时,算术平均值接近于a几乎是必然的.
设{ξn}为随机变量序列，ξ为随机变量，若任给 >0, 使得
lim P{| n | } 1
n
则称{ξn}依概率收敛于ξ. 可记为
n .
P
切比雪夫不等式
如
n a
p
意思是:当 n 时,ξn落在
(a , a ) 内的概率越来越大. n0 , n n0
并验证切贝谢夫不等式成立. 解:因为ξ的概率函数是 P( k ) 1/ 6(k 1, 2,6)
所以
Eξ=7/2 Dξ=35/12 P(│ξ-7/2│≥1)=2/3 P(│ξ-7/2│≥2)=P(ξ=1)+P(ξ=6)=1/3
ε=1: Dξ/ε2=35/12>2/3 ε=2: Dξ/ε2=1/4×35/12=35/48>1/3 可见,ξ满足切贝谢夫不等式.
可见,虽然有10000盏灯,但是只要有供应7200 盏灯的电力就能够以相当大的概率保证够用. 事实上,切贝谢夫不等式的估计只说明概率大于0.95,后面将具体求出这个概率约为0.99999, 切贝谢夫不等式在理论上具有重大意义,但估计的精确度不高.

概率论与数理统计第五章

Xn ⎯ ⎯→ X 2. 依概率收敛与依分布收敛的关系
依概率收敛 ⇒ 依分布收敛
L
3. 定义：中心极限定理设随机变量 X ~ N(0,1)，{Xi }，i = 1, 2, … 相互独立，且数学期望和方差都存在, 若标准化随机变量序列
∑
n
i =1
Xi −
∑ E(X
i =1
n
i
)
∑
n
i =1
D(X i)
所以结论成立。由此有，若X ~ B( n, p )，对于足够大的n，有 ⎧ m1 − np X − np m2 − np ⎫ ⎪ ⎪ < ≤ P{m1 < X ≤ m2 }= P ⎨ ⎬ np(1 − p) np(1 − p) ⎪ ⎪ np(1 − p) ⎩ ⎭
⎧ Yn − np ⎫ ⎪ ⎪ ≤ x ⎬ = Φ( x ) lim P ⎨ n →∞ ⎪ np(1 − p ) ⎪ ⎩ ⎭
证明：对于任意正整数n，随机变量Yn 可表示为证明：对于任意正整数n Yn = X1＋ X2＋…＋ Xn X1, X2,…, Xn 相互独立，Xi ~ B( 1, p )，且有 E( Xi ) = p , D( Xi ) = p(1-p) 所以随机变量序列{ Xi }, i =1,2,…满足独立同分布中心极限定理条件。即有
切比雪夫不等式的应用 1）估计随机变量落在某个区间内的概率 (P125例5.5.2) 2）估计ε的值, 使 P(│X - E(X)│<ε) ≥ a (0<a<1) 3）证明大数定律。
二. 大数定律定义：依概率收敛设{Xn}是一个随机变量序列，X 是一个随机变量或常数，若对于任意的ε＞ 0，有 lim P{| X n − X |≥ ε } = 0

概率论与数理统计第5章大数定律和中心极限定理

5.1 大数定律作为上述定理得特殊情况，可以得到如下重要定理：定理 5.3 （伯努利大数定律）设 nA 是 n 重伯努利试验中事件 A 发生的次数， p 是事件 A 在每次试验中发生的概率，则对于任意正数，有
nA P nA 即 (5.4) p ( n ) limP p 1 n n n
第五章大数定律和中心极限定理【吸烟率调查问题】某卫生组织为确定某城市成年男子的吸烟率p，将被调查的成年男子中吸烟的频率作为p的估计，现在要保证有 90% 以上的把握，使得调查对象吸烟者的
频率与该城市成年男子的吸烟率p之间的差异不大于
5%，问至少要调查多少对象？
5.1
大数定律
对某个随机变量 X进行大量的重复观测，所得到的大批观测数据的算术平均值也具有稳定性，由于这类稳定性都是在对随机变量进行大量重复试验的条件下呈现出来的，历史上把这种试验次数很大时出现的规律统称为大数定律．
即对于任意正数，有
1 n limP X i 1 n n i 1
1 n P X (n ) 也即 (5.3) i n i 1 n n 1 1 1 证：因为 E ( X i ) E ( X i ) n n n i 1 n i 1 1 n 1 D( X i ) 2 n i 1 n
nA p 实际上几乎是必定要发生的，即对于给 n
用事件发生的频率来近似地代替事件发生的概率．
5.1 大数定律上述契比谢夫大数定律中要求随机变量 X1 ， X2 ， … ， Xn ， … 的方差存在，实际上，在高等概率
论中已经证明了在不要求D(Xi)（i = 1，2，…）存在

第五章大数定律及中心极限定理

求P{V>105}的近似值
解 E(Vk)=5, D(Vk)=100/12 (k=1,2,…,20).
20
Vk 20 5
Z k1
V 20 5
100/ 12 20 100/ 12 20
近似服从正态分布N(0,1),
P{V 105} P{ V 20 5 105 20 5 }
100/ 12 20 100/ 12 20
设随机变量 X1 , X2 ,…, X n 相互独立, 服从同一分
布 , 且具有相同的数学期望和方差， E(Xk) ,
D( Xk ) 2 0,(k 1,2,),则随机变量
n
n
n
Xk E( Xk ) Xk n
Yk k1
k 1 n
D( Xk )
k1
n
k 1
n k 1
Xk
|
}
1
说明
伯努利大数定理是辛钦定理的特殊情况。
n个随机变量的算术平均值以概率收敛于算术平
均值的数学期望。
三小结
1、切比雪夫(Chebyshev)定理的特殊情况用算术平均值作为所研究指标值的近似值。
2. 伯努利定理事件发生的频率依概率收敛于事件的概率
3. 辛钦定理 n个随机变量的算术平均值以概率收敛于算术平均值的数学期望。
(2.5) 0.9938
三小结
1、独立同分布的中心极限定理
2.李雅普诺夫定理
3.棣莫佛－拉普拉斯定理
n
n
n
n
Xk E( Xk ) Xk k
Zn k1
k 1 n
D( Xk )
k1
k 1
Bn
k 1
近似服从标准正态分布N(0,1)。

概率论与数理统计第二版第五章大数定律及中心极限定理

( (2)=0.977, 其中 (x)是标准正态分布函数. )
解设Xi表示 “装运的第i箱的重量”(单位:千克), n为所n求箱数,则X1, X2,
, X n相互独立同分布, n箱的总重量 T n =X1+X2+ +X n = Xi ,且 E(Xi)=50,
D(Xi)=25, 由林德伯格-列维中心极限定理知
n
i 1
n
P{Tn
5000}=P{
n i 1
Xi
5000
}=P
i
1
Xi 50n
5n
5000
50n
=P
i 1
5n
Xi 5
50n
1000
10n
n
n
( 1000 10n) >
0.977=(2) ,
解得 n < 98.0199 ,
n
所以每辆汽车最多装 98 箱 .
第五章大数定律及中心极限定理 §5.2 中心极限定理
μ
|
ε}
1,
1 n
lim
n
P{|
n
i 1
Xi
μ|
ε}
0
.
第五章大数定律及中心极限定理 §5.1 大数定律
例1 (P149例1)设随机变量X1 , X2 , , X n , 相互独立同服从参
数为 2的指数分布, 则当n∞时, Yn =
1 n
n
i 1
X
2 i
依概率收敛于
____
.
解因为随机变量 X1 , X2 , , X n 相互独立同分布, 所以
定理1 (伯努利大数定律) 设随机变量序列 X1 , X2 , , X n ,

概率论与数理统计第五章大数定律及中心极限定理

概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。

数学中研究大量的工具是极限。

因此这一章学习概率论中的极限定理。

第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。

意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。

大数定律解释了这一结论。

首先介绍切比雪夫不等式。

一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。

切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。

进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。

当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。

二、依概率收敛随机变量序列即由随机变量构成的一个序列。

不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。

只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。

依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。

注意这三个大数定律的条件有何异同。

定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。

定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。

伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。

伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。

(完整版)大数定律和中心极限定理

第五章大数定律和中心极限定理一、内容提要（一）切贝谢夫不等式 1. 切贝谢夫不等式的内容设随机变量X 具有有限的数学期望E （X ）和方差D （X ），则对任何正数ε，下列不等式成立。

(){}()(){}().1,22εεεεX D X E X P X D X E X P -≤-≤≥-2. 切贝谢夫不等式的意义（1）只要知道随机变量X 的数学期望和方差（不须知道分布律），利用切贝谢夫不等式，就能够对事件(){}ε≥-X E X 的概率做出估计，这是它的最大优点，今后在理论推导及实际应用中都常用到切贝谢夫不等式。

（2）不足之处为要计算(){}ε≥-X E X P 的值时，切贝谢夫不等式就无能为力，只有知道分布密度或分布函数才能解决。

另外，利用本不等式估值时精确性也不够。

（3）当X 的方差D (X )越小时，(){}ε≥-X E X P 的值也越小，表明X 与E (X )有较大“偏差”的可能性也较小，显示出D (X )确是刻画X 与E (X )偏差程度的一个量。

（二）依概率收敛如果对于任何ε＞0，事件{}ε a X n -的概率当n →∞时，趋于1，即{}1lim =-∞→ε a X P n n ，则称随机变量序列X 1,X 2,…,X n ,…当n →∞时依概率收敛于α。

（三）大数定律 1. 大数定律的内容（1）大数定律的一般提法若X 1,X 2,…,X n ,…是随机变量序列，如果存在一个常数序列α1,…,αn ,…，对任意ε＞0，恒有11lim 1=⎭⎬⎫⎩⎨⎧-∑=∞→ε n i n i n a X n P ，则称序列{X n }服从大数定律（或大数法则）。

（2）切贝谢夫大数定律设随机变量X 1,X 2,…,X n ,…相互独立，分别有数学期望E(X i )和方差D(X i )，且它们的方差有公共上界C ，即()().,,,2,1, n i C X D i =≤则对于任意的ε＞0，恒有()111lim 11=⎭⎬⎫⎩⎨⎧-∑∑==∞→ε n i ni i i n X E n X n P 。

概率论与数理统计第五章大数定律与中心极限定理

由独立同分布中心极限定理
100
P{
i 1
Xi
300}
1
300 100 10 35
7 2
12
精品资料
1 (2.93)
0.9983
2. 德莫佛-拉普拉斯中心极限(jíxiàn)定理(De MoivreLaplace)
设随机变量 n (n=1, 2, ...) 服从(fúcóng)参数为 n, p
由切比雪夫大数定理
n
Xi P
fn
i 1
n
p
精品资料
3. 辛钦大数(dà shù)定律(P108)
若{Xk, k=1.2,...}为独立同分布随机变量序列, EXk= < , k=1, 2, … 则
Yn
1 n
n k 1
Xk
P
推论: 若{Xi, i=1.2,...}为独立同分布随机变量(suí jī biàn liànɡ)序列, E(X1k) < , 则
lim
n
P{|
Xn
X
|
}
1
则称{Xn}依概率收敛于X. 可记为 Xn P X.
精品资料
P
例如 X n a 意思(yì sī) n 时, Xn落在
(lìrú
是: 当
)(:a , a ) 内的概率越来越大. N , n N
Xn
a a a
而 X n a 意思是: 0, N , 当 n N | X n a |
1
n
n i 1
X
k i
P
E
(
X
k 1
)
精品资料
三. 几个(jǐ ɡè)常用的中心极限定理
1. 独立同分布中心极限(jíxiàn)定理(P109)

概率论与数理统计----第五章大数定律及中心极限定理

故
= 1 − Φ(3.54)
=0.0002
一箱味精净重大于20500的概率为的概率为0.0002. 一箱味精净重大于的概率为
推论:
特别，若X～Ｂ（n，p）,则当n充分大时，特别，～Ｂ（n 则当n充分大时，
Ｘ～Ｎ（np，npq）Ｘ～Ｎ（np，npq） np
若随机变量Ｘ～Ｂ（Ｘ～Ｂ（n，），则对任意实数x有），则对任意实数即若随机变量Ｘ～Ｂ（，p），则对任意实数有
不等式证明 P{-1<X<2n+1}≥(2n+1)/(n+1)(n+1)
3. 设P{|X-E(X)|<ε}不小于不小于0.9,D(X)=0.009.则用不小于则用
切比绍夫不等式估计ε的最小值是( 切比绍夫不等式估计的最小值是
0.3 ).
4.(894) 设随机变量的数学期望为设随机变量X的数学期望为的数学期望为µ, 标准差为σ,则由切比绍夫不等式标准差为则由切比绍夫不等式 P{|X-µ|≥3σ}≤( ). 1/9 5. 设随机变量X的分布律为设随机变量的分布律为 P{X=0.3}=0.2, P{X=0.6}=0.8, 用切比绍夫不等式估计 |X-E(X)|<0.2的概率的概率. 的概率
1 n lim P ∑ Xi − µ < ε = 1 n→∞ n i =1
定理（贝努里利大数定律）设每次实验中事件A发生的概率定理（贝努里利大数定律）设每次实验中事件A 为p，n次重复独立实验中事件A发生的次数为nA，则对任次重复独立实验中事件A发生的次数为n 意的ε>0 意的ε>0 ，事件的频率 nA ，有 ε>
∫
+∞
−∞

概率论与数理统计五大数定理

[注]： X n P → a 注：推论(辛钦大数定律) 推论(辛钦大数定律)
X n − a P → 0
设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n 服从同一分布并且有数学服从同一分布, 期望 µ 及方差 σ 2， X 1 , X 2 ,⋅ ⋅ ⋅, X n 的算术平均值当 n → ∞ 则时，按概率收敛于µ，即对于任何正数 ε，恒有按概率收敛于，
第五章大数定理与中心极限定理
“大数定律”: 用来阐明大量随机现象平均结果稳定性的定理大数定律” 用来阐明大量随机现象平均结果稳定性的定理. 大数定律
一、切比雪夫不等式
切比雪夫不等式: 切比雪夫不等式: 设随机变量 X 有数学期望 EX 及方差 DX，，下列不等式成立：则对于任何正数则对于任何正数 ε，下列不等式成立：
2 i
n
则：E(Yn ) =
2 µi , D(Yn ) = ∑σi2 = sn . ∑
n i =1
n
i =1
i =1
∴ Z n = Yn
1 = sn
∗
n Y n − EY n 1 n = = ∑ X i − ∑ µ i sn i =1 DY n i =1
∑ (X
i =1
n
i
− µ i ), 则有：E ( Z n ) = 0 , D ( Z n ) = 1 . 则有：
概率论中有关论证随机变量的和的极限分布是正态分布的定概率论中有关论证随机变量的和的极限分布是正态分布的定随机变量的和的极限分布是正态分布是独立随机变量，设 X 1 , X 2 ,⋅ ⋅ ⋅ , X n ,⋅ ⋅ ⋅ 是独立随机变量，并各有
EX i = µ i , DXi = σ , i = 1,2,⋅ ⋅ ⋅, n,⋅ ⋅ ⋅. 设 n = ∑Xi , Y

概率统计简明教程第五章大数定律与中心极限定理

168第五章大数定律与中心极限定理我们知道，随机事件在某次试验中可能发生也可能不发生，但在大量的重复试验中随机事件的发生却呈现出明显的规律性，例如人们通过大量的试验认识到随机事件的频率具有稳定性这一客观规律.实际上，大量随机现象的一般平均结果也具有稳定性，大数定律以严格的数学形式阐述了这种稳定性，揭示了随机现象的偶然性与必然性之间的内在联系.客观世界中的许多随机现象都是由大量相互独立的随机因素综合作用的结果，而其中每个随机因素在总的综合影响中所起作用相对微小.可以证明，这样的随机现象可以用正态分布近似描述，中心极限定理阐述了这一原理.§1 大数定律首先我们介绍证明大数定律的重要工具—切比雪夫（Chebyshev ）不等式.1.1 切比雪夫不等式定理 1.1 设随机变量X 数学期望()E X 和方差()D X 都存在，则对任意给定的正数ε，成立{}2()()D X P X E X εε-≥≤. （1.1）证明只对X 是连续型随机变量情形给予证明. 设X 的密度函数为()f x ，则有{}()P X E X ε-≥()()d x E X f x x ε-≥=⎰22()[()]()d x E X x E X f x x εε-≥-≤⎰221[()]()d x E X f x x ε+∞-∞≤-⎰1692()D X ε=.称（1.1）为切比雪夫不等式，它的等价形式为 {}2()|()|1.D X P X E X εε-<≥-（1.2）切比雪夫不等式直观的概率意义在于：随机变量X 与它的均值()E X 的距离大于等于e 的概率不超过21D X （）e.在随机变量X 分布未知的情况下，利用切比雪夫不等式可以给出随机事件{()}X E X ε-<的概率的一种估计.例如当ε={8|()|0.8889.9P X E X -<=≥也就是说，随机变量X 落在以()E X为中心，以为半径的邻域内的概率很大，而落在该邻域之外的概率很小.随机变量X 的取值集中在()E X 附近，而这正是方差这个数字特征的意义所在.例1.1 已知随机变量X 和Y 的数学期望、方差以及相关系数分别为()()2E X E Y ==,()1D X =,()4D Y =,,0.5X Y ρ=,用切比雪夫不等式估计概率{6}P X Y -≥.解由于()()()0E X Y E X E Y -=-=,,(,)1X YCov X Y ρ==,()()()2(,)523D X Y D X D Y cov X Y -=+-=-=,170由切比雪夫不等式，有2(){6}{()()6}6D X Y P X Y P X YE X Y --≥=---≥≤310.08333612===.例 1.2 假设某电站供电网有10000盏电灯,夜晚每一盏灯开灯的概率都是0.7,并且每一盏灯开、关时间彼此独立,试用切比雪夫不等式估计夜晚同时开灯的盏数在6800至7200之间的概率.解令X 表示夜晚同时开灯的盏数,则~(,)X B n p ，10000n =，0.7p =，所以()7000E X np ==, ()(1)2100.D X np p =-=由切比雪夫不等式，有{}{}68007200|7000|200X P X P <<=-<221001200≥-0.9475=.在例1.2中，如果用二项分布直接计算，这个概率近似为0.99999.可见切比雪夫不等式的估计精确度不高. 切比雪夫不等式的意义在于它的理论价值，它是证明大数定律的重要工具.1.2 依概率收敛在微积分中，收敛性及极限是一个基本而重要的概念，数列{}n a 收敛到a 是指对任意0e >，总存在正整数,N 对任意的n N >时，恒有||.n a a e -<在概率论中，我们研究的对象是随机变量，要考虑随机变量序列的收敛性.如果我们以定义数列的极限完全相同的方式来定义随机变量序列的收敛性，那么，随机变量序列{}1n X n （）³收敛到一个随机变量X 是指对任意0e >，总存在正整数,N 对任意的n N >时，恒有||n X X e -<.但171由于,n X X 均为随机变量，于是||n X X -也是随机变量，要求一个随机变量取值小于给定足够小的e 未免太苛刻了，而且对概率论中问题的进一步研究意义并不大.为此，我们需要对上述定义进行修正，以适合随机变量本身的特性.我们并不要求n N >时， ||n X X e -<恒成立，只要求n 足够大时，出现||n X X e ->的概率可以任意小.于是有下列的定义定义 1.1 设12,,,,n X X X 是一个随机变量序列，X 是一个随机变量，如果对于任意给定的正数ε，恒有{}lim 0,n n P X X ε→∞->= （1.3）则称随机变量序列12,,,,n X X X 依概率收敛于X ，记作nPX X −−→.1.3 大数定律在第一章，我们曾指出，如果一个事件A 的概率为p ，那么大量重复试验中事件A 发生的频率将逐渐稳定到p ，这只是一种直观的说法.下面的定理给出这一说法的严格数学表述.定理1.2 伯努利大数定律设A n 是n 重伯努利试验中事件A 发生的次数， p (01)p <<是事件A 在一次试验中发生的概率，则对任意给定的正数ε，有{}lim 1.n A n Pp nε→∞-<= （1.4）证明由于A n 是n 重伯努利试验中事件A 发生的次数，所以~(,)A n B n p ，进而172()A E n np =，()(1)A D n np p =-. ()()A A n E n E p n n==， 2()(1)()A A n D n p p D n nn-==.根据切比雪夫不等式，对任意给定的0ε>，有2(){()}1A A A n D n n nP E nnεε-<≥-，即2(1)1{}1A n p p P p n nεε--≤-<≤.令n →∞，则有 lim {}1A n n P p nε→∞-<=.由伯努利大数定律可以看出，当试验次数n 充分大时，事件A 发生的频率A n n与其概率p 能任意接近的可能性很大（概率趋近于1），这为实际应用中用频率近似代替概率提供了理论依据.定理1.3 切比雪夫大数定律设,,,,12X X X n 是相互独立的随机变量序列,其数学期望与方差都存在，且方差一致有界,即存在正数M ,对任意k （1,2,k = ），有()k D X M ≤则对任意给定的正数ε,恒有1111lim () 1.nnk k n k k P X E X nnε→∞==-<=⎧⎫⎨⎬⎩⎭∑∑ （1.5）证明因为()1111()nnkkk k EXE Xnn===∑∑,()21111()nnkkk k DXD Xnn===∑∑,173由切比雪夫不等式,有{}12211()11()1nknnk k kk k D XPX E Xnnn εε===-<≥-∑∑∑.由于方差一致有界,因此1(),nkk D XnM =≤∑从而得{}211111()1nnkkk k M PXE Xn nnεε==-≤-<≤∑∑.令n →∞,则有{}1111lim ()1nnkkn k k PXE Xnnε→∞==-<=∑∑.推论1.1 设随机变量12,,,n X X X ，相互独立且服从相同的分布，具有数学期望()(1,2,)k E X k μ== 和方差2()k D X σ=（1,2,k = ），则对任意给定的正数ε，有{}11lim 1.nn k k PX nμε→∞=-<=∑ （1.6）切比雪夫大数定律是1866年俄国数学家切比雪夫提出并证明的,它是大数定律的一个相当普遍的结果，而伯努利大数定律可以看成是它的推论.事实上，在伯努利大数定律中，令1,k X ⎧=⎨⎩在第k 次试验中事件A 发生,在第k 次试验中事件A 不发生.0， (1,2,)k =，则(1,)(1,2,),k X B p k = 1nk k A X n ==∑,11nAkk n X nn ==∑，11()nkk E Xp n==∑，并且12,,,,n X X X 满足切比雪夫大数定律的条件，于是由切比雪夫大数定律可证明伯努利大数定律.174以上两个大数定律都是以切比雪夫不等式为基础来证明的,所以要求随机变量的方差存在.但是进一步的研究表明,方差存在这个条件并不是必要的.下面介绍的辛钦大数定律就表明了这一点.定理 1.4 辛钦(Khintchine)大数定律设随机变量序列12,,,n X X X ，相互独立且服从相同的分布,具有数学期望()k E X μ=,1,2,k = ,则对任意给定的正数ε，有{}11lim 1nn k k PX nμε→∞=-<=∑ （1.7）证明略.使用依概率收敛的概念，伯努利大数定律表明：n 重伯努利试验中事件A 发生的频率依概率收敛于事件A 发生的概率，它以严格的数学形式阐述了频率具有稳定性的这一客观规律.辛钦大数定律表明：n 个独立同分布的随机变量的算术平均值依概率收敛于随机变量的数学期望，这为实际问题中算术平均值的应用提供了理论依据.例 1.3 已知12,,,,n X X X 相互独立且都服从参数为2的指数分布，求当n →∞时，211nn k k Y X n==∑依概率收敛的极限.解显然 1()2k E X =，1()4k D X =，所以22111()()()442k k k E X E X D X =+=+= ，1,2,k = ，由辛钦大数定律，有 22111()2nP n k k k Y X E X n==−−→=∑.最后需要指出的是：不同的大数定律应满足的条件是不同的，切比雪夫大数定律中虽然只要求12,,,,n X X X 相互独立而不要求具有相同的分布，但对于方差的要求是一致有界的；伯努利大数定律则要求12,,,,n X X X 不仅独立同分布，而且要求同服从同参数的01-分布；175辛钦大数定律并不要求k X 的方差存在，但要求12,,,,n X X X 独立同分布.各大数定律都要求k X 的数学期望存在，如服从柯西（Cauchy ）分布,密度函数均为21()(1)f x x p =+的相互独立随机变量序列，由于数学期望不存在，因而不满足大数定律.§2 中心极限定理上节大数定律实际上告诉我们：当n 趋向于无穷时，独立同分布的随机变量序列的算术平均值11nk k X n=å依概率收敛于k X 的数学期望m ，即对任意给定的0e >，有11{||}0nk k P X nm e=-钞å.那么，对固定的0e >，n 充分大时，事件11{||}nk k X nm e =- å的概率究竟有多大，大数定律并没有给出答案，本节的中心极限定理将给出更加“精细”的结论.定理2.1 列维-林德伯格(Levy-Lindberg)定理(独立同分布的中心极限定理) 设随机变量12,,,,n X X X 相互独立且服从相同的分布,具有数学期望()k E X μ=和方差2()0k D X σ=> (1,2,)k = ,则对任意实数x ，有221lim Φd ().nk n tx X n P x t x e→∞--∞-μ≤==⎧⎫⎪⎪⎬⎪⎩⎭∑⎰ （2.1）证明略.独立同分布的中心极限定理表明：只要相互独立的随机变量序列17612,,,,n X X X 服从相同的分布，数学期望和方差（非零）存在，则当n →∞时，随机变量nkn Xn Y -=∑μ总以标准正态分布为极限分布，或者说，随机变量1nk k X =∑以()2,N n n μσ为其极限分布.在实际应用中，只要n 足够大，便可以近似地把n 个独立同分布的随机变量之和当做正态随机变量来处理，即21(,)nk k X N n n =∑μσ 近似或.(0,1)nin Xn Y N μ-=∑近似（2.2）下面的定理是独立同分布的中心极限定理的一种特殊情况. 定理2.2 棣莫弗—拉普拉斯（De Moivre-Laplace ）定理设随机变量n Y 服从参数为,(01)n p p <<的二项分布，则对任意实数x ，恒有22lim Φ()1d n tx Y x x et npP →∞--∞≤==⎧⎫-⎬⎭⎰（2.3）证明设随机变量12,,...,n X X X 相互独立，且都服从(1,)B p （01p <<），则由二项分布的可加性，知1nn k k Y X ==∑.由于()k E X p =，()(1)k D X p p =-，1,2,k = ，根据独立同分布的中心极限定理可知，对任意实数x，恒有22limΦ(),1dnkntxX npx xe tP→∞--∞-≤==⎧⎫⎪⎪⎬⎪⎭∑⎰亦即22limΦ().1dntxYxx e tnpP→∞--∞≤==⎧⎫-⎬⎭⎰当n充分大时，可以利用该定理近似计算二项分布的概率.例2.1某射击运动员在一次射击中所得的环数X具有如下的概率分布求在100次独立射击中所得环数不超过930的概率.解设iX表示第(1,2,,100)i i= 次射击的得分数，则12100,,,X X X相互独立并且都与X的分布相同，计算可知()9.15iE X=，() 1.2275,iD X=1,2,,100i= ，于是由独立同分布的中心极限定理，所求概率为{}1001930iiXp P=≤=∑1001009.159301009.15iXP⨯-⨯-=≤⎧⎫⎪⎪⎩⎭∑177178(1.35)0.9115Φ≈=.例 2.2 某车间有150台同类型的机器，每台出现故障的概率都是0.02，假设各台机器的工作状态相互独立，求机器出现故障的台数不少于2的概率.解以X 表示机器出现故障的台数，依题意，(150,0.02)X B ，且()3E X =，() 2.94D X =，1.715=，由德莫弗—拉普拉斯中心极限定理，有{}{}211P X P X ≥=-≤ {}3131 1.7151.715X P--=-≤1Φ(0.5832)≈--0.879=.例 2.3 一生产线生产的产品成箱包装，每箱的重量是一个随机变量，平均每箱重50千克，标准差5千克.若用最大载重量为5吨的卡车承运，利用中心极限定理说明每辆车最多可装多少箱，才能保证不超载的概率大于0.977？解设每辆车最多可装n 箱，记(1,2,,)i X i n = 为装运的第i 箱的重量（千克），则12,,,n X X X 相互独立且分布相同，且()50i E X =，()25,i D X = 1,2,,i n = ，于是n 箱的总重量为12n n T X X X =+++ ，由独立同分布的中心极限定理，有50{5000}nin XnP T P -≤=≤∑Φ≈.由题意，令179Φ0.977Φ(2).>=有2>，解得98.02n <，即每辆车最多可装98箱.第二章的泊松定理告诉我们：在实际应用中，当n 较大p 相对较小而np 比较适中（10,100≤≥np n ）时，二项分布),(p n B 就可以用泊松分布()P λ（np =λ）来近似代替；而德莫弗—拉普拉斯中心极限定理告诉我们：只要n 充分大，二项分布),(p n B 就可以用正态分布近似计算，一般的计算方法是：（1）对0,1,,,k n =ΦΦ⎛⎫⎛⎫≈-⎝（2.4）（2）对非负整数1212;,0k k k k n ≤<≤ 12{}X k P k <≤≈ΦΦ⎛⎫⎛⎫- （2.5）*李雅普诺夫（Liapunov ）定理设12,,,,n X X X 相互独立，且具有数学期望()k k E X μ=和方差2()0k k D X σ=≠（1,2,k = ），记221nn kk B σ==∑，若存在正数δ，使得n →∞时，{}{0.50.5}P X k P k k k ==-<≤+1802211(||)0nkk k nE XB δδμ++=-→∑，则随机变量11()nnnnkkkkk k n nXE XXZ Bμ==--==∑∑∑∑的分布函数()n F x 对于任意实数x ，恒有11lim ()lim n nk kk k nn n nX F x P x Bμ==→∞→∞-=≤⎧⎫⎪⎪⎨⎬⎪⎪⎩⎭∑∑221Φ()txedt x --∞==⎰.证明略.在李雅普诺夫定理的条件下，当n 充分大时，随机变量11nnk kk k n nX Z B μ==-=∑∑近似服从标准正态分布(0,1)N .因此，当n 充分大时,随机变量11nnkn n kk k XB Z μ===+∑∑近似服从正态分布21(,)nkn k N B μ=∑.这就是说,无论随机变量(1,2,)k X k = 服从什么分布,只要满足李雅普诺夫定理的条件,181当n 充分大时,这些随机变量的和1nk k X =∑就近似服从正态分布.在许多实际问题中,所考察的随机变量往往可以表示成很多个独立的随机变量的和.例如,一个试验中的测量误差是由许多观察不到的、可加的微小误差合成的；一个城市的用水量是大量用户用水量的总和，等等，它们都近似服从正态分布．习题五1.已知()1E X =，()4D X =，利用切比雪夫不等式估计概率{}1 2.5P X -<.2. 设随机变量X 的数学期望()E X μ=，方差2()D X σ=，利用切比雪夫不等式估计{}||3P X μσ-≥.3. 随机地掷6颗骰子，利用切比雪夫不等式估计6颗骰子出现点数之和在1527 之间的概率.4. 对敌阵地进行1000次炮击，每次炮击中.炮弹的命中颗数的期望为0.4，方差为3.6，求在1000次炮击中，有380颗到420颗炮弹击中目标的概率.5. 一盒同型号螺丝钉共有100个，已知该型号的螺丝钉的重量是一个随机变量，期望值是100g ，标准差是10g .求一盒螺丝钉的重量超过10.2kg 的概率.6. 用电子计算机做加法时，对每个加数依四舍五入原则取整，设所有取整的舍入误差是相互独立的，且均服从[]0.5,0.5-上的均匀分布.182（1）若有1200个数相加，则其误差总和的绝对值超过15的概率是多少？（2）最多可有多少个数相加，使得误差总和的绝对值小于10的概率达到90%以上.7. 在人寿保险公司是有3000个同一年龄的人参加人寿保险，在1年中，每人的的死亡率为0.1%，参加保险的人在1年第1天交付保险费10元，死亡时家属可以从保险公司领取2000元，求保险公司在一年的这项保险中亏本的概率.8. 假设12,,...,n X X X 是独立同分布的随机变量，已知()ki k E X α=(1,2,3,4;1,2,,)k i n == .证明：当n 充分大时，随机变量211nn ii Z Xn==∑近似服从正态分布.9. 某保险公司多年的统计资料表明：在索赔户中被盗索赔户占20%，以X 表示在随机抽查的100个索赔户中因被盗向保险公司索赔的户数.（1）写出X 的概率分布；（2）利用德莫弗-位普拉斯中心极限定理，求：被盗索赔户不少于14户，且不多于30户的概率.10 . 某厂生产的产品次品率为0.1p =，为了确保销售，该厂向顾客承诺每盒中有100只以上正品的概率达到95%，问：该厂需要在一盒中装多少只产品？11. 某电站供应一万户用电，设用电高峰时，每户用电的概率为0.9，利用中心极限定理：（1）计算同时用电户数在9030户以上的概率？（2）若每户用电200瓦，问：电站至少应具有多大发电量，才能以0.95的概率保证供电？【提供者：路磊】183。

概率统计浙大版第五章大数定律与中心极限定理

解: 设一箱味精净重为X, 箱中第i袋味精净重为Xi,(i=1,2,…,200)
则且 X1,X2,…,X200独立同分布, EXi=100, DXi=102=100,
X Xi
i 1
200
由独立同分布的中心极限定理得: EX=200EXi=20000, DX=200DXi=20000,
X近似服从正态分布,且
Yn
X
k 1
n
k
E ( X k )
k 1 n
n

X
k 1
n
k
n
D(任意x,满足
limF ( x ) limP{Y
n n n
n
x}
1 2

x
e
t2 2
dt ( x )
中心极限定理阐明了这样一个道理：
所求为P(X>20500)= 1-P(X≤20500)
1 (
故
20500 20000 20000
)
1 ( 3.54)
=0.0002
一箱味精净重大于20500的概率为0.0002.
• 例:一加法器同时收到20个噪声电压Vk(k=1,2,…,20), 它们相互独立且都在区间[0,10]上服从均匀分布,噪声电压总和V=V1+V2+…+V20,求P{V>105}的近似值. • 解:易知E(Vk)=5,D(Vk)=100/12,由独立同分布的中心 20 极限定理知
设随机变量X具有数学期望E(X)=μ,方差D(X)=σ2 , 则对于任意正数ε,有
2 P | X | 2 或者
2 P X 1 2
辛钦大数定律的证明：

概率统计(5)大数定律与中心极限定理

i=1
i =1 上一页下一页
返回
定理2: 定理
上一页
下一页
返回
贝努利大数定律) (贝努利大数定律)设nA是n次独立重复试次独立重复试定理3: 定理验中事件A出现的次数是事件出现的次数. 是事件A在每次试验中发生的验中事件出现的次数 p是事件在每次试验中发生的概率 (0<p<1),则对任意的ε >0有: 则对任意的有或证明:设Xi表示第 i 次试验中事件出现的次数, 次试验中事件A出现的次数出现的次数, 证明: i=1,2,…,n,则X1,X2,…,Xn相互独立且均服从参数为的相互独立且均服从参数为p的则 (0-1)分布,故有 E(Xi)=p, D(Xi)=p(1-p) i=1,2,…,n 分布, 分布由契比雪夫大数定律知, 且 ,由契比雪夫大数定律知,对于任意的 ,有
定理1: 定理
相互独立, 证因X1,X2,…相互独立,所以相互独立
1 n 1 n 1 l D ∑ X i = 2 ∑ D( X i ) < 2 nl = n n n i =1 n i =1
又因
1 n 1 n E ∑ X i = ∑ E ( X i ), n i =1 n i =1
ε
ε2
可见契比雪夫不等式成立. 可见契比雪夫不等式成立
上一页
下一页
返回
设电站供电网有10000盏电灯夜晚每一盏灯开灯的盏电灯,夜晚每一盏灯开灯的例2 设电站供电网有盏电灯概率都是0.7,而假定开,关时间彼此独立估计夜晚同时而假定开, 概率都是而假定开关时间彼此独立,估计夜晚同时开着的灯数在6800与7200之间的概率之间的概率. 开着的灯数在与之间的概率表示在夜晚同时开着的灯的数目,它服从参数为解设X表示在夜晚同时开着的灯的数目它服从参数为表示在夜晚同时开着的灯的数目 n=10000,p=0.7的二项分布的二项分布. 的二项分布若要准确计算,应该用贝努利公式应该用贝努利公式: 若要准确计算应该用贝努利公式:

第五章大数定律与中心极限定理

Xi
1 n
n i 1
E(Xi)
1,
则称{Xn}服从大数定律.
（2）伯努利大数定律是切比雪夫大数定律的特例
（3）伯努利大数定律和切比雪夫大数定律的证明都用到切比雪夫不等式，而且需要方差存在。
定理 5.1.4. 辛钦大数定律
设X1, X 2 ,..., X n,...是独立同分布的随机变量序列，
意义：只要试验次数够大，发生事件的频率无限接近于概率，频率稳定性，频率代替概率。
定理 5.1.3. 切比雪夫大数定律
设X1 , X 2 ,, X n ,是一相互独立的随机变量序列，
它们的数学期望和方差均存在，且方差有共同的上界，
即存在常数 K 0，使得 D ( X i ) K , i 1,2, ,
不等式给出了X 与它的期望的偏差不小于的概率
的估计式.
例 1 E( ) 4, D( ) 0.2, 则由切比雪夫不等式知
P{| 4 | 2} P{| 4 | 1}
,
P{ X
}
2 2
,
P{1 7}
定义 5.1.1设{X n}是一个随机变量序列，a是常数，
若对于任意的 0，有
已知整个系统中至少有84个部件正常工作，系统
工作才正常.试求系统正常工作的概率.
解：记Y为100个部件中正常工作的部件数，则
Y 近似服从 N(100 0.9,100 0.9 (1 0.9))
即Y 近似服从N (90, 9)
因此，所求概率为
P{Y 84}=1-P{Y<84}=1-P{ Y-90 < 84-90 }
解：设Xi为第i个螺丝钉的重量，i 1, 2,...,100.
且设X 为一盒螺丝钉的重量.

《概率论与数理统计》课件第五章大数定律及中心极限定理

有极其重要的地位？
4.大样本统计推断的理论基础
是什么？
大数定律中心极限定理
随机现象中平均结果的稳定性
大数定律的客观背景
大量抛掷硬币正面出现频率
字母使用频率
生产过程中的废品率
§5.1 大数定律
背景：1. 频率稳定性2. 大量测量结果算术平均值的稳定性
回顾
随机现象的主要研究方法
概率分布
01
证：_x001A__x001B__x001B_,_x001A__x001B__x001B_,⋯, _x001A__x001B__x001B_, ⋯相互独立同分布，则_x001A__x001B__x001B__x001B_,_x001A__x001B__x001B__x001B_, ⋯,_x001A__x001B__x001B__x001B_, ⋯也相互独立同分布,由辛钦大数定律得证.
第五章大数定律及中心极限定理
§5.1 大数定律§5.2 中心极限定理
要点：用切比雪夫不等式估算概率独立同分布,用中心极限定理计算对于二项分布，当n很大时，计算
本章要解决的问题
1.为何能以某事件发生的频率
作为该事件的概率的估计？
2.为何能以样本均值作为总体
期望的估计？
3.为何正态分布在概率论中占
解：(1)设X表示一年内死亡的人数，则~(, )，其中=，=.%. 设Y表示保险公司一年的利润，=×−.需要求的是_x001A_<_x001B_.
由中心极限定理
_x001A_<_x001B_=_x001A_×−<_x001B_ =_x001A_>_x001B_=−_x001A_≤_x001B_
且，
由中心极限定理
解：设为第i个螺丝钉的重量，相互独立同分布. 于是，一盒螺丝钉的重量为

自考概率论与数理统计大数定律及中心极限定理

则
是这16只元件的寿命的总和.
E(Y)=100×16=1 600,D(Y)= 160 000，
则所求概率为：
定理5.6(李雅普诺夫定理)
设随机变量 X1, X2 ,, Xn ,相互独立, 它们具有数学期望和方差：
E(Xk ) k ,
D( Xk
)

2 k

0
(k

1,2,),
n
记
Bn2

0.310000k
k 6801
如果用契比雪夫不等式估计：
E( X ) np 10000 0.7 7000 D( X ) npq 10000 0.7 0.3 2100
P(6800<X<7200)=P(|X

7000|<200)
1
2100 2002

0.95
可见，虽然有10000盏灯，但是只要有供应7200盏灯的电力就能够以相当大的概率保证够用.事实上，契比雪夫不等式的估计只说明概率大于0.95，后面将具体求出这个概率约为0.99999.
k1
的分布函数 Fn( x) 对于任意x 满足
lim
n
Fn
(
x
)

lim
n
P

n k 1
X
k Bn
n k 1
k

x

x

1
t2
e 2 dt

( x).
2π

定理5.6表明:
无论各个随机变量 X1, X2 ,, Xn ,服从什么
自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见.

概率论与数理统计第5章-大数定律和中心极限定理

DX } 1
(2
DX DX
)2

3 4
．
例 1.2 设随机变量 X ~ P(9) ，试根据切比雪夫不等式估计概率 P{X 19}．解由于 X ~ P(9) ，所以 EX DX 9 ，且
P{X 9 10} P{X 1} 0 ，故有 P{X 19} P{X 9 10}
P{ X 9 10} 9 0.09 ． 102
例 1.3 设随机变量 X ,Y 独立同分布，且 D(X ) 2 ，
试根据切比雪夫不等式估计概率 P{ X Y 2} ．
解由于 X ,Y 独立同分布，所以 E( X Y ) 0 ，且
D(X Y ) DX DY 4
lim
n
FYn
(
x)

(
x)

1
2
x

e
t2 2
dt
，
x

(,
)
．

【注 1】定理 2.1 称为列维—林德伯格中心极限定理，也称为独立同分布随机变量序列的中心极限定理．
【注 2】由定理 2.1 表明，当 n 充分大时， FYn (x) (x) ，
近似
n
近似
即得Yn ~ N (0,1) ，从而有 Xi ~ N (n, n 2 ) ．
P{ X Y 2} 1 D(X Y ) 1 ，
22
2
二、大数定律（了解） 1.相关概念
定义 1.1 设有随机变量序列 X1, X 2 ,L , X n ,L ，如果
存在常数 a ，使得对任意的 0 ，有
lim P{
n
Xn
a
}1，

概率论-第5章大数定律及中心极限定理

§1 大数定律
一、问题的引入
生产过程中的字母使用频率废品率启示:从实践中人们发现大量测量值的算术平均值有稳定性.
大量抛掷硬币正面出现频率
§1 大数定律
一、问题的引入
大数定律的概念概率论中用来阐明大量随机现象平均结果的稳定性的一系列定理，称为大数定律（law of large number)
§2 中心极限定理
即考虑随机变量X k (k 1, n)的和 X k的标准化变量
k 1 n
Yn
X
k 1
n
k
E ( X k )
k 1 n
n
D ( X k )
2
说明每一个随机变量都有相同的数学期望。
§1 大数定律
检验是否具有相同的有限方差？

Xn P
2
( na ) 1 2 2n
2 n
2
0 1 1 2 n
2
( na ) 1 2 2n
2
1 2 a , E ( X ) 2( na ) 2 2n 2 ) [ E ( X n )]2 a 2 . D( X n ) E ( X n
使得当 x a y b 时,
g( x , y ) g(a , b)பைடு நூலகம் ,
§1 大数定律
于是 { g( X n , Yn ) g(a, b) }
{ X n a Yn b }
X n a Yn b , 2 2
§2 中心极限定理
自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见.
如果一个随机变量是由大量相互独立的随机因素的综合影响所造成，而每一个别因素对这种综合影响中所起的作用不大. 则这种随机变量一般都服从或近似服从正态分布. 现在我们就来研究独立随机变量之和所特有的规律性问题.

概率论第五章大数定律及中心极限定理

的标准化变量为
n
X i n
Yn i1 n
则Yn的分布函数Fn(x)对任意的x∈(-∞,+∞)都有
n X i n
lim
n
Fn
(
x)

lim
n
P(Yn

x)

lim
n
P
i 1
n
x

x

1
t2
e 2 dt
2
该定理说明，当n充分大时， Yn近似地服从标准正态分布，Yn~N(0,1)， (n )
P|
X

|

2 2

P X

1

2 2
证明 (1)设X的概率密度为p(x),则有
P{| X | } p(x)dx
| x |2
p(x)dx
|x|
|x|
2

1
2

(x

)2
p(
x)dx

2 2
Xi 2
0
pi
1 4
1 2
2
(i 1,2, , n, )
1 4
解
因为 X1, X 2 , , X n ,
相互独立， EX i 0 ， E
X
2 i
1
又
DX i

E
X
2 i
EX i
2
1 0
1， i
1,2,
, n,

所以,满足切比雪夫大数定理的条件,可使用大数定理.

【概率统计】第五章大数定理与中心极限定理