大学课件-概率论之大数定律和中心极限定理

依概率收敛
设有随机变量序列X1, X2,…, Xn和随机变量Y
若对任意的 >0，有
nlim
P
:
Xn() Y ()
0
则称随机变量序列{Xn}依概率收敛于Y, 记为
Xn P Y
弱大数定律讨论的就是依概率收敛.
以概率1收敛
设有随机变量序列X1, X2,…, Xn和随机变量Y
如果
P(
:
lim
x
X
n
()
P(t1
vn
t2 )
P
t1
np npq
vn
np npq
t2
np npq
t2
np npq
t1
np npq
查分布表
当n 较小时，误差较大，公式可修正为
P(t1
vn
t2 )
t2
(1/ 2) npq
np
t1
(1/ 2) npq
np
查正态分布表
例5.2.2设某地区原有一家小电影院，现拟筹建一所较 大的电影院。根据分析，该地区每天平均看电影者 约有n=1600人，预计新电影院开业后，平均约有3/4 的观众将去新电影院。现计划其座位数，要求座位 数尽可能多，但“空座达到200或更多”的概率不能 超过0.1，问设多少座位为好？
X3
X
2 4
X5
X6
n
n
X2 3n2
X 3n1 X 3n
P14 , n
a 14
习题5.11 假设某洗衣店为第i个顾客服务的时间Xi服从区间[5,53] (单位：分钟)上的均匀分布，且对每个顾客是相互独立的，试问
当n
时，n次服务时间的算术平均值 1 n
n i 1
X i以概率1收敛于何值？
解：依题意，显然有，{X n}是一个独立同分布的随机变量序列，只要
E[Yk
]
E[
X
2 3k
2
X 3k 1 X 3k
]
E[
X
2 3k
2
]
E[
X 3k 1 X 3k
]
Var[ X 3k2 ] (E[ X 3k2 ])2 E[ X 3k1]E[ X 3k ]
6 4 4 14 k 1, 2, , n
{Yn}满足辛钦大数定律条件，所以
n
Yk
k 1
X12
X2
P(X1+X2+…+X1600≤m-200)≤0.1 要在此条件下m最大，就是在上式取等号时。
P(X1+X2+…+X1600≤m-200)=0.1
np 1600(3/ 4) 1200, npq 10 3
P(X1
X1600
m
200)
m
200
(1/ 2) 10 3
1200
0.1
m
200
(1/ 2) 10 3
存在有限的公共数学期望，则{X n}的算术平均值依概率1收敛于其
公共数学期望，由于X
服从[5,53]上的均匀分布，所以
i
E[ Xi ] (53 5) / 2 29, i 1, 2, , n
所以，当n 时，n次服务时间的算术平均值
1 n
n i1 X i
a.s 29 （分钟）
§5.2 中心极限定理
X
2 1
X2X3
X
2 4
X5X6
X2 3n2
X 3n1 X 3n
P a,
n ,
n
并确定常数a之值.
解：设Yk
=X
2 3k
2
X 3k 1 X 3k
,由于{X
n}是独立同分布的随机变量序列
所以， {Yn} 也是独立同分布的随机变量序列，且
n
Yk
X
2 1
X2X3
X
2 4
X5X6
k 1
X2 3n2
X 3n1 X 3n
0.99
由于 (2.33)=0.9901 所以
w 100010 2.33 1000100 / 3
w 2.33100 10 / 3+100010=10425.4
每天至少供应10425.6度电。
定理5.2.2(棣莫弗-拉普拉斯定理) 设X1, X2 ,…, Xn 是独立同分布(B(1, p)分布)的随机变量，
Y
(
))
1
则称随机变量序列{Xn}以概率1收敛于Y, 记为
Xn a.s Y
可以证明，若 Xn a则.s Y
Xn P Y
强大数定律讨论的就是以概率1收敛.
大数定律一般形式：
若随机变量序列{Xn}满足：
nlim
P
1 n
n
i 1
Xi
1 n
n
i 1
E[ X i
]
0
则称{Xn} 服从大数定律.
切比雪夫大数定律
定理5.1.1 （切比雪夫弱大数定律） 设X1, X 2, ,为独立随机变量，Var[ Xi ] C, i 1, 2, ,
则对任意 0有
其中
lim
n
P
X1
X2 n
=E( X1 X 2
n
Xn
0.
Xn)
(5.1.5)
马尔科夫不等式
若X是非负值的随机变量，E(X)存在,则对任意常数 >0，有
Xn
0.
(5.1.6)
推论5.1.1伯努利大数定律（频率收敛于概率）
设 vn 是n重伯努利试验中事件A出现的次数，每
次试验中 P(A) = p, 则对任意的 > 0，有
nlim
P
vn
n
p
0
意义：随着n的增大，依概率意义讲，频率 pn=vn/n
越不这来能些越说例接 ： 外近 情lnim形概 p出率n 现p，的p而概p率n因不趋为接于可近0能p)。的有可pn能性p越情来形越(虽小然。
解：设每天看电影的人编号1,2,3,…,1600, 且令
1 若第i号观众去新影院
Xi 0
否则
(i 1, 2, ,1600)
P( Xi 1) 3 / 4
P( Xi 0) 1/ 4
假设各观众去不去电影院是独立选择的, 则X1, X2 ,…, X1600是独立的0-1分布的随机变量。 设座位数是m，按要求有
证明：在n重伯努利试验中，设X i为第i次试验时事件A出现的
次数，则
1 当A出现 Xi 0 当A不出现
i 1, 2,
所有的Xi的概率分布都相同（都是0 1分布）
有相同的均值E（Xi） 1 p 0 (1 p) p, D（Xi） p(1 p)
n
vn Xi , 频率 i 1
vn
n
1 n
n i 1
D(n
)
D
1
2
n
n
1 n2
(D(1)
D(2 )
D(n ))
1 n2
n
1 n
则根据契比雪夫不等式，得
P( n En
)
Dn 2
1
n 2
则
lim
n
P(
n
0
)
lim
n
1
n
2
0
5.1.3 强大数定律
习题5.5 设{X n}是独立同分布的随机变量序列，且假设E[ X n ] 2,
Var[ X n ] 6,证明：
若D(X)存在，则对任意常数 >0，有
P( | X E( X ) | ) D( X ) 2
证明：用 (X E(X ))2将马尔科夫不等式中的X替代，
用 2代替
P(( X
E(X
))2
2)
E(X
E(X
2
))2
P(|
X
E(X
)
|
)
D( X
2
)
定理5.1.1 （切比雪夫弱大数定律）
证明：由X1, X 2, ，的独立性有
1200
1
m
200
(1/ 2) 10 3
1200
1 0.1 0.9
查表得，(1.28) 0.9
P(X ) E(X ) /
证明：用连续型随机变量证明。设X的密度函数为f(x).
由于X只取非负值，当x<0时，f(x)=0
E(X ) 0 xf (x)dy xf (x)dx f (x)dx
f (x)dx P(X )
P(X ) E(X )
切比雪夫不等式
D( Xk )
k 1
则称X1, X 2 , X n 服从中心极限定理
定理5.2.1 林德伯格—莱维中心极限定理
设 {Xn} 为独立同分布随机变量序列，数
学期望为, 方差为 2>0，则{Xn}服从中心极
限定理，即
lim
n
P
1
n (X1 X2
Xn
n)
x
1
x t2
e 2 dt
2
说明：和函数 Yn=X1+X2+…+Xn
设X1, X2 ,…, Xn 是一系列随机变量， 通常把论证和函数 X1+X2+…+Xn 的分布 收敛于正态分布的这类定理叫做“中心极 限定理”.
定义5.2.1 设 X1, X 2 , X n ,为独立随机变量序列， 具有有限的数学期望和方差，若
n
(Xk E[Xk ])
k 1
N (0,1)
n
E(Yn)=E(X1)+E(X2)+…+E(Xn) = n
D(Yn)=D(X1)+D(X2)+…+D(Xn) = n2 将Yn“标准化”：
Yn E(Yn ) Yn n
D(Yn )
n 2
1
n
(X1
X2
Xn n)
“标准化”后的和函数Yn的分布函数Fn(x):
Fn (x)
P
Yn
E(Yn ) D(Yn )
第五章 大数定律与中心极限定理
§5.1 大数定律 §5.2 中心极限定理
§ 5.1 大数定律
学校有10000个学生，平均身高为a；
若随意观察1个学生的身高X1，则X1与a可能相差较大。 若随意观察10个学生的身高X1, X2 ,…, X10 ，则10个数 据的均值(X1+X2+…+X10 )/10与a较接近； 若随意观察100个学生的身高X1, X2 ,…, X100 ，则100个 数据的均值(X1+X2+…+X100 )/100与a更接近； 若随意观察n个学生的身高X1, X2 ,…, Xn ，则n个数据的 均值 (X1+X2+…+Xn ) / n 与a 随着n的增大而接近；
Y=X1+X2+…+Xn+…, 则这些综合影响的结果呈现出正态分布。
所以在自然界中很多问题都可用正态分布研究。
例 设供电站供应某地区1000户居民用电，各户用电 情况相互独立。已知每户每天用电量（单位：度） 在[0，20]上服从均匀分布。现要以0.99的概率满足 该地区居民供应电量的需求，问供电站每天至少需 向该地区供应多少度电？
P(Xi=1)=p, P(Xi=0)=1-p 则对任意实数x，有
(0<p<1) i=1,2,…
1
lim
n
P
np(1 p) ( X1 X 2
X n np) x (x)
证明：由于E(Xi)=p, D(Xi)=p(1-p) i=1,2,….
代入定理5.2.1的公式， =p, = p(1 p) 有
P
X1
X
2
1000
X1000设每天供应w度电，则要求：
P X1 X 2 X1000 w 0.99
P
X1
X
2
X1000 100010 1000100 / 3
w 100010 1000100 / 3
0.99
w 100010 1000100 / 3
Var
X
1
X
2
n
n
X
n
i 1
Var[ X n2
i
]
C n
所以，由切比雪夫不等式，有
P
X1
X2 n
证毕.
Xn
C
n 2
0
n .
定理5.1.2(辛钦弱大数定律)
若随机变量序列{Xn}独立同分布，且有有限的
数学期望μ，则 {Xn}服从大数定律.
即对任意 0有
lim
n
P
X1
X2 n
lim
n
P
1 np(1
p)
( X1
X
2
X n np) x (x)
定理5.2.2的另一种描述方式
设vn是n重伯努利试验中事件A出现的次数，在
每次试验中P(A)=p是常数(0<p<1), 对任意实数x，有
vn~B(n,p). 则
lim
n
P
vn np np(1 p)
x
(x)
这说明：若vn服从二项分布B(n, p)，计算 P(t1≤vn≤t2)可 用正态分布近似计算。
E(i )
2i
1 22i1
(2i )
1 2 2 i 1
0 (1
1 22i
)
0
(i 1, 2,..)
D(i ) Ei2 (Ei )2 Ei2
D(i
)
(2i
)2
1 22i1
(2i )2
1 22i1
02
(1
1 22i
)
1
(i 1, 2,..)
E ( n
)
E(1
2
n
n
)
1 n
(E1
E2
En ) 0
x
P
1
n (X1 X2
Xn
n )
x
由定理知：
lim
n
Fn
(
x)
(
x)
和函数X1+X2+…+Xn在“标准化”后的分布函数Fn(x)，随着 n的增大，Fn(x)逐渐趋向于标准正态分布函数。
值得注意的是，每个Xi的概率分布可以是未知的，不一定 是正态分布。
意义：若有无数多种因素X1, X2 ,…, Xn 相互影响，每个 因素的影响都很小，则所有这些因素的综合影响可认为是
X
，
i
由511或512都可推得： lim P(| vn p | ) 0
n
n
例 设1,2 , ,n为一个相互独立的随机变量
序列，其中
P(n
2n )
1 22n1
,
P(n
2n )
1 22n1
,
P(n
0)
1
1 22 n
(n 1, 2,3,.....)
证明：序列{n}服从大数定理。
证：1,2 , ,n为一个相互独立的随机变量序列
解： 设第i户居民每天的用电量为随机变量Xi ， Xi 服从均匀分布 ( i=1,2,….,1000)。
E( Xi ) (0 20) / 2 10
(i 1, 2, ,1000)
D(Xi )
1 12
(20
0) 2
100 3
(i 1, 2, ,1000)
1000户居民用电量为 X1 X 2 X1000 , 由林德伯格定理：