第五章 大数定律及中心极限定理

P X 0.75n 0.01n


1875 1 0.1875n 1 2 n 0.01 n
(1) n 7500, P 0.74 X 0.76 1 1875 0.75 n 7500 (2)P 0.74 X 0.76 1 1875 0.90 n n
E (ln X1 ) ln xdx
0 1
x ln x dx 1,
1 0 0
1
P 由辛钦大数定律的推论，Zn 1.
P 由依概率收敛的性质，Yn eZn e1.
21
定理（贝努里大数定律）： 设nA为n重贝努里试验中事件A发生的次数，并记 事件A在每次试验中发生的概率为p ，则有 nA P p, 当n 时. n
1 1 2 2 1 E ( X 1 ) x dx 1 2 3 n
1
1 X . 3 k 1
2 k P
20
n
例1.8 设X 1 ,
, Xn,
独立同分布，X 1 ~ U (0, 1),
则n X1 X 2
X n 依概率收敛吗？
如果依概率收敛，收敛于什么？
解：令Yn n X1 X n , Z n ln Yn 1 则Z n (ln X 1 ln X n ), n
P Yn 0.49 = 1 [1 P Yn 0.5 0.01] 0.025. 2 这是一个小概率事件，根据实际推断原理认为
如果只抛1万次，事件 Y10000 0.1 不会发生.
6
P P 性质： 若X n a, Yn b, g在(a, b)连续，
验确定某事件发生的频率并把它作为相应的
概率估计，这是一种参数估计法，该方法的 重要理论基础之一就是大数定律.
5.2 中心极限定理
定理5.2.1(独立同分布的中心极限定理)： 设X 1 , X 2 , , Xn, 独立同分布， E X i ,Var X i 2 , 则对任意实数x， lim P( i 1
n n
计算得：当n 6765时，P Yn 0.5 0.01 0.90.
当n 9604时，P Yn 0.5 0.01 0.95.
0.5
例如： 0.01, 有 lim P Yn 0.5 0.01 1.
n
0.49
0.51
7
1 例1.2：设X n ~ N (0, ), n 1, 2,..., n P 则当n +时,X n 0 .
证明: 对任意 0,
P(| X n 0 | ) P( X n ) P( X n )
0 1 ( ) ( ) 1/ n 1/ n
n
特别地，当cn c, n 1, 2,...时，可写为 1 Y P c, n . i n i 1
n
定理（切比雪夫大数定律）：
设X 1 , X 2 , , Xn, 相互独立，具有
n
相同的数学期望 和相同的方差 2，
P 则当 n 时, 1 X k . n n n k 1 1 1 证明 : E( X i ) E( X i ) ,
证明 : 利用切比雪夫不等式 : 0, 1 Var ( X n ) 0 P(| X n 0 | ) 2 0. 2 n
lim P(| X n 0 | ) 0.
n
13
例1.5 在n重贝努里试验中，若已知每次试验
事件A出现的概率为0.75， 试利用切比雪夫不等式计算, (1)若n=7500,估计A出现的频率在0.74至0.76 之间的概率至少有多大；




n 18750.
(三)几个大数定律
定义5.1.2： 设Y1 , , Yn , 为一个随机变量序列，
n
若存在常数序列{cn , n 1}，使得 1 Y c P 0, 当n ， i n n i 1 即 0, 有 lim P{ 1 Yi cn } 0, n n i 1 则称{Yi , i 1}服从(弱)大数定律.

k
成立; .
E (| Y |k )
k
特别地，当Y 为取非负值的随机变量时， 则有 P Y E (Y k )
k
, 当 | Y | 时； 证明：对于任意 0，令Z = 0, 当 | Y | 时.
则Z | Y |,
Z k | Y |k ,
E(Z k ) E(| Y |k ).
c c c
n
这种收敛性是在概率意义下的一种收敛， 而不是数学意义上的一般收敛.
4
例1.1 抛一枚均匀硬币n次，Yn表示正面出现的频 P 0.5, 当n +时. 率.n=1,2 …,可以证明 Y n 试说明这种依概率收敛性,
解：这就意味着， 0, 有： lim P Yn 0.5 0, 等价地， lim P Yn 0.5 1.


Var ( X )

2
.


Var ( X )

2
.
证明：在定理5.1.1中
则E ( Y )
2
令Y X E ( X ), k 2.
E( X E( X ))
Var ( X ).
2
f ( x)
E( X ) E( X )
E( X )
11
例1.3 设E ( X ) ,Var ( X ) 2 ,
(2)估计n,使A出现的频率在0.74至0.76之
间的概率不小于0.90。
解：设在n重贝努里试验中，事件A 出现的次数为X，
则X B n,0.75 ,E X np 0.75n,Var X npq 0.1875n,
又 f n A X , P 0.74 X 0.76 P0.74n X 0.76n n n
i 1
n
例如：X i ~ U (0, 1), i 1, 2,3, 4, ,100. 则 X1 X 2 X1
X1 X 2 X 3
X1 X 2 X 3 X 4
问题：X1 ... X100 服从的分布？
——中心极限定理
3
5.1 大数定律
(一)依概率收敛
随机变量序列Y1 , Y2 , Y3 , , 若存在某常数c， 使得 0, 均有： lim P Yn c 0, 则称 Yn , n 1 依概率收敛于常数c， P c, 当n +时. 记为：Y n
而据Z的定义, 知
E ( Z k )= k P Y ,
所以 P Y
E(Z k )

k

E (| Y |k )

k
.
切比雪夫不等式：设X 的方差Var ( X )存在，则
对于任意 0, 都有：P X E X 等价为：P X E X 1
2[1 ( n )] 0, 当n +时.
8
0
(二)马尔可夫不等式和切比雪夫不等式
定理5.1.1 马尔可夫不等式 ： 设随机变量Y的k阶矩存在(k 1), 则对于任意 0, 都有：P Y 定理的等价形式为：P Y 1 E (| Y |k )
5
思考题1.抛硬币7000次，则 {0.49 Y7000 0.51} 一定发生？ 答：不一定.可能发生，也可能不发生，发生 的可能性非常大，概率超过90%. 思考题2.抛硬币1万次，则事件Y10000 0.1 会发 生吗？说明理由.
当n 9604时，P Yn 0.5 0.01 0.95. 答：
n
X
n
i
n
n
x)
n
x
பைடு நூலகம்
1 e 2
t 2
2
dt ( x).
因此当n充分大时
2 X ～ N ( n , n ). i i 1
2 i 2
1 n P X i 0 n i 1
例1.7：设X 1 ,
, Xn,
独立同分布，X 1 ~ U ( 1, 1).则
1 n 1 n 1 n 2 （） 1 X k，（2） X k ，（3） X k n k 1 n k 1 n k 1 依概率收敛于什么？
1 n P 0 解: E( X1 ) 0 X k n k 1 1 1 n 1 1 1 P , E ( X 1 ) x dx X k 1 n k 1 2 2 2
证明思路：易见nA X i , 其中
i 1 n
第i次试验中A发生； 1, Xi 第i次试验中A不发生； 0, X i ~ B(1, p), 且相互独立.
i 1, 2,
, n,
(或直接用切比雪夫不等式证明).
大数定律的重要意义： 贝努里大数定律建立了在大量重复独立试 验中事件出现频率的稳定性，正因为这种稳 定性，概率的概念才有客观意义. 贝努里大数定律还提供了通过试验来确定 事件概率的方法，既然频率nA/n与概率p有 较大偏差的可能性很小，因此可以通过做试
1 1 1 Var ( X i ) 2 Var ( X i ) 2 n i 1 n n i 1 利用切比雪夫不等式 :
n
n
i 1
n
n
i 1
Var ( X )
i 1 i
n
2
n
,
2 1 n 1 n 0 P(| X i | ) Var ( X i ) 2 2 0. n i 1 n i 1 n