第5章 大数定律及中心极限定理

2 k P
20
n
例1.8 设X 1 , , X n , 独立同分布，X 1 ~ U (0, 1), 则 n X 1 X 2 X n 依概率收敛吗？ 如果依概率收敛，收敛于什么？
解：令Yn n X1 X n , Zn ln Yn 1 则Z n (ln X 1 ln X n ), n
7
1 例1.2：设X n ~ N (0, ), n 1, 2,..., n P 则当n +时,X n 0 .
证明: 对任意 0,
P(| X n 0 | ) P( X n ) P( X n )
0 1 ( ) ( ) 1/ n 1/ n
而据Z的定义, 知
E ( Z k )= k P Y ,
所以 P Y
E(Z k )

k

E (| Y |k )

k
.
切比雪夫不等式：设X 的方差Var ( X )存在，则
对于任意 0, 都有：P X E X 等价为：P X E X 1
证明思路：易见nA X i , 其中
i 1 n
第i次试验中A发生； 1, Xi 第i次试验中A不发生； 0, X i ~ B(1, p), 且相互独立.
i 1, 2, , n,
(或直接用切比雪夫不等式证明).
大数定律的重要意义：
贝努里大数定律建立了在大量重复独立试
验中事件出现频率的稳定性，正因为这种稳
i 1
n
例如：X i ~ U (0, 1), i 1, 2,3, 4,,100. 则 X1 X 2 X1
X1 X 2 X 3
X1 X 2 X 3 X 4
问题：X1 ... X100 服从的分布？
——中心极限定理
3
5.1 大数定律
(一)依概率收敛
随机变量序列Y1 , Y2 , Y3 , , 若存在某常数c， 使得 0, 均有： lim P Yn c 0, 则称 Yn , n 1 依概率收敛于常数c， P c, 当n +时. 记为：Y n
2[1 ( n )] 0, 当n +时.
8
0
(二)马尔可夫不等式和切比雪夫不等式
定理5.1.1 马尔可夫不等式 ： 设随机变量Y的k阶矩存在(k 1), 则对于任意 0, 都有：P Y 定理的等价形式为：P Y 1 E (| Y |k )
又 f n A X , P 0.74 X 0.76 P0.74n X 0.76n n n
P X 0.75n 0.01n


1875 1 0.1875n 1 2 n 0.01 n
(1) n 7500, P 0.74 X 0.76 1 1875 0.75 n 7500 (2)P 0.74 X 0.76 1 1875 0.90 n n
0.51
5
思考题1.抛硬币7000次，则 {0.49 Y7000 0.51} 一定发生？ 答：不一定.可能发生，也可能不发生，发生 的可能性非常大，概率超过90%. 思考题2.抛硬币1万次，则事件Y10000 0.1 会发 生吗？说明理由.
当n 9604时，P Yn 0.5 0.01 0.95. 答：
17
定理（辛钦大数定律）： 设X 1 , X 2 ,, X n , 独立同分布，EX i ， 则当n , 1 X P . i n i 1
推论：设X 1 , X 2 ,, X n , 独立同分布， 若h( x)是连续函数，E (h( X 1 )) a存在， 则当n 时, 1 h( X ) P a. i n i 1




n 18750.
(三)几个大数定律
定义5.1.2： 设Y1 , , Yn , 为一个随机变量序列， 若存在常数序列{cn , n 1}，使得 1 Y c P 0, 当n ， i n n i 1 即 0, 有 lim P{ 1 Yi cn } 0, n n i 1 则称{Yi , i 1}服从(弱)大数定律.
n
X
n
i
n
n
x)
证明 : 利用切比雪夫不等式 : 0, 1 Var ( X n ) 0 P(| X n 0 | ) 2 0. 2 n
lim P (| X n 0 | ) 0.
n
13
例1.5 在n重贝努里试验中，若已知每次试验 事件A出现的概率为0.75，
定性，概率的概念才有客观意义.
贝努里大数定律还提供了通过试验来确定 事件概率的方法，既然频率nA/n与概率p有 较大偏差的可能性很小，因此可以通过做试 验确定某事件发生的频率并把它作为相应的
概率估计，这是一种参数估计法，该方法的
重要理论基础之一就是大数定律.
5.2 中心极限定理
定理5.2.1(独立同分布的中心极限定理)： 设X 1 , X 2 , , X n , 独立同分布， E X i ,Var X i 2 , 则对任意实数x， lim P( i 1


Var ( X )

2
.


Var ( X )

2
.
证明：在定理5.1.1中
则E Байду номын сангаас Y )
2
令Y X E ( X ), k 2.
f ( x)
E( X E( X ))
Var ( X ).
2
E( X ) E( X )
E( X )
11
例1.3 设E ( X ) ,Var ( X ) 2 ,
P 则 g ( X n , Yn） g (a, b).
P 如:当n 时, X n Yn a b, P P X n Yn a b, X n / Yn a / b (b 0).
P 特别地, 若X n a, f ( x)在点a连续, 则 P f ( X n ) f (a), 当n 时.
E (ln X1 ) ln xdx
0 1 0 1
x ln x dx 1,
0
1
P 由辛钦大数定律的推论，Zn 1.
P 由依概率收敛的性质，Yn eZn e1.
21
定理（贝努里大数定律）： 设nA为n重贝努里试验中事件A发生的次数，并记 事件A在每次试验中发生的概率为p ，则有 nA P p, 当n 时. n
n n
计算得：当n 6765时，P Yn 0.5 0.01 0.90. 当n 9604时，P Yn 0.5 0.01 0.95.
0.5
例如： 0.01, 有 lim P Yn 0.5 0.01 1.
n
0.49
n
18
n
1 例1.6 设X 1 , , X n , , 相互独立，P{ X i 0} 1 ， i 1 P{ X i i } P{ X i i } 。 2i 试判断{ X i , i 1}是否服从大数定律？
解：E( X i ) 0,
1 2 1 Var ( X i ) E ( X ) 0 ( i ) ( i ) 1, 2i 2i
c c c
n
这种收敛性是在概率意义下的一种收敛， 而不是数学意义上的一般收敛.
4
例1.1 抛一枚均匀硬币n次，Yn表示正面出现的频 P 0.5, 当n +时. 率.n=1,2 „,可以证明 Y n 试说明这种依概率收敛性,
解：这就意味着， 0, 有： lim P Yn 0.5 0, 等价地， lim P Yn 0.5 1.
1 1 1 Var ( X i ) 2 Var ( X i ) 2 n i 1 n n i 1 利用切比雪夫不等式 :
n
n
i 1
n
n
i 1
Var ( X )
i 1 i
n
2
n
,
2 1 n 1 n 0 P(| X i | ) Var ( X i ) 2 2 0. n i 1 n i 1 n
第五章 大数定律和中心极限定理
大数定律
中心极限定理
1
内容1：设X 1 ,, X n 是一列随机变量，EX i , 则在一定的条件下 X1 X n 随机变量序列Yn 收敛到. n
问题：（1）一定的条件是什么？ （2）随机变量序列Yn收敛到的定义？
——大数定律
2
内容2：n个独立同分布随机变量X i , i 1, 2,..., n, X i的分布
P Yn 0.49 = 1 [1 P Yn 0.5 0.01] 0.025. 2 这是一个小概率事件，根据实际推断原理认为
如果只抛1万次，事件 Y10000 0.1 不会发生.
6
P P 性质： 若X n a, Yn b, g在(a, b)连续，
2 8 则 P(| X | 3 ) 1 . 2 (3 ) 9
当X ~ N ( , 2 )时， 8 P(| X | 3 ) 0.9974 . 9
12
例1.4 设X 1 , , X n是随机变量序列, 1 P E ( X n ) 0,Var ( X n ) , 则X n 0. n
1 n P 0 解: E( X1 ) 0 X k n k 1 1 1 n 1 1 1 P , E ( X 1 ) x dx X k 1 n k 1 2 2 2
1 1 2 2 1 E ( X 1 ) x dx 1 2 3 n
1
1 X . 3 k 1
n n
特别地，当cn c, n 1, 2,...时，可写为 1 Y P c, n . i n i 1
n
定理（切比雪夫大数定律）：
设X 1 , X 2 , , X n , 相互独立，具有 相同的数学期望 和相同的方差 2，
P 则当 n 时, 1 X k . n n n k 1 1 1 证明 : E ( X i ) E ( X i ) , n
2 i 2
1 n P X i 0 n i 1
例1.7：设X 1 , , X n , 独立同分布，X 1 ~ U ( 1, 1).则 1 n 1 n 1 n 2 （） 1 X k，（2） X k ，（3） X k n k 1 n k 1 n k 1 依概率收敛于什么？
试利用切比雪夫不等式计算,
(1)若n=7500,估计A出现的频率在0.74至0.76
之间的概率至少有多大；
(2)估计n,使A出现的频率在0.74至0.76之 间的概率不小于0.90。
解：设在n重贝努里试验中，事件A 出现的次数为X，
则X B n,0.75 ,E X np 0.75n,Var X npq 0.1875n,

k
成立; .
E (| Y |k )
k
特别地，当Y 为取非负值的随机变量时， 则有 P Y E (Y k )
k
, 当 | Y | 时； 证明：对于任意 0，令Z = 0, 当 | Y | 时.
则Z | Y |,
Z k | Y |k ,
E(Z k ) E(| Y |k ).