[理学]第五章 大数定律与中心极限定理

f ( x)dx P( X )， P( X ) E ( X EX ) 2
EX

Var ( X )
将 (X EX ) 2 代替马尔科夫不等式中的X ， 2 代替，得 P(( X EX ) )
2 2
X1 X 2 L X n 将X 代替X ，并令n ，得 n X1 X 2 L X n lim P - μ ε 0 n n
2 X 12 X 2 X 3 X 4 X 5 X 6 X 32n 2 X 3n 1 X 3n P a, n , n 并确定常数a之值。
解 设Yk =X 32k 2 X 3k 1 X 3k ,由于{ X n }是独立同分布的随机变量 序列，所以{Yn }也是独立同分布的随机变量序列，且


定理5.1.2 (辛钦大数定律) 设{Xn}独立同分布，具有公共
的数学期望μ，则对任意给定的＞0，有
X1 X 2 X n lim P - μ ε 0 n n
证 (与切比雪夫大数定律的证明过程相同，使用切比雪 或者先证马尔科夫不等式；再证切比雪夫不等式； 夫不等式并求极限。)

2
，即P(| X EX | )
2
来自百度文库
12
推论5.1.1 (伯努利大数定律)(频率收敛于概率) 记vn是n重伯 努利试验中成功的次数，p为一次试验成功的概率，则
或
νn lim P - p ε 0 n n νn lim P - p ε 1 n n
2 2 2 Y X X X X X X X k 1 2 3 4 5 6 3 n 2 X 3 n 1 X 3 n k 1 n
19
E[Yk ] E[ X 32k 2 X 3k 1 X 3k ] E[ X 32k 2 ] E[ X 3k 1 X 3k ] Var[ X 3k 2 ] ( E[ X 3k 2 ]) 2 E[ X 3k 1 ]E[ X 3k ] 6 4 4 14 k 1, 2, , n {Yn }满足辛钦大数定律条件，所以
大数定律说明随机变量序列{Xn}依概率P收敛于随机 变量Y，或者说{Xn}在n→∞时不收敛于Y的概率为0。
6
(2) 设有随机变量序列{Xn}和随机变量Y。
如果
P ω : lim X n (ω) = Y (ω) 1
n

或简记为
P lim X n = Y 1
n a.s



则称随机变量序列{ X n }依概率1 收敛于Y，记作 X n Y。 上述结果表明：{Xn}服从强大数定律。
成立的充要条件是EXk存在且等于μ。
n a .s 1 柯尔莫哥洛夫强大数定律表明： X k 。 n k 1
将定理 5.1.4 应用于 n 重伯努利试验，即得如下比伯
努利大数定律(描述频率依概率收敛 )更强的博雷尔强大 数定律(描述频率依概率1收敛) 。
17
推论5.1.2 (博雷尔强大数定律) 记vn为n重伯努利试验中 成功的次数，p为一次试验成功的概率，则
νn P lim = p 1 n n
博雷尔强大数定律分别是 5.1.3和5.1.4两个柯尔莫哥 洛夫强大数定律的特例。
a s ν n 博雷尔强大数定律表明： p n
18
有关大数定律的习题选讲 5.5 设{ X n }是独立同分布的随机变量序列，且假设E[ X n ] 2, Var[ X n ] 6, 证明：
14
5.1.3 强大数定律
定义 随机变量序列{Xn}服从强大数定律 设{Xn}是随机变量序列，若
1 n P lim [ X E ( X )] 0 1 i n n i 1 i
则称{Xn}服从强大数定律。 a.s 1 n 上式表明 [ X i E ( X i )] 0 。 n i 1
15
引理 5.1.2 (柯尔莫哥洛夫不等式) 设{Xn}为独立随机变量 序列，具有有限的数学期望和方差，则对任意＞0，有
P sup ( X i - E ( X i )) ε 1k n i 1
k
Var( X )
k k 1
n
ε2
定理 5.1.3 (柯尔莫哥洛夫强大数定律) 设{Xn}为独立随机 1 n 变量序列，具有有限的数学期望 E ( X )， 且 k + n k 1
引理 5.1.1 (切比雪夫不等式) 设随机变量X的方差Var(X)存
在，则对任意ε>0，有
P X - E( X ) P X - E( X )
Var ( X )
2
证 以X 为连续型随机变量的情形证明。
X - E ( X )
f X ( x)dx
Var( X )
n n 1
n
2
, 则
1 n P lim ( X k - E( X k )) 0 1 n+ n k 1
16
定理 5.1.4 (柯尔莫哥洛夫强大数定律) 设{Xn}为独立同 分布随机变量序列，具有有限的数学期望μ，则
1 n P lim X k 1 n+ n k 1
学校有 10000 个学生，平均身高为 a ；若随意观察 1 个学 生的身高X1，则X1与a可能相差较大。 若随意观察10个学生的身高X1, X2 ,„, X10 ，则10个数据 的均值(X1+X2+„+X10 )/10与a较接近；
若随意观察100个学生的身高X1, X2 ,„, X100 ，则100个数
是否存在确定数列a1,a2,„，使得在某种收敛意义下，有 X1 X 2 X n a1 a2 an 0 (n )？ n n 答案是肯定的，并且有两种描述。 (1) 在某种条件下，对任意ε>0，有
X1(ω) X 2 (ω) X n (ω) a1 a2 an lim P ω : ε 0 n n n 则称随机变量序列{Xn}服从大数定律。 (2) 在某种条件下，有 X1 (ω) X 2 (ω) X n (ω) a1 a2 an P ω : lim 0 1 n n n 5 则称随机变量序列{Xn}服从强大数定律。
( X - E ( X ))2
X - E ( X )

2
2
f X ( x)dx
( X - E ( X ))2


f X ( x)dx
2
1

2


( X - E ( X )) f X ( x)dx
Var ( X )
2
9
可由切比雪夫不定式直接证明切比雪夫大数定律。
定理 5.1.1 (切比雪夫大数定律) 设X1,X2,„为独立随机变量
强大数定律说明{Xn}依概率1收敛于随机变量Y，或者
说{Xn}几乎处处收敛于Y。
可以证明，若X n Y，则X n Y，反之，则不成立。 这是区分强大数定律和大数定律的基本原因。
7
a.s
P
5.1.2 大数定律
定义 随机变量序列{Xn}服从大数定律
若随机变量序列{Xn}满足：
1 n 1 n lim P X E ( X ) 0 i i n n n i 1 i 1 1 n 1 n 或 lim P X E ( X ) 1 i i n n n i 1 i 1 则称{Xn}服从大数定律。 1 n 1 n 其中， X 为{ X }的样本均值， E ( X )为{ X } n i n n i 1 i n i 1 P 1 n 1 n 的期望均值。上式表明 X E ( X ) 0 。 i 8 n i 1 i n i 1
一般地，设有随机变量序列{Xn}和随机变量Y。 (1) 如果对于任意ε>0，有 lim P ω : X n (ω) - Y (ω) ε 0
n
或简记为
n
lim P X n - Y ε 0
P
则称随机变量序列{ X n }依概率P收敛于Y，记作 X n Y。 上述结果表明：{Xn}服从大数定律。
第五章 大数定律和中心极限定理
5.1
5.2
大数定律
中心极限定理
1
本章引言： 对应于随机试验的一个结果 w ，由描述该结果的随
机变量序列X1,X2,„可得到一个数列X1(w),X2(w),„。不同
试验结果对应的数列不同。以下将证明，可以近似地用 某个确定数列的算术平均值代替随机变量序列的算术平 均值。这类问题的解决依赖于大数定律。 还可证明随机变量序列的和函数经某种规范化，会
证 设{ X n}为独立同分布的随机变量序列，均服从B(1, p)， νn X1 X 2 X n = n n 每次试验中P( A) p，所以E ( X i ) = p，D( X i ) = p(1 - p)， (i =1, 2, , n)，由辛钦大数定律，即得伯努利大数定律。
13
序列，Var(Xi)≤C，EXi =μ,i=1,2,„， 则对任意ε>0，有
X1 X 2 X n lim P - μ ε 0 n n 证 由X1, X 2 ,的独立性，有 X 1 X 2 X n nμ EX = E = = μ， n n n Var ( X i ) nC C X1 X 2 X n i =1 Var X =Var = 2= 2 n n n n Var ( X ) 将上述结果代入切比雪夫不等式P X - E X ε ，有 2 ε X1 X 2 X n C P - μ ε 2 0 (n ) n 10 nε
伯努利大数定律的意义： 依概率意义讲，随着n的增大，事件发生的频率vn/n 越来越接近概率p，而vn/n不接近p的可能性越来越小。 但不能说lim pn p，因为不管n有多大，仍可能有pn
n
偏离p的情形出现(虽然这些例外情形出现的概率趋于0)。
该定理以严格的数学形式表达了频率的稳定性。即n很 大时，事件发生的频率与概率有较大偏差的可能性很小。 比较： (1) 伯努利大数定律是切比雪夫大数定律的特例。 (2) 伯努利大数定律也是辛钦大数定律的特例。 (3) 各大数定律成立的条件不同，使用时请注意甄别。
据的均值(X1+X2+„+X100 )/100与a更接近； 若随意观察n(n＜10000)个学生的身高X1, X2 ,„, Xn ，当n 随着n的增大而与a(总体均值)充分接近。
4
为很大数时，则n个数据的均值(X1+X2+…+Xn )/n(样本均值)，
5.1.1 大数定律问题的提法
一般情况下，设随机变量序列X1,X2,„(或记为{Xn})，
在某种意义下收敛到分布已知的随机变量。这类问题的
解决依赖于中心极限定理。
2
本章基本内容：
切比雪夫大数定律 大数定律 大数定律 强大数定律 辛钦大数定律 伯努利大数定律 科尔莫哥洛夫强大数定律
博雷尔强大数定律
中心极限定理
林德伯格—莱维中心极限定理
棣莫弗—拉普拉斯中心极限定理
3
5.1 大数定律
对大数定律的直观认识：
然后证明本定理。
11
证 设X 是只取非负值的随机变量，则对任意 ， E( X ) 有马尔科夫不等式 P( X )

设X 的密度函数为f ( x),X 只取非负值,当x 0时,f ( x) 0, 故 EX
0
xf ( x)dx


xf ( x)dx f ( x)dx