第五章 大数定律与中心极限定理

n
ε2
定理 5.1.3 (柯尔莫哥洛夫强大数定律) 设X1, X2,… 为独立随
Var[ X k ] , 则 机变量序列，具有有限的数学期望，且 2 k k 1

1 n P lim ( X k - E[ X k ]) 0 1 n+ n k 1
Y
n
5.1.3 强大数定律
引理 5.1.2 (柯尔莫哥洛夫不等式) 设X1, X2,… 为独立随机变 量序列，具有有限的数学期望和方差，则对任意＞0，有
P sup ( X i - E[ X i ]) ε 1k n i 1
k
Var[ X ]
k k 1
律(描述频率依概率1收敛) 。
推论5.1.2 (博雷尔强大数定律) 记vn为n重伯努利试验中成 功的次数，p为一次试验成功的概率，则
νn P lim = p 1 n n
例(习题5.11) 假设某洗衣店为第i个顾客服务的时间X i 服从区间[5,53](单位：分钟)上的均匀分布，且对每 个顾客是相互独立的，试问当n 时，n 次服务时间 1 n 的算术平均值 X i以概率1收敛于何值？ n i 1 解： 依题意，显然有 {X n }是一个独立同分布的随机变量序列，
若能在某种条件下，有
X1 (ω) X 2 (ω) X n (ω) a1 a2 an P ω : lim 0 1 n n n
则称随机变量序列X1, X2, …服从强大数定律
可以证明：若满足强大数定律，则满足弱大数定律。
推论5.1.1 (伯努利大数定律（频率收敛于概率）)
记 vn 是 n 重伯努利试验中成功的次数， p 为一次试验成功
的概率，则对任意给定的＞0有
νn lim P - p ε 0 n n 证 设X i 第i次试验时成功的次数，i 1, 2,
1 第i次试验成功 则 Xi 0 第i次试验不成功 P( X i 1) p, P( X i 0) 1 p n次试验中成功的次数vn X 1 X 2 X n
以概率1收敛
设有随机变量序列X1, X2 ,…, Xn,…和随机变量Y 如果
P( : lim X n ( ) Y ( )) 1 x
Xn
a.s a.s
则称随机变量序列{Xn}以概率1收敛于Y, （也 称为{Xn}几乎处处收敛于Y ）记为
Y Y 则 Xn
P
意义：随着n的增大，依概率意义讲，频率pn= vn / n越来越接近概 率p，而pn不接近p的可能性越来越小。 pn p ，因为不管n有多大，仍可能有 pn 偏离p 的情 不能说： lim n 形出现(虽然这些例外情形出现的概率趋于0)。
例（习题5.5） 设{ X n }是独立同分布的随机变量序列，且假设E[ X n ] 2, Var[ X n ] 6, 证明：
定理 5.1.4 (柯尔莫哥洛夫强大数定律) 设X1, X2,… 为独立
同分布随机变量序列，具有有限的数学期望μ，则
1 n P lim X k 1 n+ n k 1
将定理 5.1.4 应用于 n重伯努利试验，即得如下比伯努 利大数定律(描述频率依概率收敛 )更强的博雷尔强大数定
X1 X 2 X n X1 X 2 X n lim P - E[ ] ε 0 n n n
证 由于X 1 , X 2 ,的独立性有 X1 X 2 X n Var n
Var[ X ]
i i =1
分别取 n 1, 2, 4,8,32，看其概率分布的变化。
当n +时， X k的概率分布趋向于正态分布
k 1
n
为了防止n +时， X k的中心（即数学期望）趋向，
k 1
n
以及方差无限增大，因此在计算 X k的概率分布时，先
k 1
n
做标准化处理（变换）：
X
k 1
{Yn }满足辛钦大数定律条件，所以 对任意 0, 有 Y1 Y2 Yn lim P - 14 ε 0 n n 即
2 2 2 X X X X X X X P k 1 2 3 4 5 6 3 n 2 X 3 n 1 X 3 n 1 a, n n n a 14 k
引理 5.1.1 (切比雪夫不等式) 设随机变量X的方差存在，则 对任意ε>0，有
2 证 以X 为连续型随机变量的情形证明。
P X - E[ X ]
x - E [ X ]
P X - E[ X ]
Var[ X ]
f X ( x)dx

=
( x - E[ X ])
若能在某种条件下，对任意ε >0，有
X1 (ω) X 2 (ω) X n (ω) a1 a2 an lim P ω : ε 0 n n n
则称随机变量序列X1, X2, …服从(弱)大数定律。
若能在某种条件下，有
X1 (ω) X 2 (ω) X n (ω) a1 a2 an P ω : lim 0 1 n n n
可以证明，若 X n
Y
强大数定律讨论的就是以概率1收敛.
弱大数定律一般形式：
若随机变量序列{Xn}满足：
1 n lim P X i n n i 1 1 n E[ X i ] n i 1 0
则称{Xn} 服从弱大数定律.
5.1.2 弱大数定律
X1 , X 2 ,是独立同分布B(1, p)的随机变量序列， E[ X i ] = p ， (i = 1, 2,, n)，
νn X1 X 2 X n = n n 由辛钦弱大数定律，得 νn lim P p 0 n n 即得伯努利大数定律。
2 X 12 X 2 X 3 X 4 X 5 X 6 X 32n 2 X 3n 1 X 3n P a, n , n 并确定常数a之值.
解：设Yk =X 32k 2 X 3k 1 X 3k ,由于{ X n }是独立同分布的随机变量序列 所以， {Yn }也是独立同分布的随机变量序列，且
n
n2
nC C 2 n n
由切比雪夫不等式，有 X1 X 2 X n X1 X 2 X n P - E[ ] ε n n X1 X 2 X n Var[ ] C n 2 0 (n ) 2 nε
则有 X1 X 2 X n X1 X 2 X n lim P - E[ ] ε 0 n n n
则称随机变量序列X1, X2, …服从强大数定律
依概率收敛
设有随机变量序列X1, X2 ,…, Xn,…和随机变量Y
lim P X Y 若对任意的 >0，有 n n 0
则称随机变量序列{Xn}依概率收敛于Y, 记为
Xn
P
Y
弱大数定律讨论的就是依概率收敛.
5.2 中心极限定理
例：设有同分布的随机变量序列： {X 1 ,X 2 , ,X k ,}， 每个X k 都服从： 0 Xk ~ 1 3
n k 1
1 2 3
,
k 1, 2,
和函数 X k X 1 X 2 X n的概率分布随着n的增大 的变化？
{X n }序列的算术平均值依概率1收敛于其公共数学期望.
只要存在有限的公共数学期望，则按柯尔莫哥洛夫强大数定律，
由于X i ~U(5,53)，所以E[ X i ] (5 53) / 2 29, i 1, 2, , n 1 n 所以，P lim X i 29 1 n n i 1 1 n 即：n 次服务时间的算术平均值 X i以概率1收敛于29 （分钟） n i 1
X 1 X 2 X n a1 a2 an 0 (n ) n n 若能在某种条件下，对任意ε >0，有
X1 (ω) X 2 (ω) X n (ω) a1 a2 an lim P ω : ε 0 n n n 则称随机变量序列X1, X2, …服从(弱)大数定律。
n
N (0,1)
d
Var[ X k ]
kຫໍສະໝຸດ Baidu1
则称X1, X2,… 服从中心极限定理。 说明：
按分布收敛
该定义表明若随机变量序列的和函数经标准化后其分
n
k
E[ X k ]
k 1 n
n
令
Var[ X k ]
k 1
Zn
使得的数学期望E[ Z n ] 0, 方差Var[ Z n ] 1，再考虑Z n的分布。
定义 5.2.1 设X1, X2,… 为随机变量序列，具有有限的数学期
望和方差，若
X
k 1
n
k
E[ X k ]
k 1 n
2 2 2 Y X X X X X X X k 1 2 3 4 5 6 3 n 2 X 3 n 1 X 3 n k 1 n
E[Yk ] E[ X 32k 2 X 3k 1 X 3k ] E[ X 32k 2 ] E[ X 3k 1 X 3k ] Var[ X 3k 2 ] ( E[ X 3k 2 ]) 2 E[ X 3k 1 ]E[ X 3k ] 6 22 2 2 14 k 1, 2, , n
x - E [ X ]

2

2
2
f X ( x)dx
( x - E[ X ])2


f X ( x)dx
2
1

2



( x - E[ X ]) f X ( x)dx
Var[ X ]
2
由切比雪夫不定式可直接证明切比雪夫弱大数定律。 定理 5.1.1 (切比雪夫弱大数定律) 设X1, X2, …为独立随机变 量序列，且Var[Xi]≤C，i=1,2,…，则对任意ε>0，有
定理5.1.2 (辛钦弱大数定律) 设X1, X2 ,… 是独立同分布的随机
变量序列，具有有限的数学期望μ，则对任意给定的＞0有
X1 X 2 X n lim P - μ ε 0 n n
（证明略） 本定理要求随机变量X1, X2 ,…独立同分布，有数学期望。 但不要求有方差存在。
据的均值(X1+X2+…+X100 )/100与a更接近；
若随意观察n(n＜10000)个学生的身高X1, X2 ,…, Xn ，则n 个数据的均值(X1+X2+…+Xn )/n，随着n增大而与a充分接近。
对于一般情况，设有随机变量序列X1,X2,…，是否存在
确定数列a1,a2,…，使得在某种收敛意义下，有
第五章 大数定律和中心极限定理
5.1 5.2
大数定律 中心极限定理
§5.1 大数定律
5.1.1 大数定律问题的提法 举例
学校有 10000 个学生，平均身高为 a ；若随意观察 1 个学
生的身高X1，则X1与a可能相差较大。 若随意观察10个学生的身高X1, X2 ,…, X10 ，则10个数据 的均值(X1+X2+…+X10 )/10与a较接近； 若随意观察100个学生的身高X1, X2 ,…, X100 ，则100个数