§5.2大数定律

1 n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
或者对任意实数 >0，有
lim
n
P
1 n
n k 1
Xk
1 n
n k 1
E(Xk
)
1.
二 五个重要的大数定律
定理5.2(切比雪夫大数定律) 对独立随机变量序列{Xk}, 如果E(Xk)与D(Xk)(k=1, 2, …)均存在，且存在常数C，
使D(Xk)C, k=1, 2, …，则有
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
【证】令Yn
1 n
n
k 1
X k，依数学期望和方差的性质，有
n E Yn
E
1 n
n k 1
Xk
1 n
n k 1
E
Xk
,
2 n
D
Yn
D
1 n
n k 1
Xk
1 n2
n k 1
fn ( A)
1 n
n k 1
Xk
P
p
P( A).
【议】推论2解决了第一章遗留的问题。即频率fn(A)的稳 定值P(A)实际上是频率fn (A)依概率收敛于P(A)。因此 在实际应用中，当n较大时，可用频率fn(A)估计A发生 的概率P(A)。
【评】易见{Xk }服从大数定律。
推论3(泊松大数定律) 在一个独立试验序列中，事件A
Xk
P
E
Xk
2,
Zn
1 n
n k 1
X
2 k
P E
X
2 k
8.
【提纲挈领】 10 理解随机变量序列服从大数定律的概念； 20 理解和掌握五个重要的大数定律。
数学家 马尔可夫 在概率论中的贡献
简介
马尔可夫(1856-1922)俄国数学家 马尔可夫致力于研究概率论的中心极限定理和大数定 律。他最著名的贡献是研究了一类随机过程，即所谓 的马尔可夫链。 马尔可夫对随机过程的兴趣广泛。他的思想被成功地 运用于布朗运动的研究。马尔可夫的研究动机主要是 想把概率论严格化。他尝试发现描述抽象的随机过程 的数学。他的思想成为许多科学分支的重要组成部分。 比如股票市场、生物科学和社会科学等。
对任意实数 >0，上式还可等价表示为
lim
n
P
1 n
n k 1
Xk
1 n
n k 1
E(Xk
)
1.
【注】若某个E(Xk)不存在，则称{Xk}不服从大数定律。
【注】依概念，若随机变量序列{Xk}满足如下两个条件，
则{Xk }服从大数定律。
(1)E(Xk)(k=1, 2, …)存在；
(2)
在第k次试验中发生的概率等于pk(k=1,2,…)，以nA记
在前n次试验中A出现的次数，则
nA p1 p2 pn P 0.
n
n
【证】引入随机变量
1, Xk 0,
在第k次试验中事件A发生，
在第k次试验中事件A不发生，k
1,
2,,
n,
显然X1, X2, …, Xn相互独立，且nA=X1+X2+…+Xn。
n
n k 1
Xk
1 n
n k 1
E
Xk
p 0.
从而{Xk}服从大数定律。
定理5.4(辛钦大数定律) 设{Xk}是独立同分布的随机变
量序列，如果E(Xk)= (k=1, 2, …)存在，则
算术均值 序列具有 稳定性
1
n
n k1
Xk
P.
(证略)
【评】易见{Xk }服从大数定律，且方差可以不存在。
事实上， 1 n
0,
第k次试验中事件A发生， 第k次试验中事件A不发生，k
1,
2,,
n,
则X1, X2, …, Xn独立同服从(0-1)分布B(1, p), 且E(Xk)=p,
D(Xk)=p(1-p)，注意到A发生的次数为
nA X1 X 2 X n ,
则fn ( A)
nA n
1 n
n
Xk ,
k 1
依推论1，有
[美]John Tabak. 概率论和统计学[M]. 商务印书馆, 2007
D Xk
E
X
2 k
E
Xk
2 3 k 2 1 3 k 2 1 0 k2 3,
2
2
1
n2
D
n k 1
Xk
1 n2
n
D( Xk )
k 1
1 n2
n
k 2/3
k 1
n n2/3 n2
1 3n
0(n ),
{Xk}满足马尔可夫条件，依马尔可夫大数定律，有
1
当n充分大时，n1
n k 1
Xk
在概率意义下取值充分接近于其
共同的期望。
故在实际问题中可用
1 n
n
k 1
X
k
估计。
推论2(伯努利大数定律) 在n重伯努利试验中，事件A
发生的频率为
fn ( A)
nA n
，且A发生的概率为p=P(A)，
则fn ( A) P p P( A).
【证】引入随机变量
1,
Xk
E(Xk)(k=1,
2,
…)都存在，且 lim n
1 n2
D
n k 1
Xk
0.
则
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
【证】依切比雪夫不等式，对任意给定 >0，有
0
P
1 n
n k 1
Xk
1 n
n k 1
E(Xk )
P
1 n
n k 1
Xk
E
1 n
n k 1
n k 1
Xk
0为马尔可夫条件。
【评】易见{Xk }服从大数定律，且{Xk }可以相依。
例1 设随机变量序列{Xk}独立，且
P
Xk 3 k
1, 2
P
Xk 3 k
1, 2
k 1, 2, 3,.
试判断{Xk }是否服从大数定律。
【解】依题设，显然E(Xk )=0，由方差的计算公式，有
则
1 n
n k 1
Xk
P .
【证】依题设，序列{Xk}独立且E(Xk)=, D(Xk)= 2，即
方差有公共的上界，依切比雪夫大数定律，有
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
又因为
1 n
n
E Xk
k 1
,
所以
1
n
n k 1
Xk
P 0,
即1 n
n
Xk
k 1
P 。
【评】推论1表明，对于方差存在的独立同分布序列{Xk }，
D
Xk
1 n2
nC
C n
，
故当n时，有n20，依定理5.1，有
Yn n P 0,
即
1 n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
【评】对于独立且方差有公共上界的序列{Xn}，其必服 从大数定律。
推论1(切比雪夫大数定律的特别情形) 设{Xk}是独立同
分布随机变量序列，且E(Xk)=, D(Xk)= 2, k=1, 2, …,
随机变量Yn
1 n
n k 1
Xk
,
Zn
1 n
n k 1
X k2，当n时，序列
{Yn}依概率收敛于 , {Zn}依概率收敛于
。
【解】依题设，E(Xk)=2, D(Xk)=4，因{Xk}独立同分布，
所以{Xk2}独立同分布，且
E
X
2 k
D
Xk
E
X
k
2
8.
依辛钦大数定律，有
Yn
1 n
n k 1
EXk
pk , D Xk
pk
1
pk
1 4
pk
1 2 2
1, 4
k
1, 2,,
依切比雪夫大数定律，有
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
即 nA p1 p2 pn P 0.
n
n
【评】易见{Xk }服从大数定律，且事件A在各次试验中 发生的概率可以不同。
定理5.3(马尔可夫大数定律) 对随机变量序列{Xk}，若
Xk
1
2
D
1 n
n k 1
Xk
1
2
1 n2
D
n k 1
Xk
0(n
).
在上式中令n，对任意实数 >0，有
lim
n
P
1 n
n k 1
Xk
1 n
n k 1
E(Xk )
0，
依定义，有
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P 0.
【注】通常称 lim n
1 n2
D
n k 1
E
X
k
,
于是
1
n
n k 1
Xk
1 n
n k 1
E
Xk
P0.
【评】为数很多的随机变量的算术平均变量的取值与其 数学期望之间可能有较大偏差的可能性是随着n的增大 而无限减小的。这是因为在取算术平均值时，原来那 些偏差有的彼此相互抵消，相互补偿的缘故。