依概率收敛与弱大数定律

§2 依概率收敛与弱大数定律
一、依概率收敛 二、弱大数定律
一、依概率收敛
尽管分布函数完全反映了随机变量取值得分布规律, 但就是两个不同得随机变量可以有相同得分布函数、 例如, 向区间[0,1]上随机等可能投点,ω表示落点得位置，定义
ξω(),,=⎧⎨⎩10
ωω∈∈[,.](.,]005051 ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051、 (1) 则ξ与η具有相同得分布函数
F(x)=⎪⎩⎪
⎨⎧,1,2/1,0 .1,10,
0≥<≤<x x x
(2)
如果定义ξξn =, n ≥1, 则
ξηn d −→−, 但||ξηn -≡1、 这表明分布函数收敛性并不能反映随机变量序列取值之间得接近程度、 为此需要引入另外得收敛性、
定义1 设ξ与ξn 就是定义在同一概率空间 (Ω,F, P)上得随机变量序列、 如果对任意ε>0,
lim (||)
n n P →∞
-≥ξξε=0, (3)
或
lim (||)
n n P →∞
-<ξξε=1,
'
)3(
则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn
P
−→−ξ、 注 定义1要求所有ξ与ξn 得定义域相同、
ξn P
−→−ξ可直观地理解为：除去极小得可能性，只要n 充分大，ξn 与ξ得取值就可以任意接近、
从上面例子可以瞧出, 由ξn d −
→−ξ并不能导出ξn P
−→−ξ、 关于这两种收敛性之间得关系，我们有下面得定理、
定理1 设ξ与ξn 就是定义在概率空间 (Ω,F, P)上得随机变量序列、
1、 如果ξn P −
→−ξ, 则 ξn d
−→−ξ、 2、 如果ξn d
c −
→−, c 为常数，则ξn P
c −→−、 证 1、 设F 与F n 分别就是ξ与ξn 得分布函数，x 表示F 得连续点、 任意给定ε>0,
(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)Y
⊆≤-≥()()ξξξεn n x Y ,
因此
F(x -≤+-≥εξξε)()()F x P n n 、
令n →∞, 由于
ξn P −→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x
-≤→∞
ε)lim ()
n n F x 、 (4)
类似地
()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+Y
⊆≤+-≥()()ξεξξεx n Y ,
从而
F x F x P n n ()()()≤++-≥εξξε、
令n →∞, 得
lim ()()
n n F x F x →∞
≤+ε、 (5)
连接(4) (5)两式，对任意ε>0, 有
F(x
-≤→∞
ε)lim ()
n n F x ≤
lim ()()
n n F x F x →∞
≤+ε、
由于F 在x 点连续，令ε→0, 就得
lim ()()
n n F x F x →∞
=, 即
ξn d
−→−ξ、 2、 如果ξn d
c −
→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x c
x c <≥、
因此对任意ε>0,有
)
()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n
=1-+-+-→F c F c n n ()(),εε00 (n →∞)、
定理证毕、
例1 设{ξn }独立同分布，都为[0, a]上得均匀分布, ηξξξn n =max{,,,}12Λ、求证
ηn P
a −→−、
证 由定理1, 只须证明ηn 得分布函数G x D x a n W
()()−
→−-, 其中D(x-a)就是在a 点得退化分布函数、
从第二章知道：若ξk 得分布函数为F(x), 则ηn 得分布函数为G x F x n n
()[()]=、 现在ξk 得
分布函数为
F(x)=
⎪⎩
⎪
⎨⎧,
1,/,0a x .,0,
0a x a x x ≥<≤<
故
G x x a n n (),
(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩
x a
x a <≥
(n →∞)、
证毕、
依概率收敛有许多性质类似于微积分中数列极限得性质, 下面仅举两个例子说明这类问题得证题方法、 大部分性质放在习题中留给读者自己证明、
例2 设ξ与ξn 就是定义在概率空间 (Ω,F, P)上得随机变量序列、 求证：
1、 若ξn P −→−ξ，
ξn P −→−η, 则P(ξ=η)=1、 2、 若ξn P −
→−ξ, f 就是 (-∞, ∞) 上得连续函数，则f (ξn )P
f −→−()ξ、 证 1、 任意给定ε>0，我们有
(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22Y ,
从而
P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22、
由ξn P −→−ξ,
ξn P
−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0、 进一步, P(|
ξηξηξη->=-≥≤-≥=∞=∞
∑|)((||/))(||/)
0111
1
P n P n n n Y =0,
即P(ξ=η)=1、
2、 任意给定εε,'>0，存在M>0, 使得
P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε、
(6)
由于ξn P
−
→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此
2/4/4/)
2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)
又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续、 对给定得ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε、 这样
P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥、 (8)
对上面得δ, 存在N 21≥, 当n ≥N 2时,
P (||)/ξξδεn -≥<'4、
(9)
结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，
P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,
从而 f (ξn )P
f −
→−()ξ、 为了进一步讨论依概率收敛得条件，我们给出下列切比雪夫不等式(第三章§2)得推广、 定理2 （马尔科夫不等式） 设ξ就是定义在概率空间 (Ω, F, P)上得随机变量，f (x)就是[0, ∞) 上非负单调不减函数，则对任意x >0,
P(|ξ| > x)
≤
Ef f x (||)
()ξ、
(10)
证 当Ef(|ξ|)=∞时，(10)式显然成立、 设Ef(|ξ|)<∞,ξ得分布函数为F(x)、 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而
⎰
⎰
>>≤=>x
y x
y y dF x f y f y dF x P ||||)()(|)
(|)()|(|ξ
⎰+∞
∞-≤
)(|)(|)(1y dF y f x f
)(|)(|x f Ef ξ=
、
定理3 ξn P
−
→−ξ 当且仅当 E ||||ξξξξn n -+-2
21→0、 证 充分性：注意到f (x)=x x 2
2
1+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2
P(|
ξξεεεξξξξn n n E ->≤+-+-|)||||112
2
22→0,
即ξ
n
P
−→
−ξ、
必要性：设
ξ
n
-ξ得分布函数就是F x
n
()、对任意ε>0,
)
(
1
)
(
1
)
(
1
|
|
1
|
|
||2
2
||2
2
2
2
2
2
x
dF
x
x
x
dF
x
x
x
dF
x
x
E
n
x
n
x
n
n
n
⎰
⎰
⎰
≥
<
∞
∞
-
+
+
+
=
+
=
-
+
-
ε
ε
ξ
ξ
ξ
ξ
≤
+
+
≥
⎰
ε
εε
2
2
1
dF x
n
x
()
|\=
ε
ε
ξξε
2
2
1+
+-≥
P
n
(||)
、(11)
由于ξ
n
P
−→
−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E
||
||
ξξ
ξξ
n
n
-
+-
2
2
1→0、
二、弱大数定律
考虑随机试验E中得事件A，假设其发生得概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验、令
ξ
i =⎧⎨
⎩
1
,
,次试验中不出现
在第
次试验中出现
在第
i
A
i
A
, 1≤≤i n、
则P(ξi=1)=p, P(ξi=0)=1-p、S n i
i
n
=
=
∑ξ
1就是做试验E n次后A发生得次数，可能值0,1,2,…,n, 视
试验结果而定、熟知E S
n
n
=p、在第一章§1中曾经指出: 当∞
→
n时频率n
S
n
"稳定到"（在
某种意义下收敛于）概率p、我们想知道S
n
n
与p之间得差究竟有多大、
首先应该意识到不可能期望对任意给定得0<ε<1, 当n充分大时, |S
n
n
-p|≤ε对所有试验结
果成立、事实上，当0 < p <1,
P(S
n
n
=1)=P(ξ1=1,…,ξn=1)=p
n
,
P(S
n
n
=0)=P(ξ1=0,…,ξn=0)=(1-p
n
),
它们都不为零、而在第一种情况，取ε<1-p，不论n多大，|S
n
n
-p|=1-p >ε; 在第二种情况，取
ε<p, 则有|S
n
n
-p|= p >ε、
然而，当n充分大后，事件{S
n
n
=1}与{
S
n
n
=0}发生得可能性都很小、一般来说，自然地希
望当n充分大以后，出现{|S
n
n
-p|≥ε}得可能性可以任意地小、这一事实最早由贝努里发现、
定理4 （贝努里大数定律） 设{ξn }就是一列独立同分布得随机变量，P(ξn =1)=p,
P(ξn =0)=1-p, 0 < p <1, 记
S n i
i n
==∑ξ1
, 则
S n n
P p −→−、 继贝努里之后，人们一直试图对一般得随机变量建立类似得结果、
定义2 设{ξn }就是定义在概率空间 (Ω, F, P)上得随机变量序列，如果存在常数列{a n }与{b n }使得
101
a b n k n P
k n ξ-−
→−=∑, (n →∞)，
(12)
则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律、
定理5 （切比雪夫大数定律） 设{ξn }就是定义在概率空间 (Ω,F, P)上得独立随机变量序
列，E ξn =μn , Var ξn =σn 2、 如果1022
1n k k n σ=∑→，则{ξn }服从弱大数定律，即
11011n n k k n k P
k n ξμ-−
→−==∑∑、
证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k n
ξ=∑)=1221n k
k n σ=∑，用第三章
§2得切比雪夫不等式，得
P(|11
n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k n
ξ=∑)=12ε(1221n k k n σ=∑)→0、 此即所证、
注1 贝努里大数定律就是切比雪夫大数定律得特例、
注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立、 更一般地,
由该定理得证明容易瞧出：如果取消条件“{ξn }独立”，但条件“122
1n k k n σ=∑→0”改为
“1
2
n Var(ξk k n =∑1)→0”, 则定理5得结论仍然成立, 称为“马尔科夫大数定律”、
如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：
定理6（辛钦大数定律） 设{ξn }就是定义在概率空间 (Ω, F, P)上得独立同分布随机变量序
列，E|ξ1|<∞、 记E ξ1=μ,
S n k
k n
==∑ξ1
, 则{ξn }服从弱大数定律，即 S n n P
−→−μ
、
证 分别令)(t f 与)(t f n
为ξ1与S n / n 得特征函数、 既然{ξn }相互独立同分布，那么
)(t f n =n n t f ))/((、 另外, E 1ξ=μ, 所以由泰勒展开式知
)(t f =1+i )(t o t +μ,
t →0、
(13)
对每个t ∈R,
)/(n t f =1+i )/1(/n o n t +μ, n →∞,
(14)
)(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞、
由于e
i t
μ恰好就是集中单点μ得退化分布得特征函数，运用第一节得逆极限定理即可知道
S n n d /−→−μ、 再根据定理1得S n n P
/−→−μ、 定理证毕、
例2 设ξk 有分布列k k s s -⎛⎝ ⎫
⎭
⎪0505.., s<1 /2为常数，且{ξk }相互独立、 试证{ξk }服从弱大数定
律、
证 已知ξk 有分布列
k k s s -⎛⎝ ⎫⎭
⎪0505..，所以E ξk =0, Var ξk =k s
2、 当s<1/ 2时,
121n Var k k n ξ=∑=11022221211n k n n n s s
k n s k n <=→=-=∑∑、
另外, {ξk }又就是相互独立得，所以{ξk }服从切比雪夫大数定律，即11
n k k n
ξ=∑P
−→−0、 例3 设{ξk }相互独立, 密度都为 p(x)=201
1
3/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律、
证 {ξk }独立同分布, E ξk =xp x dx
()-∞∞
⎰=2, 所以{ξk }服从辛钦大数定律、
例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2
、 令
ξξn k k n n =
=∑11, S n n k n k n 2
211=-=∑()ξξ、
求证:
S n P 2
2−→−σ、 证
S n n
k n k n 22
11=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑
=---=∑1221n k n k n
()()ξμξμ、
(15)
由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20、 再因{(ξμk -)2
)独立同分布，
E(ξμk -)2=Var ξk =σ2
, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n
1
k 2k )(n 12P σ−→−、 由(15)式与依概率收敛得性质（习题18），S n P 22
−→−σ、
注 在数理统计中，ξn 称为样本均值，n
n S n -12称为样本方差、 辛钦大数定律表明样本均
值依概率收敛于总体均值、 上述例子则表明样本方差依概率收敛于总体方差、
最后，给出随机变量序列得另一种收敛性概念、
定义3 设ξ与n ξ, n ≥1, 就是定义在同一概率空间(Ω,F, P)上得随机变量序列，E ||ξr
<∞,
E
||ξn r
<∞, n ≥1, 0 < r <∞、 如果 E ||ξξn r
-→0，
(16)
则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn L
r
−
→−、 如果存在0< r <∞, ξξn L r −→−, 令r
x x f ||)(=，并对ξξn -应用马尔科夫不等式，可推
出ξξn P
−
→−、 然而下例说明其逆不成立、 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-1
3log()n +, n=1,2,…、 易知，ξn P −
→−0, 但对任何 0 < r<∞,
E ||log()ξn r
r
n n =+→∞
3, (n →∞)、
即
0−→−r
L
n ξ不成立、。