依概率收敛与弱大数定律

§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10ωω∈∈[,.](.,]005051 ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,0 .1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d −→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξnP−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则 ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P −→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得lim ()()n n F x F x →∞=, 即ξn d−→−ξ. 2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布, ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证 由定理1, 只须证明ηn 的分布函数G x D x a n W()()−→−-, 其中D(x-a)是在a 点的退化分布函数.从第二章知道：若ξk 的分布函数为F(x), 则ηn 的分布函数为G x F x n n()[()]=. 现在ξk 的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0a x .,0,0a x a x x ≥<≤<故G x x a n n (),(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩x ax a <≥(n →∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξn P −→−ξ，ξn P −→−η, 则P(ξ=η)=1. 2. 若ξn P −→−ξ, f 是 (-∞, ∞) 上的连续函数，则f (ξn )Pf −→−()ξ. 证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22 ,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22.由ξn P −→−ξ,ξn P−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P n n n =0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε.(6)由于ξn P−→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ. 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξnP −→−ξ 当且仅当 E ||||ξξξξn n -+-221→0. 证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p. S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=pn,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-pn),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律） 设{ξn }是一列独立同分布的随机变量，P(ξn =1)=p, P(ξn =0)=1-p,0 < p <1, 记S n ii n==∑ξ1, 则S n nP p −→−. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2 设{ξn }是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{a n }和{b n }使得101a b n k n Pk n ξ-−→−=∑, (n →∞)，(12)则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律.定理5 （切比雪夫大数定律） 设{ξn }是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E ξn =μn , Var ξn =σn 2. 如果10221n k k n σ=∑→，则{ξn }服从弱大数定律，即11011n n k k n k Pk n ξμ-−→−==∑∑.证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k nξ=∑)=1221n kk n σ=∑，用第三章§2的切比雪夫不等式，得P(|11n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k nξ=∑)=12ε(1221n k k n σ=∑)→0. 此即所证.注1 贝努里大数定律是切比雪夫大数定律的特例.注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ξn }独立”，但条件“1221n k k n σ=∑→0”改为“12n Var(ξk k n =∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律） 设{ξn }是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n / n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律. 证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s2. 当s<1/ 2时,121n Var k k n ξ=∑=11022221211n k n n n s sk n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn k k n n ==∑11, S n n k n k n 2211=-=∑()ξξ.求证: S n P22−→−σ. 证S n nk n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk -)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞,E||ξn r<∞, n ≥1, 0 < r <∞. 如果 E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn Lr−→−. 如果存在0< r <∞, ξξn L r −→−, 令rx x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P −→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即0−→−rLn ξ不成立.。