依概率收敛
依概率收敛与弱大数定律汇总
§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10 ωω∈∈[,.](.,]005051ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,0 .1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d−→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn P−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则 ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P−→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得lim ()()n n F x F x →∞=, 即ξn d−→−ξ. 2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布, ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证 由定理1, 只须证明ηn 的分布函数G x D x a n W()()−→−-, 其中D(x-a)是在a 点的退化分布函数.从第二章知道：若ξk 的分布函数为F(x), 则ηn 的分布函数为G x F x n n ()[()]=. 现在ξk 的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0a x .,0,0a x a x x ≥<≤<故G x x a n n (),(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩x ax a <≥(n →∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξn P −→−ξ，ξn P−→−η, 则P(ξ=η)=1. 2. 若ξn P −→−ξ, f 是 (-∞, ∞) 上的连续函数，则f (ξn )Pf −→−()ξ. 证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22 ,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22.由ξn P −→−ξ,ξn P−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P n n n =0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε.(6)由于ξn P−→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ. 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξn P−→−ξ 当且仅当 E ||||ξξξξn n -+-221→0. 证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p. S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=pn,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-pn),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律） 设{ξn }是一列独立同分布的随机变量，P(ξn =1)=p, P(ξn =0)=1-p,0 < p <1, 记S n ii n==∑ξ1, 则S nnP p −→−. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2 设{ξn }是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{a n }和{b n }使得101a b n k n Pk n ξ-−→−=∑, (n →∞)，(12)则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律.定理5 （切比雪夫大数定律） 设{ξn }是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E ξn =μn , Var ξn =σn 2. 如果10221n k k n σ=∑→，则{ξn }服从弱大数定律，即11011n n k k n k Pk n ξμ-−→−==∑∑.证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k nξ=∑)=1221n kk n σ=∑，用第三章§2的切比雪夫不等式，得P(|11n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k nξ=∑)=12ε(1221n k k n σ=∑)→0.此即所证.注1 贝努里大数定律是切比雪夫大数定律的特例.注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ξn }独立”，但条件“1221n k k n σ=∑→0”改为“12n Var(ξk k n =∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律） 设{ξn }是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n / n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律. 证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s 2. 当s<1/ 2时, 121n Var k k n ξ=∑=11022221211n k n n n s sk n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn k k n n ==∑11, S n n k n k n 2211=-=∑()ξξ.求证: S n P22−→−σ. 证S n nk n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk -)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞, E||ξn r<∞, n ≥1, 0 < r <∞. 如果 E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn Lr−→−. 如果存在0< r <∞, ξξn L r −→−, 令rx x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P −→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即0−→−rLn ξ不成立.。
§4.3随机变量序列的两种收敛性
n
再令x ' x F ( x 0) lim Fn ( x )
n
8
同理可证： 当 x " x时，F ( x ") limFn ( x ),
n
再令x " x， F ( x 0) limFn ( x ) .
n
即有 F ( x 0) lim Fn ( x ) lim Fn ( x ) F ( x 0) . n
0, x c; 有 Fn (c / 2) F (c / 2) 1， F ( x ) 1 , x c . Fn (c ) F (c ) = 0 .
从而 P ( X n c ) （n ) 0
且 Fn ( x ) F ( x ) ， 所以当 n 时，
n
若x是F ( x )的连续点，
则 Fn ( x ) F ( x ), 即X n X .
W L
TH2表明：依概率收敛是弱收敛的充分不必要条件，
由弱收敛不能得出依概率收敛。见下面的例子。
9
例2 设X
X P
1 1 2
1 1 2
令 Xn X ,
L
当然有 X n X . 则 X n 与X 同分布，
P P P X n a ,Yn b X n Yn a b； P P X n Yn a b , X n Yn a b(b 0). 证明： ( X n Yn ) (a b ) X n a Yn b ( X n Yn ) (a b ) X n a Yn b 2 2
0 P X Y
§5.1依概率收敛
1P{|f(Xn) –f(a)|< }P{|Xn-a|< }， (*)Βιβλιοθήκη 依题设，对 >0，有
lim
n
P{|Xn-a|<
}=1，
在(*)式中令n，对 >0，有
nlimP{|f(Xn)–f(a)|< }=1。
于是依定义，有
f Xn P f (a).
【评】若f(x)在点a连续，且Xn P a, 则f Xn P f a。
列收敛于一个实数是什么意义的问题。
在这个问题之后，还将讨论对于独立同分布序列{Xn}，
前n项Xk的算术平均值
1 n
n k 1
X
k收敛于什么的问题。这就
是大数定律要讨论的主要内容。
n
另外，前n项Xk的和 k 1
X k 与算术平均值
1 n
n k 1
X k作为随机
变量，有各自的分布函数Gn(x)和Hn(x)，则当n时，
第五章 极限定理
§5.1 依概率收敛 §5.2 大数定律 §5.3 中心极限定理
【导言】作为概率论部分的结束，本章讨论极限定理：
即大数定律和中心极限定理。首先回顾第一章内容。
在n次独立重复试验中，曾说过试验次数n充分大时，
事件A发生的频率fn(A)充分接近于A发生的概率P(A)，
频率fn(A)“收敛”于概率P(A)，“收敛”的意义是什么？
且当n时，有n20。则 X n n P 0.
【证】依切比雪夫不等式，对任意实数 >0，有
1 P
Xn n
1
2 n
2
,
上式中令n，任意实数 >0，有
lim P
n
Xn n
1,
依概率收敛和依测度收敛的关系
依概率收敛和依测度收敛的关系概率论和测度论是数学中重要的分支，它们用于描述随机现象和集合的性质。
在概率论中，我们常常关注随机事件的概率收敛性质，而在测度论中，我们则更关注集合的测度收敛性质。
本文将探讨依概率收敛和依测度收敛之间的关系。
我们来了解一下依概率收敛和依测度收敛的概念。
在概率论中，我们说随机变量序列{Xn}依概率收敛到随机变量X，如果对于任意给定的正数ε，有lim(n→∞) P(|Xn - X| ≥ ε) = 0。
这意味着当n趋向于无穷大时，随机变量Xn与X之间的差异趋于零的概率趋于1。
而在测度论中，我们说测度序列{μn}依测度收敛到测度μ，如果对于任意给定的集合A，有lim(n→∞) μn(A) = μ(A)。
这意味着当n趋向于无穷大时，测度μn和μ之间对任意集合A的测度差异趋于零。
然而，依概率收敛和依测度收敛并不是完全等价的。
虽然它们都描述了一种收敛性质，但在某些情况下它们并不一致。
具体来说，依概率收敛是针对随机变量序列的，而依测度收敛是针对测度序列的。
在概率论中，我们关注的是随机事件的发生概率，而在测度论中，我们关注的是集合的测度。
因此，依概率收敛更适用于描述随机事件的收敛性质，而依测度收敛更适用于描述集合的收敛性质。
依概率收敛和依测度收敛的定义也有所不同。
在依概率收敛的定义中，我们要求对于任意给定的正数ε，有lim(n→∞) P(|Xn - X| ≥ ε) = 0。
这意味着随着n的增大，随机变量Xn与X之间的差异趋于零的概率趋于1。
而在依测度收敛的定义中，我们要求对于任意给定的集合A，有lim(n→∞) μn(A) = μ(A)。
这意味着随着n 的增大，测度μn和μ之间对任意集合A的测度差异趋于零。
尽管依概率收敛和依测度收敛有一些区别，但它们之间存在一定的关系。
事实上，如果一个随机变量序列{Xn}依概率收敛到X，那么它一定也依测度收敛到X。
这是因为依概率收敛要求随机变量Xn与X之间的差异趋于零的概率趋于1，而依测度收敛要求随着n的增大，测度μn和μ之间对任意集合A的测度差异趋于零。
2依概率收敛
随即变量序列两种收敛方式教程一：背景与定义 1、背景2、依概率收敛定义，随机变量序列 ,,,1n X X ，如果对于任何0>ε，()0||−−→−≥-∞→n nX XP ε，记X X n −→−Pr，等价于：对于任何0>ε，()0||−−→−>-∞→n n X X P ε，称随机变量序列 ,,,1n X X 依概率收敛于X 。
3、性质（1）b a Y X b Y a X Pn n P n P n +−→−+⇒−→−−→−,：证明{}{}⎭⎬⎫⎩⎨⎧≥-⎭⎬⎫⎩⎨⎧≥-⊂≥-+-⊂≥+-+2||2|)(||||)(||)()(|εεεεb Y a X b Y a X b a Y X n n n n n n()02||2|)(|2||2|)(||)()(|−−→−⎪⎪⎭⎫ ⎝⎛⎭⎬⎫⎩⎨⎧≥-+⎪⎪⎭⎫⎝⎛⎭⎬⎫⎩⎨⎧≥-≤⎪⎪⎭⎫⎝⎛⎭⎬⎫⎩⎨⎧≥-⎭⎬⎫⎩⎨⎧≥-≤≥+-+∞→n n nn n n n b Y P a XP b Y a X P b a Y X P εεεεε因此()0|)()(|−−→−≥+-+∞→n n nb a Y X P εba Y X Pn n +−→−+，同样可以证明（2）b a Y X b Y a X Pn n P n P n -−→−-⇒−→−−→−, （3）ab Y X b Y a X P n n P n P n −→−⇒−→−−→−, （4）b a Y X b b Y a X P n n P n P n //0,,−→−⇒≠−→−−→−4、,a X P n −→−函数()x g 在a 连续，则()()a g X g P n −→−. 证明：()x g 在a 连续，故，对于任何0>ε，存在0>δ，当δ≤-a x 时，一定有ε≤-)()(a g x g ，()()()()()()εδεδ≤-≤≤-⇒≤-⇒≤-a g X g P a X P a g X g a X n n n n ，现在,a X Pn −→−因此，对于任何0>δ ()1−−→−≤-∞→n n a X P δ，因此，∞→n 时()()()()11−−→−≤-≥≤-≥∞→n n n a X P a g X g P δε，()()()1−−→−≤-∞→n n a g X g P ε，()()()0−−→−>-∞→n n a g X g P ε，()()a g Xg Pn−→−二、切贝谢夫大数律n X X ,,1独立同分布，2)(,d X Var a EX i i ==，则anXX Pn−→−++ 1证明：特殊情况：贝努里大数律n X X ,,1独立同分布，()()p X P p X P i i ==-==1,10，则01−−→−⎪⎪⎭⎫ ⎝⎛>-++∞→n n p n X X P ε三、依分布收敛 1：背景和定义对于随机变量序列{},...2,1,=i X i 和某个随机变量X ，假定X 的cdf 为()x F ，若，对于()x F 得任何连续点x ，都成立()()x X P x X P ni ≤−−→−≤∞→，即 ()()x F x F n i −−→−∞→，则称随机变量序列{},...2,1,=i X i 依分布收敛到随机变量X。
依概率收敛直观含义
依概率收敛直观含义概率是统计学和应用科学中重要的概念，它是描述或预测一系列随机变量（随机事件）发生频率的数学工具。
它提供了一个可用于估计事件发生概率的框架，有助于我们编写数学模型来描述它们。
概率的概念源于概率收敛的直观含义。
概率收敛的直观含义是，在某个时间点，如果一个系统的事件在连续重复后，它的概率会趋向一个确定的值。
换句话说，如果人们重复投掷骰子，投掷到各种数字的概率会随着时间的推移使投掷到每一个数字的概率更接近1/6。
这就是概率收敛的意思，它表明一个系统罕至某种结果的概率是可能的。
例如，假设有一次投票，投票者相信自己投给哪个候选人更可能获得更多票数。
如果我们询问投票者他们更有可能投给哪个候选人，他们有可能会提出自己的偏见或看法。
然而，如果询问大量的投票者，有可能会罕至某种结果，也就是获得多票的候选人。
在此，概率收敛的概念可以更加方便地预测结果。
此外，概率收敛的直观含义也被用来在所有种类的实验中对结果做出预测。
例如，考虑科学实验，科学家可以根据实验不同条件，预测结果。
例如，如果科学家连续重复某种化学实验，他们可以根据概率收敛的直观含义预测出实验的结果。
概率收敛的直观含义也可以用于模拟实验，例如在天文学中对太阳系的模拟。
通过对模拟数据进行统计分析，科学家可以根据概率收敛的直观含义，比如概率随时间收敛，来帮助他们做出准确的预测。
此外，概率收敛的直观含义可以用来建立概率模型。
例如，假设我们想知道某个社会民意调查中各项目的支持率。
在这种情况下，我们可以使用概率收敛的直观含义来完成预测。
也就是说，我们可以模拟民意调查的结果，使用概率收敛的直观含义，模拟结果将可能趋近于实际结果。
总之，概率收敛的直观含义是一个重要的概念，它可以应用于不同的领域，帮助人们预测事件发生的概率，建立概率模型，并进行模拟实验。
它是一个有效的工具，可以提供对不同系统的渐近结果的概率测量，并帮助人们做出预测未来可能发生的事件。
依概率收敛的意义
依概率收敛的意义依概率收敛，这听起来是个挺高大上的概念吧？其实啊，就跟咱们生活里的好多事儿差不多呢。
咱就说这钓鱼啊。
你每次去那个池塘钓鱼，鱼咬钩的频率啊，就有点像依概率收敛的感觉。
你想啊，你不可能每次下钩立马就有鱼咬，有时候钓半天也没个动静，有时候呢，刚下钩鱼就上钩了。
可是啊，如果你钓的次数足够多，你就会发现，鱼咬钩这个事儿呢，是有个大概的频率的。
这个频率就好像是有一种力量在拉着它往某个固定的值靠近，这就有点像依概率收敛里的那个极限值啦。
你说怪不怪？这钓鱼的事儿都能跟数学概念联系起来。
再说说买彩票。
好多人都想中大奖，可那中奖的概率低得很呢。
每次开奖就像一次试验，你买了很多很多次彩票以后，你中奖的次数和你买彩票的总次数之间，就会有一种隐隐约约的关系。
虽然每次中奖都是个随机的事儿，但是随着你买的次数越来越多，中奖次数占总次数的比例就好像是在朝着一个特别小的值靠近，这个值啊，就是它的一种类似依概率收敛的值。
你要是老想着中大奖，那可就有点不切实际啦，就像想让鱼自己跳到你桶里一样难。
在生活里，还有那个天气预报。
天气预报员说下雨的概率是多少多少，这其实也是一种概率的概念。
今天说有30%的概率下雨，明天可能是50%。
那如果把很长一段时间的天气预报都放在一起看，这个下雨概率的数值也像是在朝着一个稳定的值靠近呢。
你要是不信啊，你就把一年的天气预报记录拿出来看看，是不是感觉就有点那依概率收敛的意思了？从这些事儿上看啊，依概率收敛其实就是一种在随机现象里找到一种稳定趋势的感觉。
就像一群调皮的孩子，刚开始到处乱跑乱跳，没个规律，但是时间长了，你会发现他们回家的时间啊，做功课的时间啊，慢慢就有了一个大概的规律。
虽然偶尔也会有意外，就像偶尔鱼群突然就不咬钩了，或者突然中了个大奖，但是总体的趋势是不会变的。
在科学研究里也有这样的情况。
比如说做实验，测量某个物理量。
每次测量都会有误差，就像每次钓鱼咬钩的情况不一样似的。
但是你做了大量的实验以后，你得到的测量值就会在某个值的附近晃悠，而且越来越接近这个真实的值，这就是依概率收敛在起作用啦。
证明连续函数依概率收敛
证明连续函数依概率收敛
证明连续函数依概率收敛：
1、定义关于连续函数的基本概念：
(1) 连续函数：连续函数（Continuous Function）是指没有断点（discontinuity）的函数，它使得每一个可能的输入值都有对应的输出值。
(2) 收敛：收敛（Convergence）即指趋于某数的概念，当输入的数字逐渐接近某一特定的值时，其输出值也会随之趋向这个特定的数值。
2、原理：
(1) 首先证明极限定理：对于任意的函数，如果存在某一数值的值，则所有输入x都有limx->∞ 。
(2) 其次，根据中值定理，任何在极限值上可积分的连续函数也是收敛的。
(3) 再次，证明连续函数收敛的充要条件是函数在极限值上可积分，且输入x逐渐接近某特定的值时，其输出值也会随之趋向这特定值。
3、进一步结论：
(1) 根据上述极限定理及中值定理，我们可以推出：当输入x逐渐接近
某特定的数值时，函数的值也将逐渐收敛到这特定的数值的概率越大。
(2) 故，证明了连续函数依概率收敛的结论。
马尔可夫链依概率收敛
马尔可夫链依概率收敛
马尔可夫链是状态空间中经过从一个状态到另一个状态的转换的随机过程。
它具备“无记忆”的性质，即下一状态的概率分布只与当前状态有关，与之前的事件无关。
这种特定类型的“无记忆性”即为马尔可夫性质。
马尔可夫链依概率收敛是指，如果$X_1,X_2,\ldots,X_n$是独立同分布序列，且服从$p(x)$，则有$-\frac{1}{n}\log p(X_1,X_2,\ldots,X_n)\to H(X)$。
这表明，在平均意义下，使用$nH(X)$比特足够描述$n$个独立同分布的随机变量。
换句话说，马尔可夫链的状态序列在概率意义下收敛于一个特定的分布，这意味着，随着时间的推移，状态序列的概率分布逐渐接近这个特定的分布。
马尔可夫链依概率收敛在机器学习和数据压缩等领域有许多应用，如在传递信息时，可以通过压缩发送典型序列所需要的信息，从而减少需要发送的信息量。
依概率收敛相加
依概率收敛相加
依概率收敛相加是指根据不同事件发生的概率，将多个事件的结果进行加和的操作。
具体来说，设有一系列事件A_1, A_2, ..., A_n，它们可能相互独立，也可能有一定的相关性。
每个事件发生的概率分别为
P(A_1), P(A_2), ..., P(A_n)。
则依概率收敛相加的操作可以表示为：
P(A_1 ∪ A_2 ∪ ... ∪ A_n) = P(A_1) + P(A_2) + ... + P(A_n)
其中，∪表示求并集的操作，即事件A_1, A_2, ..., A_n中至少有一个事件发生的情况。
这个操作可以用于计算多个事件的联合概率，尤其适用于事件互斥的情况，即任意两个事件不可能同时发生的情况。
例如，如果有两个骰子，第一个骰子的点数为1、2、3，第二个骰子的点数为4、5、6，则它们的联合概率为：
P(第一个骰子为1或第二个骰子为4) = P(第一个骰子为1) + P(第二个骰子为4)
= 1/6 + 1/6
= 1/3
当然，如果事件之间有相关性，这个操作就不再适用，因为事
件的概率会相互影响。
在这种情况下，我们需要使用条件概率、贝叶斯定理等相关方法来计算联合概率。
频率依概率收敛于概率
频率依概率收敛于概率
频率依概率收敛是指在一个随机试验中，频率（即事件发生的相对次数）会逐渐接近真实概率。
根据概率的定义，对于一个随机事件A，其概率为P(A)。
如
果进行大量次数的实验，事件A发生的频率会逐渐趋近于概
率P(A)。
这意味着，当实验次数足够多时，事件A发生的次
数与总实验次数的比值会接近于概率P(A)。
举个例子，假设有一个标准的六面骰子，每个面的出现概率均等，为1/6。
如果进行大量次数的掷骰子实验，记录每次掷出
的数字，并统计每个数字出现的频率，最终我们会发现每个数字的频率接近于1/6。
这个收敛过程可以形象地表示为一个图表，横轴表示实验次数，纵轴表示事件发生的频率。
当实验次数增加时，频率会逐渐趋近于概率，最终收敛于该概率。
需要注意的是，频率依概率收敛并不意味着在有限次实验中频率一定会等于概率。
实际上，在有限次实验中，频率可能会显著偏离概率。
但是，当实验次数足够多时，频率会逐渐接近概率。
频率依概率收敛的概念在统计学中有着重要的应用，例如在大数定律和中心极限定理等方面。
这些定理说明了当实验次数趋于无穷时，频率的分布会趋近于某个特定的概率分布，例如正态分布。
样本均值依概率收敛的条件
样本均值依概率收敛的条件
样本均值依概率收敛的条件是：
1.样本独立同分布:样本中的每个观测值独立于其他观测值，并且每个观测值都具有相同的分布。
2.样本方差有限:样本的方差不能无限大。
3.样本均值和方差间的关系:样本均值与样本方差之间的关系是比较合理的，通常是方差越小，样本均值越接近总体均值。
当符合以上条件时，随着样本容量的增加，样本均值趋向于总体均值的概率越来越大，也就是说样本均值收敛于总体均值的概率趋近于1。
依概率收敛但不几乎处处收敛的例子
依概率收敛但不几乎处处收敛的例子概率收敛和几乎处处收敛是概率论中两个不同的概念。
前者是指一个随机序列在概率意义下趋向于某个随机变量，而后者是指该序列几乎所有值都趋向于该随机变量。
举个例子，我们考虑以下随机序列：$X_n$等于$n$，当$n$为奇数时，$X_n$等于1，当$n$为偶数时。
这个序列显然不是在几乎所有情况下收敛，因为当$n$为奇数时，$X_n$不会趋向于1，而是永远等于$n$。
然而，我们可以证明它在概率意义下收敛于1。
具体来说，我们需要证明对于任意的$\epsilon>0$，当$n$趋向于无穷大时，$\operatorname{Pr}( |X_n-1| \geq \epsilon )\rightarrow 0$。
显然，当$\epsilon\geq1$时，概率为0。
当$0<\epsilon<1$时，我们有：$$\begin{aligned}\operatorname{Pr}( |X_n-1| \geq \epsilon ) &=\operatorname{Pr}( X_n\geq1+\epsilon\text{ 或 } X_n\leq1-\epsilon ) \\&=\operatorname{Pr}( X_n \text{为奇数} )\\&= \frac{1}{2}.\end{aligned}$$因此，对于任意的$\epsilon>0$，$\operatorname{Pr}( |X_n-1| \geq \epsilon )$始终等于1/2，不趋向于0。
这说明$X_n$在概率意义下收敛于1，但不几乎处处收敛。
这个例子告诉我们，在研究随机序列的收敛性时，我们需要仔细区分概率收敛和几乎处处收敛的概念，并根据具体问题选择合适的概念。
此外，还需要根据定义进行具体的计算，以验证一个序列是否收敛于某个随机变量，并给出该随机变量的性质。
无偏估计和依概率收敛
无偏估计和依概率收敛是统计学中的两个重要概念。
无偏估计是指估计量（或统计量）的均值（期望值）等于真实参数值。
无偏估计的意义在于，当一个统计量的均值与真实参数值相等时，我们就可以说这个统计量是一个无偏估计。
这意味着该统计量在多次重复试验中，其均值能够准确地估计出真实参数值。
依概率收敛是指当样本数量趋于无穷时，样本统计量以概率1收敛于真实参数值。
换句话说，随着样本数量的增加，样本统计量越来越接近真实参数值。
这种收敛可以看作是一种概率性质，即当样本数量足够大时，样本统计量几乎必然收敛于真实参数值。
需要注意的是，无偏估计不一定依概率收敛。
无偏估计强调的是估计量与真实参数值的均值相等，而依概率收敛强调的是随着样本数量的增加，
样本统计量接近真实参数值的概率越来越大。
因此，无偏估计和依概率收敛是两个不同的概念，它们之间没有必然的联系。
在实际应用中，我们通常会使用无偏估计来估计真实参数值，因为无偏估计具有更好的统计性质。
但是，在某些情况下，依概率收敛可能更加重要，因为它可以帮助我们确定样本数量的大小，以便使样本统计量能够足够接近真实参数值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（3） X n P a,Yn Pb X nYn P ab
（4） X n P a,Yn Pb,b 0 X n / Yn P a / b
（5） X n P a, 函数 gx 在 a 连续，则 gX n P ga .
证明： gx 在 a 连续，故，对于任何 0 ，存在 0 ，当 x a 时，一定有
gX n P ga
二、切贝谢夫大数律
X1,, X n 独立同分布， EX i
a,Var( X i )
d2
，则
X1
n
Xn
P a
证明：
特殊情况：贝努里大数律
X1,, X n 独立同分布， PX i 0 1 p, PX i 1 p ，则
P
X1
n
Xn
p
n0
三、依分布收敛 1：背景和定义
n
gx lim Fnx 0. n
第二段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段x 1
n n
n
包含了x 0的情况，所以：
g0 lim Fn0 0. n
特别注意：不要这样理解 : 分布函数中x 1 ,当n 时即是极限函数中 n
的x lim 1 0,那么：gx lim Fn 1 1(因为x 1 是在分布函数中的第二段)
即： X n c ⑵依概率收敛与微积分中的收敛的不同在于：微积分中的收敛是确定的，即对
于 任 给 的 0,当n N时，必有xn a 成立。而 依 概 率 收 敛 是 ， 对 任 给 的
0.当n很大时，事件xn a 发生的概率为1，但不排除偶然事件 xna 的
发生。
3、性质 （1） X n P a,Yn Pb X n Yn P a b ：证明
到一个极限函数是很苛刻的。很显然当 Fx 是直线上的连续函数，那么此时的
弱收敛就是点点收敛。
（3）.对于 lim Fnx F x的理解，其中 Fnx 是第 n 个随机变量 Xn 对应的分布函 n
数， Fx是是极限函数，也是随机变量序列Xn按分布收敛到 X 对应的分布函
数。
（4）在我们的定义中，对分布函数序列称为弱收敛，而对其随机变量序列，则 称为按分布收敛，这只是两种场合下的不同名称，本质都是一样的。
对于limfnx个随机变量xn对应的分布函是是极限函数也是随机变量序列汶心按分布收敛到x对应的分布函4在我们的定义中对分布函数序列称为弱收敛而对其随机变量序列贝u称为按分布收敛这只是两种场合下的不同名称本质都是一样的
吕泽锋 理学院
随即变量序列两种收敛方式
两种收敛： i) 依概率收敛：用于大数定律（大数定律讨论的就是依概率收敛） ii) 按分布收敛：用于中心极限定理.
2：定理， X n P X X n L X （或 Fn x W F (x) ）
证明：往证
F
x
0
lim
n
Fn
(x)
lim
n
Fn
(x)
F
x
0
：
先令 x' x
X x' X x'，X n x X n x X x'，X n x X x'，X n x
因此 PX x' PX x'，X n x X x'，X n x
中去，这就是上面的做法。
第三段：当n ,是极限函数x lim 1 0,而在分布函数中的第二段 n n
x 1 n 1,2... 包含了x 0的情况，所以
n
gx lim Fnx 1 n
所以其极限函数是：
g x
0 1
x0 x0
但是我们注意到在间断点处 x=0 不满足分布函数的右连续，因为：
n
n
F(x 0) lim Fn (x) n
同理可以证明
lim
n
Fn
(
x)
F
x
0
说明
n n
n n
n
这样是错误的，因为极限函数在条件限制中的x与分布函数在条件限制中的x的
地位是相同的，我们只是在分布函数中x的跳跃点出取极限后作为我们的
极限函数中x划分实数轴的一个点，取这样的点是为了更好的计算极限函数
中这些跳跃点的值（如这里的g 0）.所以当我们对分布函数中的跳跃点
取极限后算出的值作为极限函数中的条件在计算起概率是返还到分布函数
|
(X
n
Yn
)
(a
b)
|
|
(X
n
a)
|
| Yn
b
|
|
(X
n
a)
|
2
|
Yn
b
|
2
P|
(X
n
Yn
)
(a
b)
|
P
|
(Xn
a)
|
2
|
Ynห้องสมุดไป่ตู้
b
|
2
P
|
(Xn
a)
|
2
P
|
Yn
b
|
2
n 0
因此 P| ( X n Yn ) (a b) | n 0
X n Yn P a b ， 同样可以证明 （2） X n P a,Yn Pb X n Yn P a b
对于随机变量序列X i ,i 1,2,...和某个随机变量 X ，假定 X 的 cdf 为 Fx ，
若，对于 Fx 得任何连续点 x ，都成立 PX i x n PX x，即
Fi x n F x ，则称随机变量序列 X i ,i 1,2,...依分布收敛到随机变量 X 。
也可以说，cdfs Fi x,i 1,2,....弱收敛到 Fx
一：背景与定义 1、背景
2、依概率收敛定义，随机变量序列 X1,, X n ,，如果对于任何 0 ，
P| X n X | n0 ， 记 X n Pr X ， 等 价 于 ： 对 于 任 何 0 ，
P| X n X | n 0 ，称随机变量序列 X1,, X n ,依概率收敛于 X 。
lim gx 1 g0 0
0 x 所以极限函数不能满足点点收敛。这就是为什么我们的定义中只考虑连续点。
（2）只考虑连续点不考虑间断点的原因： 除了上面所说的之外，我们还知道对于概率有贡献的点是连续点，对于单
个间断点对概率没有贡献。所以我们只考虑连续点的收敛是合理的，这也是为什 么定义中叫做弱收敛，因为点点收敛条件太强，要使一个分布函数序列点点收敛
或者说：Xn 对 X 的绝对偏差不小于一个任意小的给定量 的可能性将随着 n 增 大而越来越小，或者说绝对偏差 Xn X 小于一个任意给定量 的可能性将随 n
增大而越来越接近于 1，上述定义也等价于
p Xn X 1n
特别的当 X 为退化分布时，即 PX c 1 ，则称序列X n依概率收敛于 c
F(x') PX x' PX x'，X n x PX x'，X n x Fn (x) PX x'，X n x
Fn (x) PX n X x x' Fn (x) P X n X x x'
注意到 P X n X x x' n0 ，
F(x') PX x' lim Fn (x) PX n X x x' lim Fn (x) ，因此
P Xn 1 1, n
则他的分布函数：
n=1,2,3........
Fn
x
0
1
x1 n
x1 n
在点点都收敛的情况下 Fnx 的极限函数是：
注意极限函数后面限制中的 x 与分布函数是同等地位的 第一段：当n 时，即极限函数中x lim 1 0,而分布函数中的第一段
n n x 1 , (n 1,2) 包含了x 0的情形，所以：
注 对概念的理解：
（1）. 什么是极限函数：对于一个分布函数序列 Fnx,当 n 时得到的函数
Fx ， 称 其 为 Fnx 的 极 限 函 数 ， 注 意 是 n ， 而 不 是 x 。 即 ：
lim Fnx F x。
n
例 1 设随机变量序列 Xn服从如下的退化分布 （前面定义了什么是退化分布）
g(x) g(a) ，
Xn a gXn ga P Xn a PgXn ga ，
现在 X n P a, 因此，对于任何 0
P Xn a n1，因此， n 时 1 PgXn ga P Xn a n1 ， P gXn ga n1， P gXn ga n0 ，
即：
lim P Xn X 1
n
⑴依概率收敛的意义：
依概率收敛即依概率"1"收敛。随机变量序列{X n}依概率 收敛于x，说明对于任给的 0，当n很大时，事件“xn x ”的概率接近于"1"， 但正因为是概率，所以不排除小概率事件“xn x ”发生. 所以说依概率收敛是不确定现象中关于收敛的一种说法。