第三章 独立随机变量序列

第三章 独立随机变量序列 Independent Random Variable Series
一、独立性与零一律
1. 独立性 Pr. space (,,)p ΩF
定义3.1.1 有限子集I T ⊂,If {
}()t
t
t I
t I
P A P A ∈∈=ΠI Then 事件族{,}t
A t T ∈⊂F 称为关于P 独
立的.{,}t t T ∈C 为F 的子集族,If 任意有限子集I T ⊂,有
{}()t t t I
t I
P A P A ∈∈=ΠI ,t t A t I ∀∈∈C
则称{,}t t T ∈C 为(关于p )的独立子集族.
特别,当t C 为F 的σ域(①c
t t
A A ∈⇒∈C C ；②n t n t A A ∈⇒∈U C C )时
{,}t t T ∈C 称为关于p 独立的t σ族.
命题 3.1.1 F 的子类族{,}t t T ∈C ,IF t T ∀∈,t C 为π类(,t t A B AB ∈⇒∈C C )and {,}t t T ∈C 为独立族,then
(1) {(),}t t t T σ=∈B C 为独立族；
(2) 若t B 的完备化σ域,则{,}t t T ∈B 为独立族.
系3.1.1 若独立子σ域族{,}t t T ∈B ,T 的互不相交子集{,}T J αα∈,则
{(,),}T t t T J ασα=∈∈B B 为独立族.
定义 3.1.2 (,,)p ΩF 上..r v 族{,}t X t T ∈,若{(),}t X t T σ∈是独立σ域族,则称{,}t X t T ∈是关
于p 独立的.
命题3.1.2 R.V .族{,}t X t T ∈为独立族⇔一切实数（有理数）t α,T 的任意子集I ,有
{()}()t t t t t I
t I
P X R X αα∈∈≤=≤∏I
初等Pr. CDF: ||i j X X ⇔11
(,,)()n
n i
i F x x F x ==∏L (CDF: Cumulative Distribution Function)
Proof. “⇐”显然.
“⇒”取{():}t t t X αα=≤C 为实数(或有理数）,用命题3.1.1即可.
命题3.1.3 If 独立..r v 族{,}t X t T ∈,{,}T J αα∈为T 互不相交的子集,{(,),}t f X t T J ααα∈∈ 为
Borel 族,Then {(,),}t Y f X t T J αααα=∈∈为独立R.V .族. 初等Pr. ||i j X X ⇔()||()f X f Y
命题3.1.4 If 独立..r v 族{,}t X t T ∈,,()t t t T f X ∀∈可积(非负),Then I T ∀⊂,有
[()][()]x t t t t I
t I
E f X E f X ∈∈=∏∏
初等Pr. ||i j X X ⇔ [()()][()][()]E f X f Y E f X E f Y = Proof. T 有限,0t T ∈0{:()}t f f X =G 可积
0000\{}\{}0[()][()][]=:(),\{},Borel t t t A t A t T t t T t t t E f X I E f x E I f A X t T t f δ∈∈⎧⎫
=⎪⎪⎨⎬⎪⎪∈∈⎩⎭
∏∏H 为可测函数 则{:Borel }B I B ⊃H 为集,且H 为G 类,由单调类定理则有H 可测,即0()f X 可积,有
000
[()][()][]t t t A t A t t t t E f X I E f X E I ≠≠=∏∏
类似于命题3.1.1的证明,对t T ∈依次逐个运用上面的做法,即可证明. 系3.1.4 {,}t X t T ∈为i...r v 族,可积,则I T ∀⊂,有[
][]t
t
t T
t T
E X E X ∈∈=∏∏
||X X ⇔()()()E XY E X E Y =
2. 零一律
定义：..'r v s {,1}n X n ≥,记*
1
(,)k
n X
k n σ∞
==
≥I B , 则称*B 为关于X 的σ域或尾事件域.
（严仕健P371） *
11
(,,)n
n n X
X σ∞
+==
L I B 为12,,X X L 尾σ代数,*B 中的事件称为12,,X X L 的
尾事件.
定理（Kolmogorov 0-1律）：If {,1}n X n ≥为...'i r v s , Then 其尾时间域*
B 中任一事件的Pr.必为0
or 1.
Proof: 1n ∀≥, *
(,1)k X k n σ⊂≥+B ⇒*
||(,)k X k n σ≤B ⇒*
1
||(,)k
n A X
k n σ≥=
≤U B 是域,也
是一个π类.由命题3.1.1⇒*
||()A σB
另一方面*
()(,1)k A X k B σσ=≥⊃⇒*
*
||B B ⇒*
A B ∀∈, 有()()P A P A A =I ⇒()0P A =. 系 3.1.3 If {,1}n X n ≥为...'i r v s ,*
B 为尾事件域,Then *
B 可测..r v Y 必为退化的.即Y 以概率1
为常数值 ()1P Y a ==, ()0P Y a ≠=.
Proof:c R ∀∈,*
{}Y c ≤∈B , 故()0P Y c ≤= or ()1P Y c ≤=.取0inf{:()1}c c P Y c =≤=then
00 c<c () 1 c c P Y c ⎧≤=⎨
≥⎩
故无论0c 有限or 无限,均有0()1P Y c ==. 系3.1.4：If ...'i r v s {,1}n X n ≥, then
(1) lim n n X →+∞
,lim n n X →+∞
为退化的；(⇒{lim ,}1n n P X →+∞
∃=;{lim ,}1n n P X →+∞
∃=)
(2){:lim }0 1n n P X or ω→+∞
∃=;P{:
}0 1n n X or ω→+∞
<+∞=∑
;1
P{:lim
0}0 1j n j n
X or n ω→+∞≤==∑ 定理3.1.2 （Borel-Cantelli 引理） (1) 事件列{,1}n A n ≥
1
()n
n P A ∞
+<∞∑⇒( ..)0n
P A i o =
(2) If {,1}n A n ≥为独立事件列, Then
1
()n
n P A ∞
==∞∑⇒( .
.)1n
P A i o = Proof :(1) (lim )lim {
}lim ()0n n k
n n n k n
k n
P A P A P A ∞
→+∞
→+∞
→+∞
=≥=≤=∑U
(2)
(lim )lim {}lim [lim
()]lim [lim (1())]m m
c
c c n
k k
k
n n m n m n k n
k n k n
P A P A P A P P A →+∞
→+∞→+∞
→+∞→+∞
→∞
==≥===−∏∏I
lim [lim
exp{()}]lim [lim exp{()}]0m
m
k
k
n m n m k n
k n
P A P A →+∞→+∞
→+∞→+∞
==≤−=−=∑∏
∴ (lim )1(lim )1c
n n n n P A P A →+∞
→∞
=−=
引理3.1.1 对正态分布的尾Pr.成立下列估计
2222
2
2
2
11x t x x
x e e
dt e x
x
∞−
−
−
≤≤
+∫ （*）
证明：
22
2
2
22
1t t x x
x
t e
dt e dt e x x ∞
∞
−
−−≤=∫
∫
因1,(,)t t x x
<∈+∞ 故(*)不等式的右边成立.
2222
22
2
2
22
1
11x t t x
x
t
x e e dt e
dt x
t
x ∞
∞
−
−
−
++=≤−
∫
∫
为此(*)式的左边成立.
例: 已知...'i i d s {{},1~(0,1)n X n N ≥}, 利用Borel - Cantelli 引理的证明：
lim
11x P ⎛⎞
==⎜⎟⎝⎠
证明：1a ∀>由（*）式有
22
22
((}2x a
n P X dx −∞
−
>=
≤−=
所以
(n
P X
><∞∑
由Borel-Cantelli
引理得：}.
.0P a i o ⎛⎞
>=⎜⎟⎝⎠
又1a >, 所以
lim 11n P ⎛⎞≤=⎜⎟⎝⎠
（★★） 另一方面 ：(0,1)a ∀∈, n 足够大有
22
23
2
((]exp{}2x a n P X dx −∞
−
>=
>−−≥
两边求和得
(n
P X
>=∞∑
由Borel - Cantelli 引理得
..1
P a i o
⎛⎞
⎫
>=
⎬
⎜⎟
⎭
⎝⎠
(0,1)
a
∀∈
所以
lim11
x
P
⎛⎞
≥=
⎜⎟
⎝⎠
（★）
由（★）式与（★★）式即证
二、独立项级数定理命题证明略见P99---108汪
定义 3.2.1..'
RV s{,1}
n
X n≥
n j
j n
S X
≤
=∑当..a s
n or in p
S S
⎯⎯⎯→, ES<∞, 则
..
1
a s
j or in p
j
X S
∞
≥
⎯⎯⎯→
∑, 即
1
j
j
X
>=
∑..a s⇔
,
lim(sup||)0
j k
n j k n
P S Sε
→∞≥
−≥=0
ε
∀>
Kolmogorov 不等式: If {,1}
n
X n≥为...'
i RV s,0
n
EX=, 2
n
EX<∞,记
n j
j n
S X
≤
=∑.Then 0
ε
∀>,有
2
2
1
(max||)n
j
j n
ES
P Sε
ε
≤≤
≥≤
定理3.2.1 If{,1
n
X n≥}为...'
i RV s,Then
11
ar[]()
n n n
n n
V Y Y EY
∞
≥=
<∞⇒−
∑∑..a s收敛
（
...
....
i i d
a s a s
n n
Y EY Xμ
⇒⎯⎯→====⇒⎯⎯→
∑∑）
命题3.2.2（Kolmogorov）If{,1
n
X n≥}为...'
i RV s,且
n
X c
≤..
a s,0
n
EX=,记
1
n
n j
j
S X
=
=∑,then
(1) 0
ε
∀>,有
2
2
,
()
(sup||)
j
j k n n
c
P S
ES
ε
ε
≥
+
≤≤
(2) If
1
n
n
X
≥
∑..a s收敛, then
1
[]
n
n
Var X
≥
<∞
∑
定义 3.2.1..'
RV s{,1
n
X n≥} 与{,1
n
Y n≥} If (..)0
n n
P X Y i o
≠=, Then
{,1
n
X n≥}与{,1
n
Y n≥}等价的
由Borel-cantelli定理有： If ()
n n
P X Y
≠<∞ then {,1
n
X n≥}与{,1
n
Y n≥}等价
命题3.2.3 若{,1}{,1}n n X n Y n ≥≥ Then ()n
n n
X
Y −∑ ..a s 收敛
⇔
..a s n
n Y
X ⎯⎯→∑∑,且对无穷数列{}n a 有
1
1
lim ()0n
j
j x j n
X
Y a →∞=−=∑ ..a s
三级数定理: 设{,1n X n ≥}为...'i RV
s ,记()
()()()n n n X X X I αωα
ωω≤= Then
n
n
X
∑..a s 收敛⇔[0,)α∀∈∞下列三级数同时收敛
(||)n n
P X α>∑
()
n n
EX α∑
()
[]n n
Var X α∑
例3.2.1 设{,1n X n ≥}为独立的Poisson 分布...'RV
s 有 ()!
n k
n n P X k e k λλ−==
0,1,2,k =L 1n ≥
则
n
n
X
∑..a s .收敛 ⇔
n
n
λ
<∞∑
证明:”⇐”上定理
α=∞, 则()
n n X X α=
(||)0n
n P X
α>=∑
()n
n n n
n
EX EX α
λ==<∞∑∑
()
n
n
n n
n
n
VarX VarX
αλ==<∞∑∑∑
所以由上可得
n
n
X
∑ ..a s 收敛
“⇒” 上定理 1
2
α=
, 则 1(||)(0)(1)2n n n n
n n
P X
P X e λ−>=≠=−∑∑∑ ⇒0n λ→⇒n λ∑也同时收敛
命题 3.2.4 （Ottaviain 不等式）
若 {}n X ,1n ≥为独立随机变量序列即...'i RV
s ,c b a ,,>0且 1n
j j k P X b a =+⎛
⎞≤≥⎜⎟⎜⎟⎝
⎠
∑ 10−≤≤n k 则
1111max k
n
j j
k n j j P X b c P X c a ≤≤==⎛⎞⎛⎞
>+≤>⎜⎟⎜⎟⎜⎟⎜⎟⎝⎠⎝
⎠
∑∑
定理 3.2.3 If {},1n X n ≥为...'i RV
s then 1
n
n X
≥∑ ..s a 收敛与
1
n
n X
≥∑依概率收敛等价.
定义 3.2.3 If ..RV X 对任意x , 有()()P X x P X x ≤−=≥ 则称X 具有对称分布 注：该定义包含了四层意思
⑴ X 与X −同分布; ⑵ 1n j
n
S X
≤=
∑也有对称分布;
⑶ ()()1002
P X P X ≤=≥≥
⑷ If X 与Y 独立同分布, then Y X Z −=有对称分布.
命题 3.2.5 （Levy 不等式） 设{}n X ,1n ≥为相互独立具有对称分布的'
..RV s , j n j
n
S X
≤=
∑.
Then 0>∀ε
()εε≥≤⎟⎠⎞⎜⎝⎛≥≤≤n j n
j S P S P 2max 1
()εε≥≤⎟⎠
⎞⎜⎝⎛≥≤≤n j n j S P S P 2max 1
三、大数定理（Laws of Large Numbers）
LLN: Law of Large Number SLLN: Strong Law of Large Numbers
定义3.3.1 设{},1n X X n =≥为..'RV
s , n j
j n
s X
≤=∑, 若存在常数列{}n a 与{}n b , 使得
0n n n s a b −→ ⇒ ..lim 0Pr 0,lim 1n n n n n n n n s a s P a b s in P a b εε→∞→∞⎧⎧⎫⎛⎞⎪⎪
⇒−=⎪⎨⎬⎜⎟
⎪⎪⎝⎠⎪⎩⎭
⎨⎧⎫⎪⎪⎪
⇒∀>−≤=⎨⎬⎪⎪⎪⎩⎭⎩
那么 X 分别满足()SLLN
W LLN
⎧⎨⎩大定理弱大定理强数数, 也称n s 分别是
..Pr a s in ⎧⎨
⎩稳稳定的
定的
. 1.LLN (weak)
命题3.3.1 设{},1n X X n =≥为..'RV s , n j
j n
s X ≤=
∑, {}n
b 为趋于+∞的序列, 若当n →+∞时
{}
1
;121
(3.3.1)(1)
Pr lim 01(3.3.2)
;(1)n n X b j n j j n n
a E X I j n j n n n n n X
b j n P X b o S a b Var X I o b =⎡⎤
=⎢⎥
⎣⎦=→∞≤=⎫>=∑⎪−⎪
===========⇒=⎬⎡⎤⎪=⎢⎥⎪⎣⎦⎭
∑∑取 （3.3.3） Pr lim 0n n n n s a b →∞−= ⇔ 0ε∀> , lim 0n n n n s a P b ε→∞⎧⎫−⎪⎪
>=⎨
⎬⎪⎪⎩⎭
{}
1211(1)
1;(1)1;(1)j n j n n
j n j n x b j n n x b j n P X b o Var X I o b E X I o b =≤=≤=⎫
>=⎪
⎪
⎪⎪⎡⎤=⎬⎢⎥⎣⎦⎪
⎪⎡⎤=⎪⎢⎥⎣⎦⎪⎭
∑∑∑ ⇒ Pr lim 0n n n s b →∞= or in 0p n n s b ⎯⎯⎯→ or lim 0n n n s P b ε→∞⎧⎫⎪⎪
>=⎨⎬⎪⎪⎩⎭
证明： 0,1n j n ∀>≤≤, 令j j
n
n j X
b Y X I ≤=, 1j
n
n j Tn Y
==
∑
(3.3.1)
==⇒
1
1
()()(1)j
n
n
n j j n j j P Y
X P X b o ==≠=>=∑∑
⇒ 1
()()(1)j
n
n n n j j P S T P Y
X o =≠≤
≠=∑ （*）
j n Y 与n n T Var b ⎡⎤
⎢⎥⎣⎦
相互独立, 则
(3.3.2)
===⇒ 2
11
1
;(1)j n n n
nj n x b j j n n n
Y T Var Var Var x I o b b b ≤==⎡⎤⎡⎤⎡⎤=≤=⎢⎥⎢⎥⎢⎥⎣
⎦
⎣⎦⎣⎦∑∑
由Chebyshev 不等式
{}2
n
n n VarT P T ET εε−>≤
⇒
0p
n n n
T ET b −⎯⎯→ （**） 由（*）与（**）两式即可推得（3.3.3）.
而 1
1
;j
j n n
n
n n n x b j j ET EY
E X I a ≤==⎡⎤=
==⎢⎥⎣⎦∑∑
定理（W）LLN 3.3.1
Let ....'.'i i d R V s {},1n X n ≥, ;j
n
n X
b c E X I ≤⎡⎤=⎢⎥⎣
⎦
(3.3.8), 使得
0ε∀>, 11lim 0n j n n j P X c n ε→∞
=⎧⎫⎪⎪
−>=⎨⎬⎪⎪⎩⎭
∑
11Pr lim 0n j n n j X c n →∞=⎛⎞
−=⎜⎟⎝⎠
∑ (3.3.6) ⇔ ()
lim j n nP X n →∞> (3.3.7)
注：若存在j X >∞, 则()
;(1)j
n
j j X
b nP X n E X I o ≤⎡⎤>≤=⎢⎥⎣
⎦
⇒ (3.3.7)成立. 而 (1)j
j n j X
n
EX c E X I o >−≤= ⇒ p
j X EX ⎯⎯
→ 证明 “⇐” ()
lim 0j n nP X n →∞
>=成立, 则
()1122100
112()(1)n n
j X n X E X I y dF y yP X y dy o n n n ≤=≤>=∫∫ （3.3.1）与（3.3.1）式取n b n =, n c 取（3.3.8）, 则（3.3.6）式成立. “
⇒”（必要性证明）
Let {}
'
,1n X n ≥与{},1n X n ≥独立同分布, 记'n n X X =−s
n X , Then, ,s s
n n X S 有对称性
()()P x P x ≤−=≥s
s n
n
X X , 且由'111
n
n n
s j
j j n n j j j s X X X C C =====−−+∑∑∑s n
可推得
'11110s
n n in P n
j n j n j j s X C X C n n n ==⎛⎞⎛⎞=−−−⎯⎯⎯→⎜⎟⎜⎟⎝⎠⎝⎠
∑∑ 由levy 不等式[(
)
()
1max 2s
j j n
P s P ε
ε≥≤≥≤≥s n S ], 0ε∀>, 有
()
()
1max 20s j j n
P s n P n εε+∞
≥≤>≤≥⎯⎯→s n s 这是因为1max s
j j n
s n ε≤≤> ⇒
11max 0in P
s j j n s n ≤≤⎯⎯⎯→, 即 1112max max 0in P s s n n j n j n
X X n n ≤≤≤≤≤⎯⎯⎯→, 由此, 0ε∀>, ()1
1()n
n
s j
j n P X n εε=⎡⎤⎡⎤>=−>⎣
⎦
⎣
⎦∏S
1
1-P X
（'j X 、j X 均同分布⇒s
j X 也同分布）
(
)
111max max s
s j j j n j n X n X n n εε≤≤≤≤⎛⎞≤=≤⎜
⎟⎝⎠
=P P 1n →∞
⎯⎯⎯→ 故有
()
10n S nP X ns →∞
>⎯⎯⎯→
若m 表示1X 的中位数, 即
'
1X ≤≤≤11
P(<m)P(X m)2
则因
()()()'111P X m n P X m P X m n εε−>≤≤−>1
　2
()'110P X m n m X ε−>−≥=， '11()P X X n ε≤−>
即得'
111()2()P X m n P X X n εε−>≤−>. 同理有 ()'
1112()P X m n P X X n εε−<−≤−<−
()112()0s
P X m n nP X n εε−<−≤>−→n
对于任意ε为任意正数, 由上述三式得()
1lim 0n nP X n →∞
>=. 即证
Corollary 3.3.1 Let ..
.i i d ..'RV s {},1n X n ≥ 1
1n
j n j X a n →∞==∑pr-lim 或 ()1n P X με→∞−≤=lim
⇔
1lim ()0n nP X n →∞
>=　与lim )]n n I n a <→∞
>=１1ＸＥ[X
Remark: 记()1
itX E e
φ⎡⎤⎣⎦ t (1X 的特征函数), 则
()
1lim 0n nP X n →∞
>=　
⇔ R ()φt 在0t =处可微,
lim n
n I ≤→∞
１1X
　ＥX 存在 ⇔
()φt 在0t =处可微,
11n
j n j X a n →∞==∑pr-lim ⇔ ()0t d ia dt
φ==t｜
...i i d ..'RV s 的弱大数法则也称为Khintchine 大数法则.
2. SLLN
Kronecher ’s Lemma (引理3.3.1) P64-65 Durrett
If 正数列n a ↑∞ and 实数列{}j X 有
1
j
j j X b ∞
=∑
converges then 1
1
lim
0n
j
n j n
X
b →∞==∑
Proof: Let 000b c ==,for
0j ≥, let 1
n
j n j j
X c b ==∑
then ()1n n n n X b c c −=− and so
11111
1n
n
n j j j j j j j j n
n X b c b c b b −===⎧⎫=
−⎨⎬⎩⎭∑∑∑ 111211n n n n j j j j j j n
b c b c b c b −−−==⎧⎫=+−⎨⎬⎩⎭
∑∑
()1
1
1
1
n n j j j j n
c c b
b b −+==−
−∑ 第二项与n c 有相同的极限
n b ↑∞,10j j b b +−≥ ⇓
()1
1
1
1
1n j j j j n n
c b
b b −+≤−−=∑
1
1lim lim lim 0n
j
n n n n n j n
X
c c b →∞→∞
→∞
==−=∑
3.3.2命题 Let
{}
,1n X n ≥ .....'i i d RV s ,0n X Ε=,
2
2n
n
X σ=Ε<∞. 记1
n
n j j s X ==∑,
2
2
1
n
n
n j s σ==∑. If 2n s →∞ then 0ε∀> ()
1
222lim
0log n
n n n
s s s
ε→∞
+= .a s
Proof:记()
1
222Y lim
log n
n n n
X s s
ε→∞
+=n , 则Y 0Ε=n
()
()
221
12122222var var Y log log n n n n
n
n
n
X s s s s
s s
εε−++−=
=
n ()
()
22
2
1
1
1212ln ln n
n n s X
X
s s dX dX X X X X −−∞
++≤<<∞∫∫
由Theorem 3.2.1
()
1
222log n
n
n n
X s s
ε+∑
.a s ⎯⎯⎯⎯→引理3.3.1
()
1
2
22lim
0log n
n n n
S s s
ε→∞
= .a s
Corollary 3.3.2 let {},1X n ≥n ....'i i d RV s . and 0n X Ε= , 2
n X Ε<∞, then 0ε∀>
112
1lim
0n
j
n j X
n
ε→∞
+==∑ .a s
()
111
22
1lim
0ln n
j
n j X
n
ε→∞
+==∑ .a s
The strong law of large numbers (SLLN): let the strong law of arg l e
()numbers SLLN :12,,X X L be ..
.i i d random variables with i X Ε<∞. Let i X μΕ= and 1....n n s X X =++ then
.a s
n s n
μ⎯⎯→ as n →∞. That is
()1
1lim 0n
j n n j X c n →∞=−=∑ ..a s ⇔ i X Ε<∞ ()11n c X o μ=Ε+= 11
1lim n
j i n j X X X n μ→∞==Ε=Ε=∑ Proof ""⇐ 1
Y X
X ≤=Ιn
n n , 则由
X Ε<∞ ⇔
()P X n ><∞∑ 与 2
2
1
X n
X n ≤⎡⎤ΕΙ<∞⎣⎦∑ ()()()1
n
n
n
n
n
P Y P X n P X n Χ
≠=>=><∞∑∑∑ （*）
122
12
221
11var n n n X n X n n
n
n Y X X n
n n
≤≤⎡⎤⎡⎤≤ΕΙ=ΕΙ<∞⎣⎦⎣⎦∑∑
∑ （**） 由（*）（**）⇒
()1
n
n Y
Y n −Ε<∞∑ ..a s 收敛.
由Kronecher’s Lemma (引理3.3.1)有 ..
11()0n a s j j j X EY n =−⎯⎯→∑ (3.3.15)
另一方面 1||||1[][]n n Xn n n X n EY E X I E X I EX ≤≤==→ 与 11
1n
j j EY EX n =→∑
故可推出
.a s
n s n
μ⎯⎯→ ""⇒ If {,1}X n ′≥n 与{,1}X n ≥n 相互独立且同分布, then , s
n X X X ′=−n n
有对称分布, 且 11lim ()0n j n n j X c n →∞=′−=∑ ..a s and 1
1lim 0n s
j n j X n →∞==∑ ..a s 由Borel-Cantelli Lemma
||(||)(1)s s
n n n n
X P X n P n >=><∞∑∑ ||s
n E X <∞
====⇒ ||i E X <∞ 即证 Remark: 截尾技巧也可以proof
Marcinkiewicz-Zygmund Theorem: Let {,1}X n ≥n be ...'i i d s , 02p <<,
1
11
1
1()01()
12
p
n p o n p c EX o n p −⎧<<⎪=⎨⎪+≤<⎩
then
1
1
1lim
()0n
j
n n p j X
c n
→∞
=−=∑ ..a s ⇔ 1||p E X <∞
If ...
()()i i d n i X F x P X x =≤ Sample SRS 1,,n X X L , then experience CDF ()n F x 估计()F x . Experience CDF
1
#{1:}
1()j n
j n X x j j n X x F x I n
n ≤=≤≤≤=
=∑ If 记 j j X x Y I ≤=, then {,1}Y i ≥i be ...'i i d s and ()()j EY P X x F x =≤=j . So （由Kolmogorov SLLN ）we have
1
1()n n j j F x Y n ==∑ .a s
⎯⎯
→ 1()EY F x = x R ∀∈ The same as we have
1
1()j n n X x j F x I n <=−=∑ .a s
⎯⎯
→ 1[]()X x E I F x <=− x R ∀∈ Glivenko-Cantelli Theorem: If ...
()i i d n X F x , 1
1()j n
n X x j F x I n ≤==∑ , then
lim sup |()()|0n n x R
F x F x →∞∈−= ..a s (3.3.19)
Proof: see P116 Wang
四、Stopping Time and Wald equation
1. Stopping time
The special case in which 1(1)(1)2
i i P X P X ===−=
is called simple random walk . Since a simple random walk cannot skip over any integers, it follows from either exercise above that with probability one it visits every integer infinitely many times.
Let 1(,,)n n X X σ==L F the information known at time n . A random variable N taking values in {1,2,}{}∞L U is said to be a stopping time or optional random variable it for every n <∞,{}n N n =∈F .
If we think of n S as giving the ( logarithm of the ) price of a stock at time n , and N as the time we sell it, then the last definition says that the decision to sell at time n must be based on the information known at that time. The last interpretation gives one explanation for the second name. N is a time at which we can exercise an option to buy a stock. Chung prefers the second name because N is "usually rather a momentary pause after which the process proceeds again: time marches on !"
The canonical example of a stopping time is inf{:}n N n S A =∈, the hitting time of A . To check that this is a stopping time, we observe that
11{}{,,,}c c n n n N n S A S A S A −==∈∈∈∈L F
Two concrete examples of hitting times that have appeared above are Example 1 min{:}n N n S λ=> where 1n n S X X =++L i X : random variable
Renewal theory Let 12,,X X L be ...i i d with 0i X <<∞. Let 1n n T X X =++L and
think of n T as the time of nth occurrence of some event. For a concrete situation consider a diligent janitor who replaces a light bulb the instant it burns out. Suppose the first bulb is put in at time 0 and let i X be the lifetime of the ith light bulb. In this interpretation n T is the time the nth light bulb burns out and sup{:}t n N n T t =≤ is the number of light bulbs that have burnt out by time t .
Example 2 If the 0i X ≥ and sup{:}t n N n S t =≤ is the random variable that first
appeared in renewal theory, then 1inf{:}t n N n S t +=> is a stopping time.
3.4.1 停时与适应随机变量序列
定义 3.4.1 设(,,)ΩΡF 为概率空间, {0,1,2,}N =L 非负整数全体, 若F 的子δ域族
{},n F n N =∈F ,满足：
（1）0F 包含一切F 中的可略集； 可略集:某论断或事件不真（不发生）的集合 （2）1,n n n N +∀∈⊂⊂F F F . n F :n 时刻为止的已知信息或事件域 则称F 为δ域流(Filtration), (,,,)F ΩΡF 称为带流概率空间.
若取n =F F or (,)n j X j n σ=≤∨F N (N 可略集全体)均能满足流的要求, 该流称为
{},n X n N ∈的自然流. 常取(,)n n n
n N σ∞=∨∈ F F F . 下面讨论的问题均在固定的带流概率空间上.
定义3.4.2 let 带流P r 空间(,,,)F ΩΡF , ..'RV s {,}n X n N ∈称为适应的, 若1n ∀≥or n N ∈,
n X ∈F .
若(,,,)F ΩΡF 上{,1},n X X n =≥取F 为X 的自然流, 则X 必适应, 且X 的自然流F 是X 适应的最小δ域流.
定义 3.4.3 设(,,,)F ΩΡF 为带流P r 空间, 非负..RV
()T ω称为停时（stopping time ）,若{:()}n T n ωω≤∈F , n N ∀∈,停时的全体记为T .
若k N ∈ or k =+∞, 则()T k ω≡也是一个停时.
命题3.4.1 let B 为R 上的任一个Borel 集, {,}n X X n N =∈为适应..'RV s , Then
(1) ()inf{:()}B n D n X B ωω=∈为停时, B D 又称为初遇(击中开集B 的首中时)； （2）If T 为停时, then
()inf{():()}S n T X B ωωω=>∈也是停时 注: (ⅰ) inf φ=+∞;
(ⅱ) Stopping time 的形式:
① ()inf{:()}B n D n X B ωω=∈
② ()min{:()}j T j S ωωε=≥ n j
j n
S X
≤=∑ 0ε∀>
③ ()inf{:()}k T k S ωωε=>
④ ()inf{():()}S n T X B ωωω=>∈ where ()T ω是stopping time.
Proof:
(1) {}[()]()C
B m n n m n
D n X B X B <==∈∈∈I F n 之前m X B ∉, n 为第一个B ∈
(2) 11
1
{}[()(())()]n n C
m n n k m k S n T k X B X B −−==+===∈∈∈U I F
where ()T k = is stopping time; 1
1
(())()n C
m n m k X B X B −=+∈∈I 表示k 之后n 之前(到
1n −)B ∉, n 为首次B ∈, 0,1,2,,1k n =−L .
例3.4.1 {,1}n X n ≥为...'i i d s and (1)n P X p ==,(0)1n P X q p ===−, 也就是Bernoulli 分布. 又{,}n n N ∈F 为X 的自然流, 令：
()1inf{:1}k T k X ω==
1()inf{:1}n n k T k T X ω+=>= , 1n ≥
由命题3.4.1得{,1}n T n ≥ 均为 stopping time.且
1111()(.....0,1)n n n P T n P X X X q p −−======= ( 服从Geometric 分布 )
所以1()1P T <∞=. 即1T 为有限Stopping time, 而11T X =. 即证. n T 的证明类似考虑其分布. 命题3.4.2 let {,1}k T k ≥⊂T (停时的全体), Then （1）,k N T k ∀∈+∈T
Proof: ()()n k n T k n T n k −+===−∈⊂⊂F F T (1)n ≥
(2) k k T ∨, k k T ∧∈T
Proof: ()()k k k
n k
T n T
n ∨≤=≤∈⊂I F T ()()k k k
n k
T n T
n ∧≤=
≤∈⊂U F T
定义3.4.4 if T is stopping
time , then {:(),}T n B B T n n N ∞=∈=∈∀∈F F F
{:(),}n B B T n n N ∞=∈≤∈∀∈F F
Then n F 称为T 前事件σ域.
注：B 、()T n =为事件, ∞F 为事件域；n F 表示到n 为止已知信息或事件域.
易验证:T F 为σ域, T ∞⊂F F ,且k N ∈,当T k ≡时, T k =F F . 命题3.4.3 let T 停时, then
(1) T A ∈F [()][()]n n
A A T n A T ∞⇔===+∞U U n n A ∈F ,A ∞∞∈F n F 为子σ代数.
(2) ..RV
T ξ∈F ⇔n T n T n
I I ξξξ=∞=∞=+∑ where n n ξ∈F ,ξ∞∞∈F , I ⋅为示性函数.
Proof: see Wang P119. 命题3.4.4.
(1) If {,}n X X n N =∈的适应..'RV
s ,且T ∈T then ()()T T T X I ωω<∞∈F . (2) if {,}n X X n N =∈为适应序列({0,1.....})N =+∞,T ∈T . then ()T T X ω∈F . Proof: 因
T T k T k k X I X I ∞
<∞===∑
T k T k k X X I X I ∞
=∞∞==+∑
由命题3.4.3,且T T X I <∞, T X 均是T F 可测的. 由此即证命题. 命题3.4.5. let
,T S T ∈F
(1) If S
A ∈F 则()T A S T ≤∈F , ()T A S T =∈F
Proof: ()()()()n A S T T n A S n T n ≤==≤=∈F
(2) If S T ≤,then S T ⊂F F
Proof: S A ∀∈F , 由(1) ()T A A S T =≤∈F ,故S T ⊂F F . 命题3.4.6 let T ∈T ,T A ∈F then ()C
A A T TI I A
=++∞∈T . A T 称为T 在A 上的限制.
Proof: ()()A n T n A T n ===∈F
例3.4.2 独立同分布随机变量序列{,1}n X n ≥, 其分布为
1(1)2
n P X =±=
记n j
j n
S X
≤=∑. 设inf{:1}k T k S ==, 则T 为停时(由命题3.4.1), 求T 的分布
解：因
1()(max 1)j j n
T n S ≤≤≤=≥ 因 (1)()n S T n ≥⊂=⇒(1)()n S T n ≥⊂≥ 故
(,1)(,1)n n n T n S T n S =≤≥+≤<
(1)(,1)n n S T n S =≥+≤< (★)
对(★)式中(,1)n T n S ≤<项取概率得
1(,1)(,1)n
n n
i P T n S P T k S
=≤<=
=<∑
1(,0)n
n
k i P T k S
S ==
=−<∑ T k =与0n k S S −<相互独立
1()(0)n
n k i P T k P S S ===−<∑ n k S S − 对称分布
1()(0)n
n k i P T k P S S ===−>∑ T k =与0n k S S −>相互独立
1(,0)n
n k i P T k S S ===−>∑
1
(,1)n
n i P T k S ===>∑
(,1)n P T n S =≤>
(1)n P S => n S 对称分布 (1)n P S =<−
为此, 对(★)式两边同时取概率并利用对立事件概率公式得
()1(,1)(,1)n n P T n P T n S P T n S >=−≤≥−≤<
(0)(1)n n P S P S ==+=−
1(1)(1)n n P S P S =−≥−<−
202()2(1)m
n n m P S m P S =⎧⎛⎞=⎪⎜⎪⎝⎠=⎨⎛⎪
=−=⎜⎪
⎝⎠⎝⎠⎩
故()1P T <∞=. 即T 虽为停时, 但
1
()n
i P T =>∞=+∞∑.
故ET =+∞. 类似可讨论停时 inf{:}k T k S N ==的分布.
2(3.4.2) wald' equation
定义 3.4.5 适应(n ∀∈Ν,n n X ∈F ,1n n +⊂⊂F F F )series {,1}n X n ≥称为σ域流F
（{,}n F n N =∈F ）独立, 若对每个1n ≥,()n X σ与1n −F 独立. 注：至于F 独立..'RV s ⇔ ..'RV s 本身独立⇔自然流.
Wald's equation: Let 12,,....X X be independent and identically distributed With
||i E X <∞. If T is a stopping time with ET <∞ then 1T ES ET EX =⋅.
汪P121方法一
Proof: 先设1(0)1P X ≥=,由Levi 引理（单调类收敛定理）及1()(1)c
j T j T j −≥=≤−∈F 与j X 独立.
111
1
1
1
[][][][][]()T j T j j T j j T j j j j j ES E X I E X I E X E I E X P T j EX ET ∞∞∞∞
≥≥≥========≥=∑∑∑∑
又1X 准可积, 有1E X <∞, 设1EX −
<∞, 则
11
[]T
j T j j ES E X I ET EX ∞
−
−−
≥=≤=⋅<∞∑ ⇒ T s 准可积 对j X +
, j X −
有T j ES ET EX +
+
=⋅与T j ES ET EX −
−
=⋅. 故由上可推出
1
1
1
[()][][]T j
j
T j j T j
j T j j j j ES E X X I E X I
E X I ∞∞
∞
+−+
−≥≥≥====−=−∑∑∑
j j ET EX ET EX +−
=⋅−⋅1ET EX =⋅
（注T T T S S S +−
=− ⇒ T T T ES ES ES +−
=−）
P180 R.Durrett 方法二
Proof：First suppose the 0i X ≥ 即假设 (0)1i P X ≥=
()()1
11
T T n T n m T n n n m ES S dp S I dp X I dp
∞∞∞
======∫=∫=∫∑∑∑
()()11
m T n m T m m n m
m X I dp X I dp ∞∞∞
=≥====∫=∫∑∑∑
()
11
m T m m EX
P
EX ET ∞
≥==
=⋅∑
上式第四个等号是：since the 0i X ≥, we can interchange the order of summation to conclude that the last expression ,i.e. use Fubini's theorem.
上式第六个等号是：Now 1{}{1}c
m T m T m −≥=≤−∈F and is independent of m X so the last expression.
To prove the result in general we run the last argument backwards. If we have ET <∞ then
()1
1()m m T n m m n m
E X P T m X I dp ∞∞∞
====∞>≥=∫∑∑∑
The last formula shows that the double sum converges absolutely in one order, so Fubini's theorem gives
()()111
m
n
T n m T n m n m
n m X
I dp X I dp ∞∞
∞======∫=∫∑∑∑∑
Using the independence of 1{}m T m −≥∈F and m X , and rewriting the last indentity it follows that
1
()m
T m EX
P T m ES ∞
=≥=∑
Since the left-hand side is ET EX ⋅ the proof is complete. Wald’s second equation
Let 12,,X X L be ...i i d with 0n EX = and 2
2
n EX σ=<∞. If T is a stopping time
with ET <∞ then 22
T ES ET σ=.
Hint: compute 2T n ES ∧ by induction and show that T n ES ∧ is a Cauchy sequence in 2
L . Proof: Taking 3.42
()min(,)()T n T n T n T n =∧====⇒命题为有界停时, 又记Y j j T j X I ≥=有
()1
1
n n
T n j T j j j j S X I Y ≥====∑∑ （*）
当i j ≠时, 设i j <, 由1T j i T i j I X I ≥≥−∈F 可推得
[][][]0j i j T j i T i j T j i T i E Y Y E X I X I EX E I X I ≥≥≥≥=== (0)j EX =
所以{,1}j Y j ≥相互正交. 当m n <时,有
2
2
2()()1
1
[][
][]n
n
T n T m j T j j T j j m j m E S S E X I E X I ≥≥=+=+−==
∑
∑
(22[]j T j j T j E X I EX EI ≥≥=)
=2
21
1
[
]([()]())0n
m
T j
T j j j E I
I E T n ET m σσ≥≥==−=−=∑∑ (22i EX σ=)
当n →∞时, ()T n ↑T ..a s 有限（即ET <∞）, 故.()a s
T n T S S ⎯⎯→, 由Levi 引理得
()ET n ↑ET ,由此
2
..()a s L
T n T S S ⎯⎯⎯→
即()T n S is a Cauchy sequence in 2
L . 从而由（*）得
()2
2
2
1
[
]()T n n
T j j ES E I
ET n σσ≥===∑n →∞
=====⇒22
T
ES ET σ= 即证 定理3.4.3 Let n X (1n ≥) be ...i i d , T 为有限停时（ET <∞）. Then
(1) T F 与(,1)T n X n σ+≥相互独立;
(2) {,1}T n X n +≥be ...'i i d s and 与{,1}n X n ≥有相同的分布; Proof: If
12,,....,,,n T R A λλλ∈∈F 又ET <∞, 有
1
1
1
{()}{()()}{()}{()}
n
n
T i i k i i k i i i i i k k P A X P A T k X P A T k P X λλλ∞
∞
∞
+++=====≤==≤==≤∑∑I I I
=
10
1
1
{()}()()()n
n
k i
i i k i i P A T k P X
P A P X λλ∞+====≤=≤∑∏∏
特别, 令A =Ω有()()1P A P =Ω=
11
1
{()}()n
n
T i i i i i P X P X λλ+==≤=≤∏I (*)
1
1
{()}(){()}n n T i i T i i i i P A X P A P X λλ++==≤=≤I I T
A ∈====⇒F T F 与(,1)T n X n σ+≥相互独立
（1）即证
由命题3.4.4 {,1}T n X n +≥为{,1}T n n +≥F 适应的, 又由（1）1T k X ++与T k +F 相互独立, 再由()∗式得
11
1
1
{()}()()n n
n
T i i i i i i i i P X P X P X λλλ+===≤=≤=≤∏∏I （2）即证。