独立同分布的随机变量强大数定律的证明整理

k 1 k 1 n n
大数定律成立。

而一些随机变量如果 Var (
X
i 1
k
k ) 有限对任意 k 成立，或者
k 1 Var ( X k ) 收敛，那么由 2 k 1 k i 1
波雷尔坎特立引理可以直接推出强大数律成立。
即为所须求证
1.2 科尔莫戈罗夫准则
X1,X2, …Xn…. 为独立的随机变量， 若
k
k 1

k2
2
收敛, 我们称它们满足科尔莫戈罗夫准则，此时随机变量满足强大数律。
证明： 定义随机变量 Av ，其意义为在 2
v 1
n 2v 间 | Sn mn | n 至少一个成立
则 P( Av )
n
k
满足
，有： Ns.t.P A( N ,U ) (1.3.1)
我们接下来说明对足够大的 k, U k 几乎处处和 X k 相等 数学表述即 Ns.t.P
k N ,U k X k

P k N ,U k X k P k N ,Vk 0 P Vk 0
n
defineU k ( Sn mn ) ( Sk mk )
v k 1
(X
n
v
v )
E (Yk ( Sn mn ) 2 ) E (Yk ( S k mk U k ) 2 ) E (Yk ( S k mk ) 2 ) E (U k 2 ) E (Yk (S k mk )U k )
Y
k 1
n
k
的值只可能为 0 或 1;（引入 Y 之后我们就可以利用 Y 来估计 P(A)）
so : Yk 1
k 1
n
Yk ( S n mn ) 2 ( S n mn ) 2
k 1 n 2 E (Yk ( S n mn ) 2 ) E (( S n mn ) 2 ) Var (S n ) sn k 1 n 2 E (Yk ( S n mn ) 2 ) sn (1.1.1) k 1
独立同分布的随机变量强大数定律的证明整理
F0603028 5060309228 陈天奇
符号说明：
k E ( X k ),Var ( X k ) k2 , Sk X k
i 1
k
mk E ( Sk ) k ,s k2 Var ( Sk ) k2
i 1 i 1
1.1 科尔莫戈罗夫不等式
X1,X2, …Xn 为独立的随机变量， 则 | Sk mk | tsn ,(k 1, 2,...n) 同时成立的概率大于 1 t
2 2
即证明有至少有一个不成立的概率小于 t , 记该事件为 A 定义随机变量 Yk 1iff | Si mi | tsn ( for _ i 1, 2..k 1)& | Sk mk | tsn , elseYk 0 即 Yk 在第一个使得不等式不成立的 k 为 1， 其它地方为 0, 注意到对于特定的样本点， 至 多一个 Yk 为 1, 而且
v V v V
即强大数律成立
1.3 证明同独立分布随机变量的大数定律
如果相互独立的随机变量 { X k } 具有同样的分布 { f ( xi )} ， 而且 E ( X k ) 存在， 则{X k } 满 足强大数定律。 定义随机变量: U k ,Vk 如下
U k X k , Vk 0(| X k | k ) Vk X k , U k 0(| X k | k )
我们先证明 U k 满足科尔莫戈罗夫准则. 记 ak

k 1| xi | k

| xi | f ( xi )
则 k

2
Var (U k ) E (U k )
2
2
| xi | k
|x |
i
2
f ( xi ) av v
v 1
k
1 1 k 1 1 k 2 2 av v av v 2 av v av | xi | f ( xi ) k k 1 k 1 k v 1 v 1 k v k v 1 k v k ( k 1) v 1 i
kN
故只需要证明

P V
k 1

k
0 收敛即可
1 1 v av 1 1 av 1 | xi | f ( xi ) v v 1 v k 1 v 1 i
ቤተ መጻሕፍቲ ባይዱ
P Vk 0 f ( xi ) av1
k 1 k 1 | xi | k
A( N , T )
从 以 上 的 讨 论 中 可 以 想 到 对 于 一 些 其 它 一 些 不 独 立 随 机 变 量 的 {X k } , 如 果 也可以得到强 E (Yk (Sk mk )2 ) E (Yk (Sn mn )2 ) 以及 {X k } 满足科尔莫戈罗夫准则，
k
k
强大数定律： 若一组随机变量 X1,X2, …..Xn… 满足 Ns.t.P | Sn
mn | n ( forn N ) 1
则称它们满足强大数定律 独立同分布随机变量的强大数定律的证明主要分三步： (1) 科尔莫戈罗夫不等式的证明； (2) 科尔莫戈罗夫准则； (3) 独立同分布的强大数定律的证明。 下面的强大数定律的证明过程做一下整理。
U k X k , Vk 0(| X k | k ) Vk X k , U k 0(| X k | k )
证明 U k 满足科尔莫戈罗夫准则, 然后证明 U k X k 几乎处处一样，最后将事件 分割为“ U k X k 处处一样”与“ U k X k 存在不同”两种情况讨论，得到结论。
v 1

2 v
k2 4 2 k2 22v 8 2 k2
k 1 k 1 2v k k 1
2v



1 k2
故

k
k 1

k2
2
收敛可以导出
P( A ) 收敛
v 1 v

P( A ) 收敛，可以得出
v 1 v
Vs.t. P Av let _ N 2V 1 , P n N , s.t. | S n mn | n P Av

2


2

1.4 以上证明内容要点总结
1.4.1 科尔莫戈罗夫不等式的证明
2 2 t 2 sn E ( Yk ) E (Yk ( S k mk ) 2 ) E (Yk ( S n mn ) 2 ) sn k 1 k 1 k 1 n n n
其中证明第二个不等号利用到了 { X k } 相互独立，即如果不独立的 { X k } , 第二个不等号 也成立的话科尔莫戈罗夫不等式依然成立 1.4.2 科尔莫戈罗夫准则
k 1 k 1 n n
E Yk t 2 (1.1.3) k 1
n
注意 Yk 的性质，
Y
k 1
n
k
的值只可能为 0 或 1, 我们可以知道
n n n P ( A) P Yk 0 P Yk 1 E Yk t 2 (by1.1.3) k 1 k 1 k 1
最右边因为 E ( X k ) 的存在性保证收敛，所以 U k 满足强大数律。 显然 E (U k ) k

对给定 N 与一组随机变量 {Tk } 定义事件 A( N , T ) 为 n N | 强大数律且 E (U k ) k
T | n 。由U
i 1 i
由(1.3.1)和(1.3.2)可知
Ns.t.P k N ,U k X k

2
& P A( N ,U )

2
Ns.t.P A( N , X ) P A( N ,U ) P k N ,U k X k
即 { X k } 满足强大数定律。


k 1 v k
最右边收敛，故
P V
k 1
k
0 收敛, 即 Ns.t.P k N ,U k X k (1.3.2)
P A( N , X ) P A( N , X ) k N ,U k X k P A( N , X ) k N ,U k X k P A( N , X ) k N ,U k X k P A( N ,U ) k N ,U k X k P A( N ,U ) P A( N , X ) k N ,U k X k P k N ,U k X k P A( N , X ) P A( N ,U ) P k N ,U k X k
1 2 2 v 2 P n (0, 2v ]s.t. | Sn mn | (2v1 s2 2 sv v ) s v 4 2
2
其中最后一个不等号由科尔莫戈罗夫不等式得出
P( Av ) 4 2
2 v 1 v 1


2 v
s n 4
2
2
2
1 2 2 v 2 P( Av ) P n (0, 2v ]s.t. | Sn mn | (2v1 s2 2 sv v ) s v 4 2
2
以上不等式的最后一个等号运用了科尔莫戈罗夫不等式， 所以对科尔莫戈罗夫不等式成 立的不独立的 { X k } 同样有科尔莫戈罗夫准则 1.4.3 同分布独立随机变量的大数律
注意 Yk 的定义我们可以知道 Yk 1 | Sk mk | tsn
so : Yk t 2 sn 2 Yk ( S k mk ) 2 E (Yk t 2 sn 2 ) E (Yk ( S k mk ) 2 ) E (Yk ( S n mn ) 2 )(by1.1.2) t 2 sn 2 E (Yk ) E (Yk ( S n mn ) 2 ) sn 2 (by1.1.1)
U k 依赖于 X k 1, X k 2,.... 而 Yk (Sk mk ) 依赖于 X1 , X 2 ... X k , 所以它们相互独立
E(Yk (Sk mk )U k ) E(Yk (Sk mk )) E(U k ) 0(becauseE(U k ) 0)
E (Yk ( Sn mn ) 2 ) E (Yk ( Sk mk ) 2 )(1.1.2)