第五章：随机变量的收敛性

证明：根据Cheyshev不等式
P
Xn
V Xn
2
2
0, as
n 2
在定理条件下，当样本数目n无限增加时，随机样本均值 将几乎变成一个常量
对样本方差呢？依概率收敛于方差 2 14
邋( ) ? Sn2 =
1n n - 1 i=1
Xi -
Xn
2
=
n
1 -
1骣珑珑珑桫i=n1
X
2 i
-
n
X
2 n
鼢鼢鼢=
n 骣1 n- 1桫n
n i= 1
X
2 i
-
n2 Xn
n- 1
å ( ) 根据大数定律， 1 n
n i= 1
X
2 i
揪P?
E
X
2 i
又 n 1, as n n- 1
å ( ) 所以 n n-
1骣ççç桫1n
n i= 1
X
2 i
÷÷÷揪P?
E
P fn A 0 1 pn 0
即无论N多大,在N以后,总可能存在n ,使 fn A 0
所以 fn A 不可能在通常意义下收敛于p。
3
例2：依分布收敛
考虑随机序列 X1, X2..., Xn ，其中 Xn ~ N 0,1 n
直观：X n 集中在0处，X n 收敛到0
12
收敛的性质
5.5 定理：设X n , X ,Yn ,Y是随机变量，g是连续函数
(a)如果X n 揪P X，Yn P井 Y，那么 X n + Yn 揪P? X Y. (b)如果X n 揪qm X，Yn q井m Y，那么 X n + Yn 揪qm? X Y . (c)如果X n 换X，Yn c，那么 X n + Yn ? X c. (d )如果X n 揪P X，Yn P井 Y，那么 X nYn 揪P? XY. (e)如果X n 换X，Yn c，那么 X nYn ? cX . ( f )如果X n 揪P? X，那么 g (X n ) 揪P? g (X ). (g)如果X n 换X，那么 g (X n ) g (X ).
设在一次观测中事件A发生的概率为 p P A ，如果观
测了n次，事件A发生了nA 次，则当n充分大时，A在次观
测中发生的频率 fn A nA n 逐渐稳定到概率p 。
即对于 0，

lim P
n

nA n

p





0
表示当n充分大时，事件发生的频率
X
2 i
（如果 X n 揪P X ,Yn P井 Y ，则 X nYn 揪P? XY ）
同样，根据大数定律， X n 揪P? m ，由于 g ( y) = y2 为连续函数，
所以
X
2 n
揪P?
m2 ，
n
X
2 n
揪P?
m2
n- 1
( ) 所以 Sn2 =
揪P?
E
X
2 i
m2 = s 2
样本方差依概率收 敛于分布的方差
Cnk pk
1 p
nk x e
x!
21
中心极限定理的应用之一 —二项概率的近似计算（续）
当p不太接近于0或1时，可根据CLT，用正态分布来近似
计算
Xi
~
Bernoulli
n
p,
X
wk.baidu.com
n

1 n
n i 1
如果观测了n次，事件A发生了nA 次，则当n充分大时，A在次观测中
发生的频率 fn A nA n逐渐稳定到概率p 。

那么lim n
fn

A

p?


不对，若
则对于
lim
n
0
fn A
，总存在
p
N

0
,当
n

N 时，有
fn
A
p 成立
但若取 p , 由于

P X n 5.5 P
n Xn

n
5.5








125 5.5 5
P Z
5

P Z 2.5 0.9938
20
中心极限定理的应用之一 —二项概率的近似计算
设 n是n重贝努里试验中事件A发生的次数，则
近似服从期望为 方差为 2 n 的正态分布
nX，n即n1
,
n
X
i 1
i
nXn
Zn

Z
其中Z为标准正态分布或
lim P
n
Zn

z

z

z
也记为 X n N , 2 n
1 ex2 2dx
2
无论随机变量X为何种类型的分布，只要满足定理条件， 其样本均值就近似服从正态分布。正态分布很重要
大样本理论、极限定理、渐近理论 对统计推断很重要
1
收敛性
主要讨论两种收敛性
依概率收敛
大数定律：样本均值依概率收敛于分布的期望
依分布收敛
中心极限定理：样本均值依分布收敛于正态分布
2
例1：依概率收敛
概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定 到概率
设在一次观测中事件A发生的概率为 p P A
当极限分布为点分布时，记为 X n qm c

对应还有：L1收敛（converge to X in L1 ）
lim E
n
Xn X
0
if E Xn X 0, as , then Xn L1 X
7
其他收敛
依概率收敛
lim P
n
Xn X
0
次抛掷的输出（0或1）。因此 p P Xi 1 E Xi
若共抛掷n次，正面向上的比率为 X n。根据大数定律，
X n P p
但这并不意味着 X n 在数值上等于p
而是表示当n很大时，X n 的分布紧围绕p
令 p 1 2 ，若要求 P 0.4 Xn 0.6 0.7 ，则n至少为多少？
每个计算机程序的错误的数目为X，X ~ Poisson, 5
现有125个程序，用 X1, X2..., X125 表示各个程序中的错误
的数目，求 P X n 5.5 的近似值
解： E X1 5, 2 V X1 5
则Xn依概率收敛于X ，记为 Xn 揪P? X 。 2、如果对所有F的连续点t，有
lim
n
Fn
(t)
=
F (t)
则Xn依分布收敛于X ，记为 Xn » X 。
同教材上
5
两种收敛的定义
当极限分布为点分布时，表示为
依概率收敛：
P X c 1, and Xn P X , then Xn Pc
n
Xn 0
0
11
例：续
依分布收敛：令F表示0处的点分布函数，Z表示标准正态 分布的随机变量
F
t

0 1
t0 t0
Xn ~ N 0,1 n n Xn ~ N 0,1
for t 0,
Fn t P Xn t P n Xn nt P Z nt 0, as n
但近似的程度与原分布有关
大样本统计推理的理论基础 18
中心极限定理
中心极限定理试验 http://jyjs.gzhu.edu.cn:8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm
19
例：中心极限定理
15
强大数定律（SLLN）

独立同分布（IID）的随机变量序列 X1,
方差 V
敛于期望
Xi
2 ，则样本均值
，即对任意 0
Xn

X
1 n
2
...,
n
X
n
，E

X
i


Xi几乎处处收
i 1

P
lim
n
Xn


0
16
例：大数定律
考虑抛硬币的问题，其中正面向上的概率为p，令Xi 表示单
0.1 0.1

1

4n
1 0.12
1 25 0.7 n
1 25 n 0.7 n 84
17
中心极限定理 (Central Limit Theorem, CLT)

独立同分布（IID）的随机变量序列 X1, X2...,
E Xi , V Xi 2 ，则样本均值 X
nA n

p




V

nA n
2


p 1 p
n 2
0
n 。
10
例：5.3
令 Xn ~ N 0,1 n
直观：X n 集中在0处， X n收敛到0
依概率收敛：
P

Xn
0




VXn
2

（Chebyshev不等式）

1

n
2

lim P
第五章：随机变量的收敛性
随机样本：IID样本 X1, X2..., Xn ，Xi ~ F 统计量：对随机样本的概括
Y = T ( X1, X 2..., X n ) Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值…
收敛性：当样本数量n趋向无穷大时，统计量的变化
依分布收敛：
P X c 1, and Xn X , then Xn c
6
其他收敛
还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean）
对证明概率收敛很有用
lim
n
E

Xn

X
2

0
if E X n X 2 0, as , then X n qm X
nA
与其概率p存在较
大偏差的可能性小。
n
证明： nA ~ Binomial (n, p), E (nA )= np, V(nA )= np(1- p)，
所以
E 骣 珑 珑 珑 桫nnA 鼢 鼢 鼢=
p,
V
骣nA 桫n
=
p (1-
n
p) ，
对 0 ，根据 Chebyshev 不等式，有
P

或
lim P
n
: Xn X
0
随机变量序列 X1, X2..., Xn ，当对任意 0，
或
P
lim
n
Xn X

0
P

:
lim
n
Xn


X

0
则称随机变量序列 X1, X2..., Xn,...几乎处处依概率收敛到X （converge almost surely to X） ，记为：Xn a.s. X
但
P

Xn

0




VXn
2

（Chebyshev不等式）

1

n
2

0
4
两种收敛的定义
5.1 定义：令 X1, X2..., Xn为随机变量序列，X为另 一随机变量，用Fn表示Xn的CDF，用F表示X的
CDF
1、如果对每个 e > 0 ，当 n
时，
P( Xn - X > e)? 0
解： E Xi p 1 2, 2 V Xi p1 p
E Xn p 1 2, V Xn 2 n p 1 p n 1 4n
P 0.4 Xn 0.6 P 1 P
Xn Xn
for t 0,
Fn t P Xn t P n Xn nt P Z nt 1, as n
Fn t F t, for all t 0 Xn 0
for
t 0,
Fn
0

1 2

F
0

1
但是 t 0 不是F的连续点
n ~ Binomial n, p，对任意 a b ，有
P a n b Cnk pk 1 p nk
ak b
当n很大时，直接计算很困难。这时 np如果不大（即p<0.1，
np<5）或
n不1大 ，p则可用Poisson分布来近似计算
n Poisson , np
几乎处处收敛：比依概率收敛更强
8
各种收敛之间的关系
点分布，c为实数 P X c 1
Quadratic mean (L2)
Point-mass distribution
probability
distribution
L1
反过来不成立！
almost surely
9
例：伯努利大数定律
13
弱大数定律（WLLN）

独立同分布（IID）的随机变量序列
敛方于差期V望 Xi ， 即2对任，意则 样 本0 均值
X1, X Xn
21...,nX n X
n i1
，E Xi
依概率收
i

lim P X n 0
n
称 X n 为 的一致估计（一致性）