第五章随机变量的收敛性-精选

3
例2：依分布收敛
考虑随机序列 X1,X2...,Xn ，其中 Xn~N0,1n
直观：X n 集中在0处，X n 收敛到0
但
Xn0
Xn 2
（Chebyshev不等式）
1
n
2
0
4
两种收敛的定义
5.1 定义：令 X1,X2...,Xn为随机变量序列，X为另 一随机变量，用Fn表示Xn的CDF，用F表示X的 CDF
当极限分布为点分布时，记为 Xn q mc
对应还有：L1收敛（converge to X in L1 ）
lim
n
Xn X 0
if X n X 0 ,a s ,th e n X n L 1 X
7
其他收敛
依概率收敛
lim
n
XnX0
或
lim
n
:X n X
0
随机变量序列 X1,X2...,Xn ，当对任意 0，
F n t F t,f o r a l lt 0 X n 0
fort0,F n01 2F01
但 是 t 0 不 是 F 的 连 续 点
12
收敛的性质
5.5 定理：设X n , X ,Yn ,Y是随机变量，g是连续函数 a 如果X n P X，Yn P Y，那么 X n Yn P X Y. b 如果X n qm X，Yn qm Y，那么 X n Yn qm X Y . c 如果X n X，Yn c，那么 X n Yn X c. d 如果X n P X，Yn P Y，那么 X nYn P XY . e 如果X n X，Yn c，那么 X nYn cX . f 如果X n P X，那么 g X n P g X . g 如果X n X，那么 g X n g X .
在定理条件下，当样本数目n无限增加时，随机样本均值 将几乎变成一个常量
依分布收敛：
X c 1 , a n d X n X , t h e n X n c
6
其他收敛
还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean）
பைடு நூலகம்
对证明概率收敛很有用
lim
n
XnX2 0
if X n X 2 0 ,a s ,th e n X n q m X
1
收敛性
主要讨论两种收敛性
依概率收敛
大数定律：样本均值依概率收敛于分布的期望
依分布收敛
中心极限定理：样本均值依分布收敛于正态分布
2
例1：依概率收敛
概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定 到概率
设在一次观测中事件A发生的概率为 p A
如果观测了n次，事件A发生了n A 次，则当n充分大时，A在次观测中
发生的频率 fnAnA n逐渐稳定到概率p 。 那么lni mfnAp?
不对，若 lni m fnA p
则对于 0 ，总存在 N 0 ,当 n N时，有
fn
A p 成立
但若取 p , 由于
fnA 0 1pn0
即无论N多大,在N以后,总可能存在n ,使 fn A 0
所以 f n A 不可能在通常意义下收敛于p。
Quadratic mean (L2)
Point-mass distribution
probability
distribution
L1
反过来不成立！
almost surely
9
例：伯努利大数定律
设在一次观测中事件A发生的概率为 p A ，如果观
测了n次，事件A发生了n A 次，则当n充分大时，A在次观
1、如果对每个 0 ，当 n 时，
Xn X
0
则Xn依概率收敛于X ，记为 Xn P X。 2、如果对所有F的连续点t，有
nlimFn t Ft
则Xn依分布收敛于X ，记为 X n
同教材上
X。
5
两种收敛的定义
当极限分布为点分布时，表示为
依概率收敛：
X c 1 , a n d X n P X , t h e n X n P c
或
lni m XnX0
:ln i m X n X 0
则称随机变量序列 X1,X2...,Xn,...几乎处处依概率收敛到X （converge almost surely to X） ，记为：Xn a .s.X
几乎处处收敛：比依概率收敛更强
8
各种收敛之间的关系
点分布，c为实数 Xc1
nA n
p
nA n
p 1
p
0
2
n 2
n 。
10
例：5.3
令 Xn~N0,1n
直观：X n 集中在0处， X n 收敛到0
依概率收敛：
Xn0
Xn 2
（Chebyshev不等式）
1
n
2
ln i m X n0 0
11
例：续
依分布收敛：令F表示0处的点分布函数，Z表示标准正态 分布的随机变量
测中发生的频率 fnAnA n 逐渐稳定到概率p 。
即对于 0，
lim
n
nnA
p
0
表示当n充分大时，事件发生的频率 n A 与其概率p存在较
大偏差的可能性小。
n
证明： nA ~ Binomial n, p , nA np, nA np 1 p ，
所以
nA
p,
nA
p1 p
，
n
n
n
对 0 ，根据 Chebyshev 不等式，有
13
弱大数定律（WLLN）
独立同分布（IID）的随机变量序列
敛方于差期望X i，即2对任，意则 样 0本均值
XXn1,X2n1...i,n1XXn i依，概率Xi收
limXn0
n
称 X n 为 的一致估计（一致性）
证明：根据Cheyshev不等式
X n 2
X n 2 n2 0 ,a s
F
t
0 1
t0 t 0
X n~ N 0 ,1 n n X n~ N 0 ,1
for t 0,
F n t X n t n X n n t Z n t 0 , a s n
for t 0,
F n t X n t n X n n t Z n t 1 , a s n
第五章：随机变量的收敛性
随机样本：IID样本 X1,X2...,Xn ，X i ~ F 统计量：对随机样本的概括
Y T(X1,X2...,Xn) Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值…
收敛性：当样本数量n趋向无穷大时，统计量的变化
大样本理论、极限定理、渐近理论 对统计推断很重要