极限定理与条件期望

1059
k 941
C
k 6000
1 6
k
5 6
6000k
0.959036
用Poisson 分布近似计算：
取 = 1000
1 X P 0.01 P940 X 1060 6000 6 k 1000 1059 1000 e 0.937934 k! k 941
2
1 n 的算术平均 X X k , n k 1 数 有
则对于任意正
1 n lim P X k 1. n n k 1
一般地，称概率接近于1 的事件为大概率事件，
而称概率接近于0 的事件为小概率事件. 在一次试验
中大概率事件几乎肯定要发生，而小概率事件几乎不 可能发生，这一规律称之为实际推断原理．
在上式中令n ， 即
1 n 1 n lim P X k E ( X k ) 1. n n k 1 n k 1
推论1
设随机变量 X 1 , X 2 , , X n , 相互独立, 且具有相同的数学期望和方差：E ( X k ) , D( X k ) (k 1, 2,), 作前 n 个随机变量
推论1意义：
具有相同数学期望和方差的独立随机变量序列 的算术平均值依概率收敛于数学期望. 即
1 n 1 n X i EX i P 0 (n ) n i 1 n i 1
当 n 足够大时，算术平均值几乎就是一个常数,
可以用算术平均值近似地代替数学期望.
推论1使我们关于算术平均值的法则有了理论上的依 据。如我们要测量某段距离，在相同条件下重复 进行n次，得n个测量值 X 1 , X 2 ,, X n ，它们可以 看成是n个相互独立的随机变量,具有相同的分布、 相同的数学期望μ和方差
P(| X E ( X ) | )
或
D( X )

2
P(| X E ( X ) | ) 1
D( X )

2
示意图
j(x)
Dx/2
Ex

E
x
Ex
x

证明 （我们仅对连续性的随机变量进行证明）
设 f (x) 为 X 的密度函数，记 E ( X ) ， D( X ) 2 . 则
在 Bernoulli 定理的证明过程中， Y n 是相
互独立的服从 0-1分布的随机变量序列 {Xk} 的 算术平均值, Y n 依概率收敛于其数学期望 p . 结果同样适用于服从其它分布的独立
随机变量序列
中心极限定理
人们已经知道，在自然界和生产实践中遇到的大量随 机变量都服从或近似服从正态分布，正因如此，正态分布 占有特别重要的地位。那么，如何判断一个随机变量服从 正态分布显得尤为重要。如经过长期的观测，人们已经知 道，很多工程测量中产生的误差X 都是服从正态分布的随 机变量。分析起来，造成误差的原因有仪器偏差X1、大气 折射偏差X2,温度变化偏差X3、估读误差造成的偏差X4等
第3章 极限定理与条件期望
3.1 极限定理
3.2 条件期望
3.1 极限定理

2个不等式

3个大数定律
3个极限定理

一、问题的引入
实例: 考察射击命中点与靶心距离的偏差.
这种偏差是大量微小的偶然因素造成的微 小误差的总和, 这些因素包括: 瞄准误差、测量 误差、子弹制造过程方面 (如外形、重量等) 的 误差以及射击时武器的振动、气象因素(如风速、 风向、能见度、温度等) 的作用, 所有这些不同 因素所引起的微小误差是相互独立的, 并且它们 中每一个对总和产生的影响不大.
E ( x) xf ( x)dx xf ( x)dx xf ( x )dx
0 0 a

a

xf ( x)dx
a

af ( x)dx
a

a f ( x)dx
a

aP{ X a}
2 ——契比雪夫（ chebyshev ）不等式 设随机变量 X 的均值 E(X) 及方差D(X)都 存在，则对于任意实数 > 0，有
年建立的。概率论的研究到现在约有300多年的历史， 最终以事件的频率稳定值来定义其概率。作为概率 这门学科的基础，其“定义”的合理性这一悬而未 决的带根本性的问题,由贝努利于1713年发表的这个
“大数定律”给予了解决，被称为概率论的第一篇
论文,为概率论的公理化体系奠定了理论基础。 之所以被成为“定律”,是这一规律表述了一种 全人类多年的集体经验。因此，对尔后的类似定理 统称为大数“定律”。
---注：二项分布
5000 E ( X ) 1000, D( X ) 6 1 X P 0.01 5000 6000 6 6 83 0.7685 P(| X 1000 | 60) 1 602 108
实际精确计算：
1 X P 0.01 P940 X 1060 6000 6
贝努里（Bernoulli） 大数定律的意义：
nA 在概率的统计定义中，事件 A 发生的频率 n
“ 稳定于”事件 A 在一次试验中发生的概率 是指：
nA 频率 与 p 有较大偏差 n
nA p n
是小概率事件, 因而在 n 足够大时, 可以用频率
近似代替 p . 这种稳定称为依概率稳定.
P{| X E ( X ) | }

x

2
( x )2 f ( x)dx f ( x)dx 2 x

1



( x ) f ( x)dx
2
1

2

2
D( X )
2
也可由马尔可夫不等式证明，取 a=

2
( X ) 是非负随机变量，
lim P{ X n X } 1
则称 X n 依概率收敛于 X , 记为 X n P X
或 X n X 0 ，n .
P
n
3 契比雪夫大数定律
大数定律
设相互独立的随机变量序列 X 1 , X 2 ,, X n ,
分别具有均值
E ( X 1 ), E ( X 2 ),, E ( X n ), 及方差
D( X 2 ),, D( X n ), 且若存在常数C，使 D( X k ) C ,
则对于任意给定的
0 ，有
1 n 1 n lim P X k E ( X k ) 1. n n k 1 n k 1
证明
由于 X 1 , X 2 ,, X n , 相互独立，那么对于
根据推论1有
1 lim P ( X 1 X 2 X n ) p 1, n n
即 nA lim P p 1. n n
证毕.
该定理 称为贝努利大数定理.
这是历史上最早的大数定律，是贝努利在1713
等，这些偏差Xi 对总误差
X Xi
的影响都很微小，没
有一个起到特别突出的影响，虽然每个Xi的分布并不知道， 但 X X i 却服从正态分布。类似的例子不胜枚举。
4
辛钦大数定律
强大数定律
设 X 1 , X 2 ,, X n , 相互独立，服从同一
分布，且具有数学期望 E(X k) = , k= 1,2,…,
则对任意正数 > 0，有
1 n lim P X k 1 n n k 1
1 n 或 lim P X k 0. n n k 1

大数定律和中心极限定理是概率论的重要基本理论， 它们揭示了随机现象的重要统计规律，在概率论与数 理统计的理论研究和实际应用中都具有重要的意义。

迄今为止,人们已发现很多大数定律(laws of large
numbers) 所谓大数定律，简单地说，就是大量数目的随机变量
所呈现出的规律，这种规律一般用随机变量序列的某种 收敛性来刻画。
契比雪夫不等式说明，随机变量X 取值基本上集 中在 EX 附近，这进一步说明了方差的意义。
同时当EX 和DX 已知时，契比雪夫不等式给出了
概率 P{ | X EX | } 的一个上界，该上界并不涉
及随机变量 X 的具体概率分布，而只与其方差 DX
和ε 有关，因此，契比雪夫不等式在理论和实际 中都有相当广泛的应用。需要指出的是，虽然契比 雪夫不等式应用广泛，但在一个具体问题中，由它 给出的概率上界通常比较保守。
在叙述大数定律之前，首先介绍两个基本概念。
定义1 设 X 1 , X 2 ,, X n , 为一个随机变量序列，记为
{ X n } ，若对任何 n≥2，随机变量 X 1 , X 2 ,, X n , 都相
互独立，则称 { X n } 是相互独立的随机变量序列。 定义2 设 { X n } 为一随机变量序列，X 为一随机变量 或常数，若对任意ε＞0，有
2 ，由推论1的大数
定律知，只要n充分大，则以接近于1的概率保证
1 n Xi n i 1
这便是在n较大情况下反映出的客观规律,故称为
“大数”定律。
比推论1条件更宽的一个大数定律是辛钦
（Khinchin）大数定律,它不需要推论1条件
中“方差 DX i 存在”的限制，而在其它条 件不变的情况下，仍有契比雪夫式的结论。
辛钦定理的特殊情况
5
贝努利（Bernoulli）大数定律
设 nA 是 n 次独立重复试验中事件 A 发生的次 数, p 是每次试验中事件 A 发生的概率，则