大数定理与中心极限定理5

Yn
X
i 1
n
i
E ( X i )
i 1 n
n
D ( X i )
i 1
在什么条件下， lim PYn x ( x) , 这是十八世纪以来概率论 n 研究的中心课题，因而，从二十世纪二十年代开始，习惯上把 研究随机变量和的分布收敛到正态分布的这类定理称为中心极 限定理（Central Limit Theorems）。这里仅介绍独立同分 布场合下的中心极限定理。
0 有
nA lim P p 0 n n
或
nA lim P p 1 n n
贝努里（Bernoulli） 大数定律的意义：
在概率的统计定义中，事件 A 发生的频率 “ 稳定于”事件 A 在一次试验中发生的概率是 指：
0.1875n P| X 0.75n | 0.01n 1 (0.01n) 2
令
0.1875n 1 0.90 2 (0.01n)
解得 n 18750
切比雪夫不等式说明，DX越小，则 P{ | X EX | } 越小， P{ | X EX | } 越大，也就是说，随机变量X取值基 本上集中在EX附近，这进一步说明了方差的意义。 同时当EX 和DX 已知时，切比雪夫不等式给出了概率
(或
lim P Yn a 1 )
n
则称随机变量序列 Y1 , Y2 ,, Yn , 依概率收敛 于常数 a , 记作 P Yn a
n
nA P 故 p n n
在 Bernoulli 定理的证明过程中， Y n 是相互 独立的服从 0-1分布的随机变量序列 {Xk} 的
P{ | X EX | } 的一个上界，该上界并不涉及随机变X
的具体概率分布，而只与其方差DX和ε有关，因此，切比 雪夫不等式在理论和实际中都有相当广泛的应用。需要指 出的是，虽然切比雪夫不等式应用广泛，但在一个具体问 题中，由它给出的概率上界通常比较保守。
5.2 大数定律
在叙述大数定律之前，首先介绍两个基本概念。 定义5.1 设 X 1 , X 2 ,, X n , 为一个随机变量序列，记为 { X n } ，若对任何n≥2，随机变量 X 1 , X 2 ,, X n 都相互独 立，则称 { X n } 是相互独立的随机变量序列。 定义5.2 设 { X n } 为一随机变量序列，X为一随机变 量或常数，若对任意ε＞0，有
本结果由俄国数学家切比雪夫于1866年证明，是 关于大数定律的普遍结果，许多大数定律的古典 结果都是它的特例。
推论1
设
{X n }
是独立同分布的随机变量序列，且
EX i , DX i 2 , i 1, 2,
则对任意ε＞0，有
1 n lim P X i 1 n n i Βιβλιοθήκη Baidu1
1+ 2 + 3 + 4 + 5 + 6 7 1 + 4 + 9 + 16 + 25 + 36 91 2 Ex , Ex 6 2 6 6 91 49 182 147 35 2 2 Dx Ex ( Ex ) 6 4 12 12 Dx 35 2 7 1 : 2 P(| x | 1) 12 3 2 Dx 35 35 1 7 2: 2 P(| x | 2) 4 12 48 3 2
5.1
切尔谢夫不等式
重要不等式 马尔可夫（Markov） 不等式
设非负随机变量 X 的期望 E( X )存在， 则对于任意实数 > 0,
P( X ) E( X )

推论 2 ——切贝雪夫（ chebyshev ）不等式
设随机变量 X 的方差 D ( X )存在， 则对于任意实数 > 0, D( X ) P(| X E ( X ) | ) 2
E ( X k ) , D( X k ) 2 , k 1,2,
则 0 有
算术平均值
1 n 1 n lim P X i EX i 1 n n i 1 n i 1
1 n lim P X k 0 n n k 1
算术平均值, Y n 依概率收敛于其数学期望 p . 结果同样适用于服从其它分布的独立随
机变量序列
Chebyshev 大数定律 设随机变量序列 X 1 , X 2 ,, X n , 相互独立，
(指任意给定 n > 1, X 1 , X 2 ,, X n 相互独立)，且 具有相同的数学期望和方差
lim P{ X n X } 1
n
则称 X n 依概率收敛于X,记为 X n P X 或 X n X P 0 ，n . 下面是一个带普遍性结果的大数定律。
大数定律
贝努里（Bernoulli） 大数定律
设 nA 是 n 次独立重复试验中事件 A 发生的 次数, p 是每次试验中 A 发生的概率，则
nA n
nA nA p 是 频率 与 p 有较大偏差 n n
小概率事件, 因而在 n 足够大时, 可以用频率 近似代替 p . 这种稳定称为依概率稳定.
定义 设 Y1 , Y2 ,, Yn , 是一系列随机变量，
a 是一常数， 若 0 有
n
lim P Yn a 0
X ~ B(n,0.75)
E ( X ) 0.75 n, D( X ) 0.1875n
事件A发生 的概率
0.74 X 0.76 0.90 要使 P ，求 n n
即 P0.74 n X 0.76 n 0.90
即 P| X 0.75n | 0.01n 0.90 由 Chebyshev 不等式， = 0.01n ,故
例2 设有一大批种子，其中良种占1/6. 试估计 在任选的 6000 粒种子中, 良种所占比例与 1/6 比较上下小于1%的概率. 解 设 X 表示 6000 粒种子中的良种数 , X ~ B (6000,1/6 )
---注：二项分布
5000 E ( X ) 1000, D( X ) 6 1 X P 0.01 5000 6000 6 6 83 0.7685 P(| X 1000 | 60) 1 602 108
n
i 1
这便是在n较大情况下反映出的客观规律,故称为“大数” 定 律。 DX i 比推论1条件更宽的一个大数定律是辛钦（Khintchine） 大数定律,它不需要推论1条件中“方差 存在”的限制， 而在其它条件不变的情况下，仍有切比雪夫式的结论。
辛钦大数定律-推论2 设 X 1 , X 2 ,, X n , 相互独立，服从同一

或
P(| X E ( X ) | ) 1
D( X )

2
示意图
j(x)
Dx/2
Ex
Ex
Ex+
x
例1 设x是掷一颗骰子所出现的点数, 若给定e=1,2, 实际计算P(|x-Ex|e), 并验证切贝谢 夫不等式成立. 解 因P(x=k)=1/6, (k=1,2,3,4,5,6)
实际精确计算：
1 X P 0.01 P940 X 1060 6000 6

1059
k 941
C
k 6000
1 6
k
5 6
6000k
0.959036
用Poisson 分布近似计算：
取 = 1000
1 X P 0.01 P940 X 1060 6000 6 k 1000 1059 1000 e 0.937934 k! k 941
.
推论1使我们关于算术平均值的法则有了理论上的依据。如 我们要测量某段距离，在相同条件下重复进行n次，得n个 测量值 X 1 , X 2 ,, X n ，它们可以看成是n个相互独立的随机 变量,具有相同的分布、相同的数学期望μ和方差 2 ， 由推论1的大数定律知，只要n充分大，则以接近于1的概率 1 n 保证 Xi
或
1 n lim P X k 1 n n k 1
定理的意义：
具有相同数学期望和方差的独立随机变量序列的
算术平均值依概率收敛于数学期望.即
1 n 1 n X i EX i P 0 (n ) n i 1 n i 1
当 n 足够大时，算术平均值几乎就是一个常数, 可以用算术平均值近似地代替数学期望.
§5.3 中心极限定理
人们已经知道，在自然界和生产实践中遇到的大量随机 变量都服从或近似服从正态分布，正因如此，正态分布占有 特别重要的地位。那么，如何判断一个随机变量服从正态分 布显得尤为重要。如经过长期的观测，人们已经知道，很多 工程测量中产生的误差X都是服从正态分布的随机变量。分 析起来，造成误差的原因有仪器偏差X1、大气折射偏差X2, 温度变化偏差X3、估读误差造成的偏差X4等等，这些偏差Xi 对总误差 X X i 的影响都很微小，没有一个起到特别突 出的影响，虽然每个Xi的分布并不知道，但 X X i 却服从正态分布。类似的例子不胜枚举。 设 { X n } 为一随机变量序列，其标准化随机变量
lim P{| f n p | } 1
n
,
f n P p, n 即，
.
这是历史上最早的大数定律，是贝努利在1713年建立 的。概率论的研究到现在约有300多年的历史，最终以事件 的频率稳定值来定义其概率。作为概率这门学科的基础， 其“定义”的合理性这一悬而未决的带根本性的问题,由贝 努 利于1713年发表的这个“大数定律”给予了解决，被称为 概 率论的第一篇论文,为概率论的公理化体系奠定了理论基础。 之所以被成为“定律”,是这一规律表述了一种全人类多年 的
第五章
大数定律与中心极限定理
ANSWER
本章要解决的问题 1. 为何能以某事件发生的频率 作为该事件的 概率的估计？ 2. 为何能以样本均值作为总体 期望的估计？
大数 定律
中心极 限定理
3. 为何正态分布在概率论中占 有极其重要的地位？ 4. 大样本统计推断的理论基础 是什么？
大数定律和中心极限定理是概率论的重要基本理 论，它们揭示了随机现象的重要统计规律，在概率 论与数理统计的理论研究和实际应用中都具有重要 的意义。 迄今为止,人们已发现很多大数定律(laws of large numbers) 所谓大数定律，简单地说，就是大量数目的随机变量所呈现 出的规律，这种规律一般用随机变量序列的某种收敛性来刻 画。 本章仅介绍几个最基本的大数定律。下面，先介绍一个 重要的不等式。
例3 设电站供电网有10000盏电灯，夜晚每一盏灯开灯 的概率是0.7, 而假定开、关时间彼此独立，估计夜晚同 时开着的灯数在6800与7200之间的概率.（p105） 解 设 X 表示夜晚同时开灯的数目 X ~ B (10000,0.7 ) ---注：二项分布
例4 设每次试验中，事件 A 发生的概率为 0.75, 试用 Chebyshev 不等式估计, n 多大时, 才 能在 n 次独立重复试验中, 事件 A 出现的 频率在0.74 ~ 0.76 之间的概率大于 0.90? 解 设 X 表示 n 次独立重复试验中事件 A 发生 的次数 , 则
分布，且具有数学期望 E(X k) = , k= 1,2,…, 则对任意正数 > 0
1 n lim P X k 0 n n k 1
推论2（贝努利大数定律）设事件A发生的概率为p，在n重 贝努利试验中A发生的频率为 f n ，则对任意的ε＞0，有