第5章 大数定律和中心极限定理 (NXPowerLite)

第五章 大数定律和中心极限定理
关键词： 关键词： 契比雪夫不等式 大数定律 中心极限定理
1
§1 大数定律
背景
本章的大数定律，对第一章中提出的 “频率稳定性”，给出理论上的论证
为了证明大数定理，先介绍一个重要不等式
2
契比雪夫不等式
σ2 P{ X E ( X ) ≥ ε } ≤ 2 ε
定理的等价形式为：
7
定理二 ( 伯努利大数定理 ) 设事件A在每次试验中发生的概率为p，记nA为n次独立重复试验 nA 中A发生的次数, 则ε > 0, 有： P p < ε = 1 lim n →+∞ n
证明： nA B ( n, p ) Q
n E A = 1 E ( nA ) = 1 np = p, n n n pq n 利用契比雪夫不等式： D A = 12 D ( nA ) = 12 npq = n n n n
{
}
( )
1 n D X = D ∑ X k = 12 n k =1 n
( )
1 nσ 2 = σ 2 ∑ D ( X k ) = n2 n k =1
n
1 n σ2 n 由契比雪夫不等式得：P ∑ X k < ε ≥ 1 2 ε n k =1
1 n lim P ∑ X k < ε = 1 n →∞ n k =1
i =1 n （近似）
答案：N ( ,
b n a n ) Φ( ). nσ nσ
σ2
n
)
从而，P (a < ∑ X i ≤ b) ≈ Φ (
i =1
n
注意：定理五的应用
13
定理六
( 棣莫佛-拉普拉斯定理 )
设nA为n重贝努里试验中A发生的次数，P ( A ) = p ( 0 < p < 1) ,
P P 若 X n a, Yn b, 且g ( x, y )在(a, b)处 → →
连续，则 g ( X n , Yn） P → g (a, b)
6
定理一 ( 契比雪夫定理的特殊情况 )： 设随机变量序列X 1 , X 2 ,L , X n ,L 相互独立，且具有相同的 数学期望 和相同的方差σ 2，作前n个随机变量的算术平均： 1 X = X, n∑ k k =1
n pq 于是，ε > 0, 有P A p < ε ≥ 1 2 nε n
n 即得： P A p < ε = 1 lim n →+∞ n
大数定律的重要意义： 贝努里大数定律建立了在大量重复独立试验中事件出现频率的稳 定性，正因为这种稳定性，概率的概念才有客观意义，贝努里大 数定律还提供了通过试验来确定事件概率的方法，既然频率nA/n 与概率p有较大偏差的可能性很小，我们便可以通过做试验确定 某事件发生的频率并把它作为相应的概率估计，这种方法就是第 7章将要介绍的参数估计法，参数估计的重要理论基础之一就是 8 大数定理。
2 b t nA np 则对任何区间(a, b]，有： P a < lim ≤ b = ∫ 1 e 2 dt , n →+∞ a 2π np(1 p )
即: 若nA～B(n, p),
则 nA ~ N (np, np(1 p ))
近似
P ( a < nA ≤ b ) b np ≈ Φ( ) np(1 p ) Φ ( a np ) np (1 p )
14
例4：设某种电器元件的寿命服从均值为100小时的指 数分布，现随机取得16只，设它们的寿命是相互 独立的,求这16只元件的寿命的总和大于1920小 时的概率。
解：记16只电器元件的寿命分别为X 1 , X 2 , L, X 16 ,
则16只电器元件的寿命总和为X = ∑ X i ,
16
由题设E ( X i ) = 100, D ( X i ) = 100
2 X 12 ,L , X n , 相互独立同分布，E ( X 12 )存在,
1 n 1 n 1 n 2 故它们各前n个算术平均： ∑ X k， ∑ X k ， ∑ X k 均依概率收敛。 n k =1 n k =1 n k =1 1 n P 因为，E ( X 1 ) = 0, ∑ X k 0， → n k =1 1 1 1 1 n P 1 同理，E ( X 1 ) = ∫ x dx = , ∑ X k ， → 1 2 2 n k =1 2 1 1 1 2 1 n 2 P 1 E ( X 1 ) = ∫ x 2 dx = , ∑ X k 。 → 1 2 3 n k =1 3 10
n X i n 2 ∑ x t 1 e 2 dt x ∈ R, 有： lim P (Yn ≤ x ) = lim P i =1 ≤ x = ∫ n →+∞ n →+∞ nσ ∞ 2π
此定理表明，当n充分大时，Yn 近似服从N ( 0,1) . 即： ∑ X i ～ N (n , nσ 2 ),
求a =？
解： 由题意知，X 1 , X 2 ,L , X n是具有独立同分布的随机变量
2 2 所以, 它们的连续函数X 12 , X 2 ,L , X n 也是独立同分布的。
2 X 12 + X 12 + L + X n 2 是变量序列X 12，X 12， ，X n的前n个算术平均， L n 故由定理三（辛钦定理）得： 算术平均依概率收敛于E ( X 2 )
3 x 2 , 0 < x < 1 例3 : 设 X ~ f ( x) = , 现对X 独立观察 n 次， 0, 其他 观察值记为X 1 , X 2 ,L , X n , ε > 0, 如果这些观察值满足
2 X 12 + X 12 + L + X n lim P a < ε =1, n →∞ n
n
{
}
9
例2： 设随机变量X 1 ,L , X n ,L , 相互独立同分布，X 1 ~ U (1, 1).则
1 n 1 n 1 n 2 （） ∑ X k，（2） ∑ X k ，（3） ∑ X k 分别依概率收敛吗？ 1 n k =1 n k =1 n k =1 如果依概率收敛，分别收敛于什么？
解：对照辛钦大数定律，X 1 ,L , X n , 相互独立同分布，E ( X 1 )存在, X 1 ,L , X n , 相互独立同分布，E ( X 1 )存在,
16 16 i =1 16 i =1 16
2
i =1
E ( X ) = E (∑ X i ) = ∑ E ( X i ) = 16*100 = 1600 D( X ) = D(∑ X i ) = ∑ D( X i ) = 16*1002 = 4002
P127-128
Fra Baidu bibliotek
设随机变量X 具有数学期望E ( X ) = , 方差D ( X ) = σ 2 , 则对于任意ε > 0, 都有：
证明： ( 仅就X 为连续型时证之 ) 设X 的概率密度为f ( x ) ,
σ2 P{ X E ( X ) < ε } ≥ 1 2 ε
则 P{ X ≥ ε} =
定理一表明，当n很大时，X 1 , X 2 ,L , X n的算术平均: 1 X 接近于它们共同的数学期望 。 n∑ k k =1 而这种接近是在概率意义下的接近。
n
此外，定理中要求随机变量的方差存在，但当随 机变量服从相同分布时，就不需要这一要求。
定理三 ( 辛钦定理 )： 设随机变量序列X 1 , X 2 ,L , X n ,L 相互独立，服从同一分布， 且存在数学期望，作前n个随机变量的算术平均： X = 1 ∑ X k n k =1 则ε > 0，有： 1 n lim P X < ε = lim P ∑ X k < ε = 1. n →∞ n →∞ n k =1
可见 0.9974 > 0.8889，符合以上结论 !
但要注意，虽然契比雪夫不等式可以对任意分布的随机变量 落入其期望附近的对称区间进行估计，但只是粗略的估计。
4
例1：n重贝努里试验中，已知每次试验事件A出现的概 重贝努里试验中，已知每次试验事件A 率为0.75 试利用契比雪夫不等式,(1) n=7500,估计 0.75， ,(1)若 估计A 率为0.75，试利用契比雪夫不等式,(1)若n=7500,估计A出 现的频率在0.74 0.76之间的概率至少有多大；（2 0.74至 之间的概率至少有多大；（ 现的频率在0.74至0.76之间的概率至少有多大；（2）估计 n,使 出现的频率在0.74 0.76之间的概率不小于0.90。 0.74至 之间的概率不小于0.90 n,使A出现的频率在0.74至0.76之间的概率不小于0.90。
n
则ε > 0，有：
1 n 证明：由于E X = E ∑ X k = 1 n = , n k =1 n
1 n lim P X < ε = lim P ∑ X k < ε = 1. n →∞ n →∞ n k =1 n 1 P P 即， ∑ X k → 或写为 X . → n k =1
3 ∴ a = E ( X ) = ∫ x 3x dx = 0 5
2 1 2 2
11
§2 中心极限定理
背景：
有许多随机变量，它们是由大量的 相互独立的随机变量的综合影响所形成 的，而其中每个个别的因素作用都很小， 这种随机变量往往服从或近似服从正态 分布，或者说它的极限分布是正态分布， 中心极限定理正是从数学上论证了这一 现象，它在长达两个世纪的时期内曾是 概率论研究的中心课题。
解：设在n重贝努里试验中，事件A出现的次数为X， 则X B ( n, 0.75 ) ,E ( X ) = np = 0.75n, D ( X ) = npq = 0.1875n, 又A事件的频率为：f n ( A) = X n (1) n = 7500, P 0.74 < X < 0.76 = P { X 0.75n < 0.01n} n ≥ 1 0.1875n = 0.75 2 ( 0.01n ) (2)P 0.74 < X < 0.76 = P { X 0.75n < 0.01n} n ≥ 1 0.1875n = 1 1875 ≥ 0.90 n ≥ 18750 2 n 5 ( 0.01n )
12
定理四
( 独立同分布的中心极限定理 )
2
设随机变量X1 , X 2 ,L , X n ,L 相互独立同分布， E ( X i ) = , D ( X i ) = σ , i = 1, 2,L 则前n个变量的和的标准化变量为：Yn =
思考题（n足够大）：
∑X
i =1
n
i
n
nσ
1 n X = ∑ X i的近似 n i =1 分布是什么？
{
}
{
}
随机变量序列依概率收敛的定义
定义：设随机变量序列Y1 , Y2 ,LYn ,L , 若存在某常数a， 使得ε > 0, 均有： P { Yn a < ε } = 1, lim 则称随机变量序列{Yn } 依概率收敛于常数a， P→ 记为：Y a。 n
n →+∞
a ε
a
a +ε
依概率收敛性质：
1 第i次试验时A发生 证明：令X i = 0 第i次试验时A未发生
则 X 1 , X 2 ,L , X n ,L 相互独立同分布, X i ~ b(1, p ).
由于nA = X 1 + X 2 + L + X n ,
2 b t nA np ≤ b = ∫ 1 e 2 dt 由前定理, lim P a < n →+∞ a 2π np (1 p)
σ2 P( X < 3σ ) ≥ 1 = 0.8889 2 (3σ )
即由契比雪夫不等式知道，对于任意分布的X 落入区间 （ 3σ ， + 3σ）的概率均大于0.8889。
检验：当X ~ N ( , σ 2 ) 时, 则 P( X < 3σ ) = P ( 3σ < X < + 3σ ) = 2Φ (3) 1 = 0.9974
f ( x)
x ≥
∫ ε f ( x ) dx
∫∞ ( x )
σ2 = 2 ε
+∞ 2
≤
x ≥
∫ε
(x )
ε
2
2
f ( x ) dx
≤ 12
ε
f ( x ) dx
ε
+ε
=
D( X )
ε2
3
不等式的说明
对于任意分布的X ，若记 则由契比雪夫不等式： E ( X ) = , D( X ) = σ 2 ,