概率论与数理统计 第五章

Xn ⎯ ⎯→ X 2. 依概率收敛与依分布收敛的关系
依概率收敛 ⇒ 依分布收敛
L
3. 定义：中心极限定理 设随机变量 X ~ N(0,1)，{Xi }，i = 1, 2, … 相互独 立，且数学期望和方差都存在, 若标准化随机变量序列
∑
n
i =1
Xi −
∑ E(X
i =1
n
i
)
∑
n
i =1
D(X i)
所以结论成立。 由此有，若X ~ B( n, p )，对于足够大的n，有 ⎧ m1 − np X − np m2 − np ⎫ ⎪ ⎪ < ≤ P{m1 < X ≤ m2 }= P ⎨ ⎬ np(1 − p) np(1 − p) ⎪ ⎪ np(1 − p) ⎩ ⎭
⎧ Yn − np ⎫ ⎪ ⎪ ≤ x ⎬ = Φ( x ) lim P ⎨ n →∞ ⎪ np(1 − p ) ⎪ ⎩ ⎭
证明：对于任意正整数n，随机变量Yn 可表示为 证明：对于任意正整数n Yn = X1＋ X2＋…＋ Xn X1, X2,…, Xn 相互独立，Xi ~ B( 1, p )，且有 E( Xi ) = p , D( Xi ) = p(1-p) 所以随机变量序列{ Xi }, i =1,2,…满足独立同分布 中心极限定理条件。即有
切比雪夫不等式的应用 1）估计随机变量落在某个区间内的概率 (P125例5.5.2) 2）估计ε的值, 使 P(│X - E(X)│<ε) ≥ a (0<a<1) 3）证明大数定律。
二. 大数定律 定义： 依概率收敛 设{Xn}是一个随机变量序列，X 是一个随机变量 或常数，若对于任意的ε＞ 0，有 lim P{| X n − X |≥ ε } = 0
2. 切比雪夫(Chebyshev)不等式 设随机变量 X 的数学期望 E(X ) 和方差D(X )都 存在, 则对于任意的 ε > 0, 有 D( X ) P {| X − E ( X ) | ≥ ε } ≤ , 2 ε D( X ) 或者 P{| X − E ( X ) | < ε } ≥ 1 − ε2 例题 方差性质
1 1 E[ ∑ X i ] = ∑ E ( X i ) n i =1 n i =1
nC C 1 n 1 n D[ ∑ X i ] = D( X i ) ≤ = 2 ∑ 2 n i =1 n n i =1 n
n n
夫 不 等 式
由 切 比 雪
切比雪夫大数定律更一般的结论--------马尔可夫大数定律 设{Xk}，k=1,2…是一随机变量序列，其数学期望 E (Xk)<∞， D (∑Xk)<∞且 n 1 lim 2 D[∑ X i ] = 0 n → +∞ n i =1 则 {Xk} 服从大数定律。 证明：由切比雪夫不等式有
第 五 章 大数定律和中心极限定理
§5.1 大数定律
一. 概率不等式 1. 马尔可科夫(Markov)不等式
应用背景
设随机变量 Y 的 k 阶绝对原点矩 E{ |Y |k } < +∞, 则对于任意的 ε> 0, 有 证 明 E {| Y | k } P {| Y |≥ ε } ≤ , k = 1,2, L εk 特别地, 当 k = 2, 令 Y = X－E(X ), E{|Y|2}=D(X ) 存在，有
0
2 独立同分布大数定律 设{Xk} 是相互独立且同分布的随机变量序列，且 E( Xk ) =µ , D( Xk ) = σ2, k = 1,2,… 则 {Xk} 服从大数定律，即对任意的ε >0,有 n
1 lim P { | n→ ∞ n
∑
k =1
X k − μ |律为切比雪夫大数定律的一个推论。 2 它为我们在实际应用中用大量重复测量值的算 术平均值作为精确值的估计值, 提供了理论依据。 3 此定律有更一般的结论。 辛钦大数定律 设{Xk} 是相互独立且同分布的随机变量序列，若 Xk有有限的数学期望 a ,则 {Xk} 服从大数定律。
近似成立。
二. 中心极限定理
1 独立同分布中心极限定理 设{ Xi }，i=1,2…是一个相互独立、具有同分布的 随机变量序列，且E( Xi ) = μ， D( Xi ) = σ2。 则随机变量序列{ Xi }满足中心极限定理，即有
⎧ n ⎫ ⎪ ∑ X i − nμ ⎪ ⎪ i =1 ⎪ ≤ x ⎬ = Φ( x ) lim P ⎨ n →∞ nσ ⎪ ⎪ ⎪ ⎪ ⎩ ⎭
仅证明连续型随机变量的情形，对于离散型随机 变量类似可得。 设随机变量 Y 的概率密度函数为 f Y ( y )，于是有
P { | Y |≥ ε } =
Y { y:| y|≥ }
∫ εf
( y )dy
≤
≤
εk { y :| y |≥ ε }
∫
| y|
+∞
k
fY ( y )dy
fY ( y )dy
∫− ∞ | y | εk
方 差 的 性 质
方差性质： D ( X ) = 0 ⇔ P { X = E ( X )} = 1 .
证明： P { X = E ( X )} = 1 ⇒ D ( X ) = 0 , 显然成立。 只需证明 D( X ) = 0 ⇒ P { X = E ( X )} = 1.
{ X ≠ E ( X )} = {| X − E ( X ) |≠ 0} ∞ 1 = U{ X − E( X ) ≥ } n n= 1 ∞ 1 P{ X ≠ E ( X )} ≤ ∑ P{ X − E ( X ) ≥ } n n= 1
依分布收敛于 X ，则称随机变量序列{ Xi }，i = 1,2,… 服从中心极限定理。
注:1 它解释了现实中哪些随机变量可看作服从正态分布， 2 它给出了概率的近似计算公式。
其理由如下： 若随机变量序列{ Xi }，i = 1,2,…满足中心极限定 理，有
n ⎧ n ⎫ ⎪∑ Xi − ∑ E(Xi) ⎪ ⎪ i =1 lim P ⎪ i = 1 ≤ x⎬ = ⎨ n→ ∞ n ⎪ ⎪ D( X i ) ∑1 ⎪ ⎪ i= ⎩ ⎭
1 1 p ⎯→ ∑ X i − n ∑ E( X i ) ⎯ 0 n i =1 i =1
n n
2) 服从大数定律即是{Xk} 的前n 项算术平均将 紧密地聚集在其数学期望的附近。
三、常见大数定律 1 切比雪夫大数定律 设{Xk} 是相互独立的随机变量序列，其数学期望 和方差都存在，且存在一个常数C，使得 D( Xk ) < C, k = 1,2,… ←{Xk}方差一致有界 则随机变量序列{Xk} 服从大数定律。 简要说明：
1 D[ f n ( A )] = 2 n
1 1 1 D( X i ) = × × = 1 ∑ n 2 2 4n i =1
n
由切比雪夫不等式可得
1 n 1 P{| f n ( A) − P ( A) |< 0.01} = P {| ∑ X i − |< 0.01} n i =1 2 D[ f n ( A)] 1 ≥ 1− = 1− ≥ 0.99 2 2 0.01 0.01 × 4 n 1 从而有 4 n ≥ ⇒ n ≥ 250 ,000(次 ) 3 0.01
⎧1 n ⎫ 1 n 0 ≤ P ⎨ ∑ X i − ∑ E( X i ) ≥ ε ⎬ n i =1 ⎩ n i =1 ⎭ n ⎞ ⎛ n 1 ⎧ n ⎫ = P ⎨ ∑ X i − ∑ E ( X i ) ≥ nε ⎬ ≤ 2 2 D ⎜ ∑ X i ⎟ ⎟ ⎜ nε ⎝ i =1 ⎠ i =1 ⎩ i =1 ⎭
≤
n = 1(1 / n)
∑
∞
D( X )
2
=0
抛硬币试验 记：Xi 表示在第 i 次抛掷时出现正面的次数。
1 n fn = ∑ X i n i =1
表示n次抛掷时出现正面的频率。
1 1 ⎧ ⎫ D( f n ) P ⎨ | fn − | ≥ ε ⎬ ≤ = 2 2 ε 4 nε 2 ⎩ ⎭
1 ⎧ ⎫ ∀ ε > 0， lim P ⎨ | f n − | ≥ ε ⎬ = 0 2 n → +∞ ⎩ ⎭ 1 p fn 依概率收敛于1/2 . ⎯→ 即 fn ⎯ 2 但fn 不依数列收敛于1/2 . 事实上, 对于任意的 n ， fn 都可能等于1（或0）。
或者 lim P {| X n − X |< ε } = 1
n→ ∞ n→ ∞
则称随机变量序列{Xn}依概率收敛于X，记为
Xn ⎯ ⎯→ X
P
或者 lim X n = X , ( P )
n →∞
注：随机变量序列依概率收敛的意义不同于微积 分中数列收敛的意义。
依概率收敛与数列收敛的不同:
1）随机变量列{Xn}是概率空间上的一个函数序列。 2）随机变量序列{Xn}依概率收敛于X 是指 " ε> 0 当 n充分大时，事件 { | Xn- X | ≥ ε }发生 的概率很小，即P{| Xn- X | ≥ ε}依数列收敛于0, 但 并不能说明事件{ | Xn- X | ≥ ε}不发生。 抛硬币试验
重复试验次数估计 组装产品试验
独立同分布中心极限定理的应用 n 1）求随机变量之和 S n = 2）已知 S n =
∑
n
∑
i=1
X i 取值的概率，反求n。
i=1
X i 取值的概率。
2 棣莫佛-拉普拉斯中心极限定理 设随机变量序列{ Yn }，Yn ~ B( n, p ) ，n =1,2… 。 则对于任意的实数 x ，有
n ⎧ n ⎫ ⎪ ∑ X k − ∑ E( X k ) ⎪ ⎧ Yn − np ⎫ ⎪ k =1 ⎪ ⎪ ⎪ k =1 ≤ x⎬ =lim P ⎨ lim P⎨ ≤ x⎬ n n→∞ n→∞ ⎪ np(1− p) ⎪ ⎪ ⎪ ⎩ ⎭ D( X k ) ∑ ⎪ ⎪ k =1 ⎩ ⎭
= Φ( x )
应
用
背
景
在实际应用中，常遇到如下问题 1 现实中为什么大量随机变量服从正态分布？ 依据什么来断定一个随机变量服从正态分布？ 2 “频率的稳定性”到底是什么意思？在实际 应用中有什么作用？ 3 计算机上如何模拟现实研究对象的？根据 什么来认定这种模拟是正确的？ 等等，诸如此类的问题。
马尔科夫不等式的证明
⎧1, 第i次出现正面; Xi = ⎨ 否则, ⎩0,
n i =1
i = 1,2,L n
所以出现正面的总次数 为 ∑ X i , 从而有
1 f n ( A) = ∑ X i n i =1
n
重 复 试 验 次 数 估 计
1 n 而且 E [ f n ( A)] = ∑ E ( X i ) = 1 ; 2 n i =1
3 贝努里(Bernulli)大数定律
m 设 是 n次重复独立试验中事件 A 发生的频率 , n
p是事件 A 在每次试验中发生的概 率, 则对于 ∀ ε > 0, 有 m lim P{| − p |< ε } = 1 n→ ∞ n
注: 1 此定律为切比雪夫大数定律的一个推论。 2 此定律以严格的数学形式描述了频率的稳定性。 3 由此定律，我们可得小概率事件原理：概率很 小的事件，在一次试验中几乎是不可能发生的，从而 在实际中可看成不可能事件。
∫
x −∞
1 e 2π
t2 − 2
dt
即 ∑ X i的标准化随机变量序列的极限分布为
i =1
n
标准正态分布 .
所以 n 当足够大时，可以认为
∑
n
i =1
Xi −
n
∑ E(X
i =1 i
n
i
)
~ N ( 0 ,1 )
∑ D( X
i =1
)
近似成立，从而
∑
n
i =1
n ⎛ n ⎞ X i ~ N ⎜ ∑ E ( X i ), ∑ D ( X i ) ⎟ i =1 ⎝ i =1 ⎠
E {| Y | }
k
1
k
=
εk
重 复 试 验 次 数 估 计
将一枚均匀硬币连续抛 n 次，试用切比雪夫不等式 求出 n ，使下式成立。
P{| f n ( A) − P ( A) |< 0.01} ≥ 0.99 其中 A ={ 出现正面 }, fn(A)是事件A发生的频率 解：P( A )=1/2，令
§5.2 中心极限定理
一. 基本定义
1. 定义： 依分布收敛 设随机变量X，X1，X2，…的分布函数分别为 F( x ),F1( x ), F2( x ), …,若 lim Fn ( x ) = F ( x )
n→∞
在F( x )的每一个连续点上都成立，则称随机变量序列 {Xk}, k = 1,2,…依分布收敛于X 。并记为
定义： 大数定律 设{Xn} 是一个随机变量序列，其数学期望都存 在，若对于任意的ε ＞ 0，有 1 n 1 n lim P {| ∑ X i − ∑ E ( X i ) |< ε } = 1 n i =1 n i =1 n→ ∞ 则称随机变量序列{Xn}服从大数定律。 注： 1) {Xk}服从大数定律即是指