概率论与数理统计 五大数定理

[注]： X n P → a 注： 推论(辛钦大数定律) 推论(辛钦大数定律)
X n − a P → 0
设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n 服从同一分布 并且有数学 服从同一分布, 期望 µ 及方差 σ 2， X 1 , X 2 ,⋅ ⋅ ⋅, X n 的算术平均值当 n → ∞ 则 时，按概率收敛于µ， 即对于任何正数 ε，恒有 按概率收敛于 ，
第五章 大数定理与中心极限定理
“大数定律”: 用来阐明大量随机现象平均结果稳定性的定理 大数定律” 用来阐明大量随机现象平均结果稳定性的定理. 大数定律
一、切比雪夫不等式
切比雪夫不等式: 切比雪夫不等式: 设随机变量 X 有数学期望 EX 及方差 DX， ， 下列不等式成立： 则对于任何正数 则对于任何正数 ε，下列不等式成立：
2 i
n
则：E(Yn ) =
2 µi , D(Yn ) = ∑σi2 = sn . ∑
n i =1
n
i =1
i =1
∴ Z n = Yn
1 = sn
∗
n Y n − EY n 1 n = = ∑ X i − ∑ µ i sn i =1 DY n i =1
∑ (X
i =1
n
i
− µ i ), 则有：E ( Z n ) = 0 , D ( Z n ) = 1 . 则有：
概率论中有关论证随机变量的和的极限分布是正态分布的定 概率论中有关论证随机变量的和的极限分布是正态分布的定 随机变量的和的极限分布是正态分布 是独立随机变量， 设 X 1 , X 2 ,⋅ ⋅ ⋅ , X n ,⋅ ⋅ ⋅ 是独立随机变量，并各有
EX i = µ i , DXi = σ , i = 1,2,⋅ ⋅ ⋅, n,⋅ ⋅ ⋅. 设 n = ∑Xi , Y
∴ Bn = U Ai 而 P ( Ai ) = p
i =1
n
n n ∴ P ( Bn ) = P U Ai = 1 − P U Ai = 1 − P A1 A2 L An i =1 i =1
= 1 − P A1 P A2 L P An = 1 − (1 − p) n
由此， 分散程度是很小的， 由此， n 充分大时，随机变量 X n分散程度紧密地聚集在它的数学期望 EX n 的附近 也就是说， 的附近.
4
切比雪夫定理： 切比雪夫定理：设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n,,⋅ ⋅ ⋅ 分别有数学 期望 EX 1 , EX 2 ,⋅ ⋅ ⋅, EX n ,⋅ ⋅ ⋅ 及方差 DX 1 , DX 2 ,⋅ ⋅ ⋅, DX n ,⋅ ⋅ ⋅, 并 且方差是一致有上界的，即存在某一常数 ，使得 且方差是一致有上界的 即存在某一常数K， 一致有上界
8
从某工厂的产品中任取200件，检查结果发现其中有 件次 例3 从某工厂的产品中任取 件 检查结果发现其中有6件次 品能否相信该工厂的次品率不大于0.01。 。 品能否相信该工厂的次品率不大于 解 若次品率不大于 若次品率不大于0.01， ， 则任取200件，发现 件次品的概率 则任取 件 发现6件次品的概率
i =1 i
n
1 nk k > 1− 2 ⋅ 2 = 1− 2 nε ε n
令 n → ∞ , 并注意到概率不能大于 ，得证 并注意到概率不能大于1，得证.
6
定义： 定义： 若对于任何正数 ε，lim P( Xn − a < ε ) = 1, 则称随机变量
n→∞
P X n当 n → ∞ 时按概率收敛于数 a ，记作 Xn →a
P( X − EX ≥ ε ) ≤
DX
ε
2
或 P X − EX < ε ≥ 1 −
(
)
DX
ε2
证 就 X是连续型随机变量的情况证明： 是连续型随机变量的情况证明： 是连续型随机变量的情况证明 设X 的概率密度为 f ( x ), 则 P X − EX ≥ ε =
(
) ∫
ε2
f ( x)dx
[X − EX]2 ≥ 1, 2 Q X − EX ≥ ε , ∴[ X − EX] ≥ ε 2 , ∴
(
)
( )( ) ( )
显然， 显然，当n → ∞时，P ( Bn ) → 1. [注] 小概率事件尽管在个别试验中不可能发生，但在大量试验 注 小概率事件尽管在个别试验中不可能发生， 中几乎必然发生。 中几乎必然发生。
10
第二节
理叫做中心极限定理 中心极限定理。 理叫做中心极限定理。
中心极限定理
5
证
1 对于随机变量 X n = n
∑X
i =1
n
i
, 由切比雪夫不等式
p
(
X n − E X n < ε ≥ 1−
)
DX n
ε
2
所以
1 n 1 n p n ∑ X i − n ∑ E( X i ) < ε i =1 i =1
1 1 ≥ 1− 2 ⋅ 2 ε n
∑ D( X )
1 nσ 2 L 300 E ( X i ) = 0，D ( X i ) = ，i = 1，， ， . 12 1 由列维定理知, 由列维定理知 所求的概率 = 300× × 12 300 300 P ∑ X i < 10 = P ∑ X i − 300 × 0 < 10 =5 i =1 i =1
它们和的极限分布是正态分布， 则当 n → ∞ 时，它们和的极限分布是正态分布，即
n ∑Xi − nµ i=1 = 1 lim P <z n→∞ nσ 2π
考虑随机变量: 考虑随机变量 Y n =
n
∫e
−∞
z
t2 − 2
为任意实数.) dt, (z 为任意实数.)
(
)
(
)
(3σ )2
DX
1 = ≈ 0.1111 9
2
的概率, 进行了10000次重复独立试验 次重复独立试验. 例2 为了确定事件 A 的概率 进行了 次重复独立试验 利用切比雪夫不等式估计：用事件 利用切比雪夫不等式估计：用事件A 在10000次试验中发生 次试验中发生 的概率近似值时, 误差小于0.01的概率 的概率. 的频率作为事件 A 的概率近似值时 误差小于 的概率 解 设事件 在每次试验中发生的概率为 p，在这 设事件A ，在这10000次试验 次试验 中发生了X 中发生了 次, 则 EX = np = 10000p, DX = 10000p(1− p), 因此， 因此，所求事件的概率为
DX i < K ,
则对于任何正数 ε，恒有
i = 1, 2 ,⋅ ⋅ ⋅, n ,⋅ ⋅ ⋅,
1 n 1 n lim P ∑Xi − ∑EXi < ε = 1 n→∞ n n i=1 i=1
lim P Xn − EXn < ε = 1
n→∞
(
)
按概率收敛于 这就是说， 这就是说， 当 n → ∞ 时， X n 按概率收敛于EX n , 按概率收敛于零 于零。 或说 X n − EX n按概率收敛于零。
n n N ∑ µ i， σ ∑1 i= i=1 2 i
∑X
i =1
n
i
近似地服从正态分布
.
12
列维定理 设独立随机变量 X 1 , X 2 ,⋅ ⋅ ⋅, X n ,⋅ ⋅ ⋅ 服从同分布,并且有数 独立随机变量 服从同分布 并且有数 同分布
2 学期望和方差： 学期望和方差： E ( X i ) = µ , D( X i ) = σ > 0, i = 1,2,⋅ ⋅ ⋅, n,⋅ ⋅ ⋅.
1 n lim P ∑Xi − µ < ε = 1 n→∞ n i=1
7
伯努利定理： 伯努利定理： 在独立试验序列中，当试验次数无限增加时，事件 在独立试验序列中，当试验次数无限增加时，事件A 的频 率按概率收敛于事件A 的概率. 率按概率收敛于事件 的概率 即：设事件 A 的概率 P(A) = p，m 表示 A 在 n 次独立试验中 ， m 发生的次数， 发生的次数，事件 A 的频率为 Wn ( A) = , 则对于任何正数ε ， n m 恒有 lim P − p < ε = 1. n→∞ n 小概率事件的实际不可能性原理： 小概率事件的实际不可能性原理： 概率很小的事件在个别试验中是不可能发生的。 概率很小的事件在个别试验中是不可能发生的。 个别试验中是不可能发生的
6 应不大于 P200 (6) = C 200 ⋅ 0.016 ⋅ 0.99194
利用泊松定理， 利用泊松定理， 取λ=200×0.01=2 ×
26 − 2 ∴ P200 ( 6) ≈ e = 0.012 6!
据小概率事件的实际不可能性原理， 此概率很小， 据小概率事件的实际不可能性原理， 此概率很小， ∴不能相信该工厂的次品率不大于0.01。 不能相信该工厂的次品率不大于 。
1
x−EX ≥ε
≤
1
ε
ε
2
x−EX ≥
∫ [εx − EX]
2
2
f ( x)dx
放大被积函数其值也大
放大积分区 间其值也大
≤
1
2 −∞
∫ [x − EX]
+∞
f ( x)dx =
DX
ε2
[注]：当X 的分布未知时，利用 注： 的分布未知时，利用E(X)、D(X)可以得到关于概率 、 可以得到关于概率 的粗略估计。 P X − EX ≥ k D(X) 的粗略估计。 例1 利用切比雪夫不等式估计随机变量与其数学期望的差大于 三倍标准差的概率. 三倍标准差的概率 解 P X − EX ≥ 3 ≤ σ