第四章大数定律和中心极限定理

第四章 大数定律和中心极限定理

教学内容：本章主要讲述契比雪夫不等式，契比雪夫大数定律，贝努里大数定律和中心极限定理等内容．

教学重点：讲清大数定律的条件、结论和中心极限定理的条件、结论。 教学难点：随机变量序列的两种收敛性及大数定律和中心极限定理的应用。

在本课程一开始引入概率这个概念时，我们曾经指出，频率是概率的反映，随着观察次数n 的增大，频率将会逐渐稳定到概率。还曾经指出，当n 很大时，频率会概率是会非常“靠近”的，某些读者可能早就有了疑问：这里说的“逐渐稳定”和非常“靠近”究竟是什么意思？与数学分析中的极限概念有关系吗？这个问题提得非常好，前面提到的“逐渐稳定”和非常“靠近”都只是一种直观的说法，它的严格的数学家意义确实需要我们进一步阐明，本章就是要讨论这一类问题。

第一节 切比雪夫不等式

一、 契比雪夫不等式（Chebyshev inequality ）

设随机变量X 的均值()E X 及方差()D X 存在，则对于任意正数ε，有不等式

22

}|)X (E X {|P εσ≤ε≥-

或22

1}|)X (E X {|P ε

σ-≥ε<- 成立。

我们称该不等式为契比雪夫（Chebyshev ）不等式。

证明：（我们仅对连续性的随机变量进行证明）设()f x 为X 的密度函数，记μ=)X (E ，

2)(σ=X D

则

⎰⎰≥-≥

--≤=

≥-ε

μ

εμεμεx x dx

x f x dx x f X E X P )()()(}|)({|2

2

2

22

22

)

(1

)()(1

εσεμεX D dx x f x =

⨯≤

-≤

⎰

∞

+∞

-

从定理中看出，如果()D X 越小，那么随机变量X 取值于开区间((),())E X E X εε-+中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心(distribution center)()E X 的集中程度的数量指标。

利用契比雪夫不等式，我们可以在随机变量X 的分布未知的情况下估算事件

{}()X E X ε-<的概率。

【例1】设随机变量X 的数学期望()10E X =，方差()0.04D X =，估计{}9.211

P X <<的大小。 解：

{}{}{}9375.0)8.0(04

.018.0101108.011

2.92

=-≥<-≥<-<-=<

因而 {}9.211P X <<不会小于0.9375.

第二节 大数定理

概率论中用来阐明大量随机现象平均结果的稳定性的一系列定理称为大数定理。 定义4.1 依概率收敛

设{Xn}为随机变量序列，a 为随机变量，若任给ε>0, 使得

1}|a

X {|P lim n n =ε<-∞

→

则称{Xn}依概率收敛于a. 可记为

−→−P

n X a

意思是:当∞→n 时，Xn 落在)a ,a (ε+ε-内的概率越来越大。 定理4.1（切比雪夫大数定律） 设相互独立的随机变量12,,,,n X X X 分别具有均值1(),E X 2(),E X ,(),

n E X 及方差12(),(),

,(),

n D X D X D X ，并且方差有共同的上界，即 D (Xi ) ≤K ，i =1,2, …，

则对于任意正整数ε，有

1)(11lim 11=⎭⎬⎫⎩⎨⎧<-∑∑==∞→εn

k k n k k n X E n X n P

即∑∑==−→−n 1

i i P

n 1i i EX n 1X n 1 证明：∑∑==ε<-n 1i n

1

i i i }|)X n 1(E X n 1{|P

∑∑==ε<-=n 1i n

1

i i i }|)X (E n 1X n 1{|P

2n

1i i )X n 1(D 1ε-≥∑= 22n

1

i i n )X (D 1ε-=∑=

)n (1n nM 12

2∞→→ε-≥

1}|)X n 1(E X n 1{|P n 1i n

1i i i ≤ε<-∑∑== 又

所以∑∑==∞→=ε<-n 1i n

1

i i i n 1}|)X (E n 1X n 1{|P lim

切比雪夫大数定律表明，n 个相互独立的随机变量，在定理的条件下，它们的算术均值

∑=n 1i i X n 1随n 的增大，将几乎必然地密集在该平均值的数学期望∑=n

1

i i EX n 1的附近。 推论：设{Xk,k=1,2,...}为独立的随机变量序列，且有相同的数学期望μ，及方差σ2

>0，则

μ−→−=∑=P

n 1

k k n X n 1Y

即若任给ε>0, 使得

1}|Y {|P lim n n =ε<μ-∞

→

证明:由切比雪夫不等式

.)

Y (D 1}|)Y (E Y {|P 2

n n n ε-

≥ε<- 这里μ==∑=n

1

k k n )X (E n 1)Y (E

n )X (D n

1

)Y (D 2

n

1

k k 2

n σ==∑= 故.n 1}|Y {|P 22

n ε

σ-≥ε<μ-

1}|Y {|P lim n n =ε<μ-∞

→

定理4.2 伯努里大数定律

设进行n 次独立重复试验，每次试验中事件A 发生的概率为p ，记fn 为n 次试验中事件A 发生的频率，则

∞→→n p

f p

n

证明:设

不发生次试验第发生

次试验第A A i i 01X i ⎩

⎨

⎧= 则)p 1(p )X (D ,p )X (E i i -==

由切比雪夫大数定理