(完整版)大数定律和中心极限定理

第五章 大数定律和中心极限定理

一、内容提要

（一）切贝谢夫不等式 1. 切贝谢夫不等式的内容

设随机变量X 具有有限的数学期望E （X ）和方差D （X ），则对任何正数ε，下列不等式成立。

(){}()

(){}()

.

1,

2

2

εεεεX D X E X P X D X E X P -

≤-≤

≥-

2. 切贝谢夫不等式的意义

（1）只要知道随机变量X 的数学期望和方差（不须知道分布律），利用切贝谢夫不等式，就能够对事件(){}

ε≥-X E X 的概率做出估计，这是它的最大优点，今后在理论推导及实际应用中都常用到切贝谢夫不等式。

（2）不足之处为要计算(){}

ε≥-X E X P 的值时，切贝谢夫不等式就无能为力，只有知道分布密度或分布函数才能解决。另外，利用本不等式估值时精确性也不够。

（3）当X 的方差D (X )越小时，(){}

ε≥-X E X P 的值也越小，表明X 与E (X )有较大“偏差”的可能性也较小，显示出D (X )确是刻画X 与E (X )偏差程度的一个量。 （二）依概率收敛

如果对于任何ε＞0，事件{}

ε a X n -的概率当n →∞时，趋于1，即

{}1lim =-∞

→ε a X P n n ，

则称随机变量序列X 1,X 2,…,X n ,…当n →∞时依概率收敛于α。

（三）大数定律 1. 大数定律的内容

（1）大数定律的一般提法

若X 1,X 2,…,X n ,…是随机变量序列，如果存在一个常数序列α1,…,αn ,…，对任意ε＞0，恒有

11lim 1=⎭

⎬⎫

⎩⎨⎧-∑=∞

→ε n i n i n a X n P ， 则称序列{X n }服从大数定律（或大数法则）。

（2）切贝谢夫大数定律

设随机变量X 1,X 2,…,X n ,…相互独立，分别有数学期望E(X i )和方差D(X i )，且它们的方差有公共上界C ，即

()().,,,2,1, n i C X D i =≤

则对于任意的ε＞0，恒有

()111lim 11=⎭

⎬⎫⎩⎨⎧-∑∑==∞→ε n i n

i i i n X E n X n P 。 （3）辛钦大数定律

设X 1,X 2,…,X n ,…是一列独立同分布的随机变量，且数学期望存在：

() ,2,1,==i a X E i

则对于任意的ε＞0，有

11lim 1=⎭

⎬⎫

⎩⎨⎧-∑=∞

→ε n i i n a X n P 。 （4）贝努里大数定律

设n A 是n 次独立试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意的ε＞0，恒有

1lim =⎭

⎬⎫

⎩⎨⎧-∞

→ε p n n P A n 。 2. 大数定律的意义

（1）大数定律从理论上证明了“频率的稳定性”，对概率论的建立起了奠基作用。

（2）切贝谢夫大数定律说明经验平均值接近于理论平均值；辛钦大数定律说明随机变量的平均值接近于数学期望，这是测量中取平均值的理论依据；贝努里大数定律说明了频率具有稳定性，即频率收敛于概率，这是用频率f n (A )来估计概率p 的理论依据。

（3）把独立随机变量和的平均作为大数定律的研究对象在理论上的应用上都是重要的。 （四）中心极限定理 1. 中心极限定理的内容

（1）独立同分布中心极限定理

设随机变量X 1,X 2,…,X n ,…相互独立，服从同一分布，且具有有限的数学期望和方差：E (X K )=μ,D (X K )=σ2≠0,(K =1,2,…,n ,…)，则随机变量

σ

μ

n n X

Y n

K K

n ∑=-=

1

的分布函数F n (x )，对于任意的x ，满足

()⎪⎪⎭

⎪

⎪⎬⎫

⎪⎪⎩⎪⎪⎨⎧≤-=∑=∞

→x n n X P x F n K K n n σμ1lim lim （2）德莫佛一拉普拉斯中心极限定理

设随机变量() ,2,1=n n η具有参数为n ,p )10(<

()⎰-∞

→=⎪⎭

⎪⎬⎫⎪⎩⎪⎨⎧≤--b a dt t

n n e b p np np a P 22

211lim πη 。

2. 中心极限定理的意义

（1）中心极限定理从理论上证明了“许多类型”的随机变量，它们的极限分布服从正态分布，这既肯定了正态分布在概率论中处于主导地位，又给概率计算提供了强有力有手段。

（2）中心极限定理是把独立随机变量的和作为研究对象。 （3）应用中心极限定理前的准备步骤

（a ）把问题归结为独立随机变量的和∑==

n

K K

X

X 1

。

（b ）把和“中心化”：

().1

1

∑∑==-n

K K n

K K

X E X

（c ）把和再“标准化”：()

()

.1

1

1

∑∑∑===-n

K K

n

K K n

K K X D X E X

对于独立同分布中心极限定理标准化后是

,1

σ

μ

n n X

n

K K

∑=-

对于德莫佛一拉普拉斯中心极限定理标准化后是

()

.1p np np

n --η

（4）由独立同分布中心极限定理知：若X 1,X 2,…,X n ,…独立同分布，则n →∞时，随机变量X= X 1

＋X 2,＋…＋X n =

∑=n

i i X 1

渐近地服从正态分布N (E (X ),D (X ))=N (n μ,n σ2)，或

()()

σ

μn n X X D X E X -=

-渐

近地服从标准正态分布N （0，1）。

由德莫佛一拉普拉斯中心极限定理知，若随机变量X ～B (n ,p )，则当n 充分大时，npq

np X -就近

似服从标准正态分布N （0,1）。记为

()1,0~.N npq

np X d

a - 从而得当n 较大时，二项分布的近似计算公式