两点分布和中心极限定理(总)

两点分布和中心极限定理

1 两点分布

伯努利分布(the Bernoulli distribution)，又名两点分布或者0-1分布，是一个离散型概率分布，为纪念瑞士科学家雅各布·伯努利而命名。若伯努利试验成功，则伯努利随机变量取值为1。若伯努利试验失败，则伯努利随机变量取值为0。记成功的概率为p ，失败的概率为1q p =-。

pdf 为：()()

1if 111if 00otherwise

x

x p

x f x p p p x -=⎧⎪=-=-=⎨⎪⎩

CDF 为：()000111

for x F X q

for x for x <⎧⎪

=≤<⎨⎪≥⎩

期望为：()()1

00i i i E X x f x p p ===+=∑

方差为：()()()()1

2

i i D X x E X f x pq ==-=∑

峰度为：2661

p p pq -+

信息熵为：ln ln q q p p --

2 中心极限定理

中心极限定理：设从均值为μ、方差为2σ（有限）的任意一个总体中抽取样本量为n 的样本，当n 充分大时，样本均值的抽样分布近似服从均值为μ、方差为2/n σ的正态分布。

2.1 德莫佛-拉普拉斯(De Movire -Laplace)定理

二项分布（两点分布）的中心极限定理，为中心极限定理的特殊形式之一。

2.1.1 定理

设n μ为n 重伯努利试验中事件A 出现的次数，已知每次试验事件A 出现的概率为p ，01p <<，则对任意x ，有

()2/2

lim d x

t n P x x e

t --∞

→∞⎛⎫⎪<=Φ=⎪⎭

⎰

2.1.2 证明

随机变量n μ可表示为n 个独立的服从()1,B p 分布的随机变量

()1,2,

,i X i n =和和，即1

n

n i i X μ==∑，而()i E X p =，()()1i D X p p =-，

1,2,

,i n =，由独立同分布的中心极限定理有：

2/2lim lim d n i x t n n X np x x t -→∞→∞⎛⎫

- ⎪⎛⎫⎪⎪<=<=⎪⎪⎭⎪

⎭

∑⎰

由此定理可知，正态分布是二项分布（两点分布）的极限分布，因此，当n 很大时，有如下所示的近似计算二项分布的常用方法：

()()

()()2

1

2/2121d m n m

m m m t n n m C p p P t P m m e βα

μβα-=-=

-⎛⎫=<<≈=≤≤Φ-Φ∑ 其中()x Φ为()0,1N 的分布函数，且

αβ=

=

2.2 中心极限定理的证明

设{}i ξ是独立随机变量序列，i ξ服从相同分布，且()i E ξμ=，()20i D ξσ=>，则当n →∞时，有：

()

lim

n

i

n

n

P x x

ξμ

→∞

⎛⎫

-

⎪

⎪

≤=Φ

⎪

⎪

⎝⎭

∑

证明：

记

i i

ζξμ

=-

，

n

i

n

n

ξμ

η

-

=

∑

i

ζ独立同分布且()0

i

Eζ=，()2

i

Dζσ

=，

设

i

ζ的特征函数为()tφ，从而nη的特征函数为：

(

)

n

n

t

η

φφ

⎡⎤

=⎢⎥

⎣⎦

把()t

φ展开得到幂级数：

()()

2

22

1

2

t t O t

σ

φ=-+

()2

2

2

1

1

2

n

n

t

t t O

n n

η

φ

σ

⎡⎤

⎛⎫

=-+

⎢⎥

⎪

⎝⎭

⎣⎦

因此

()2/2

lim

n

t

n

t e

η

φ-

→∞

=

由于2/2

t

e-是连续函数，它对应的分布函数为()x

Φ，故由逆极限定理，有

()

lim

n

i

n

n

P x x

ξμ

→∞

⎛⎫

-

⎪

⎪

≤=Φ

⎪

⎪

⎝⎭

∑

证毕。

2.3 中心极限定理

——百度百科

中心极限定理（central limit theorem ）是概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量积累分布函数逐点收敛到正态分布的积累分布函数的条件。

它是概率论中最重要的一类定理，有广泛的实际应用背景。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。最早的中心极限定理是讨论n 重伯努利试验中，事件A 出现的次数渐近于正态分布的问题。1716年前后，A.棣莫弗对n 重伯努利试验中每次试验事件A 出现的概率为1/2的情况进行了讨论，随后，P.-S.拉普拉斯和A.M.李亚普诺夫等进行了推广和改进。自P.莱维在1919～1925年系统地建立了特征函数理论起，中心极限定理的研究得到了很快的发展，先后产生了普遍极限定理和局部极限定理等。极限定理是概率论的重要内容，也是数理统计学的基石之一，其理论成果也比较完美。长期以来，对于极限定理的研究所形成的概率论分析方法，影响着概率论的发展。同时新的极限理论问题也在实际中不断产生。

2.3.1 简介

中心极限定理是研究独立随机变量和的极限分布为正态分布的问题。

2.3.2 规范和的定义

设随机变量序列12,,

,n X X X 相互独立，均具有相同的数学期望与方差，且

()i i E X U =，()2i i D X R =，1,2,

,i n =。令：

12n n Y X X X =++

+

1,2,,n

Y E Y X U Z i n --=

=

=

则称随机变量n Z 为随机变量序列12,,,n X X X 的规范和。

中心极限定理：设从均值为μ、方差为2σ（有限）的任意一个总体中抽取