8-第五章大数定律和中心极限定理解析

第五章 大数定律和中心极限定理

大数定律和中心极限定理是概率论中两类极限定理的统称，前者是从理论上证明随机现象的“频率稳定性”，并进一步推广到“算术平均值法则”；而后者证明了独立随机变量标准化和的极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机现象的重要统计规律，在理论和应用上都有很重要的意义。

§5.1 大数定律

设 ,,,,21n X X X 是互相独立的一列随机变量，每个随机变量取值于二元集合{0，1}，并有相同的概率分布函数

()()0,

1,1j j P X q P X p p q ====+=

易计算它们的数学期望和方差为 (),

()j j E X p D X pq ==

如果取这些j X 的部分和 n n X X X S +++= 21

并考虑它们的平均值∑==n j j n n X

n S 1/)(/，易知它的数学期望和方差为

;n n S S pq E p D n n n ⎛⎫⎛⎫== ⎪ ⎪⎝⎭

⎝⎭ 利用定理4.2.13给出的切比雪夫不等式可知：对任何一个正数t 有

2n S pq P p t n t n

⎛⎫-≥≤ ⎪⎝⎭ 令∞→n ，有

2lim lim 0n n n S pq P p t n t n

→∞→∞⎛⎫-≥≤= ⎪⎝⎭ 即

lim 0n n S P p t n →∞⎛⎫-≥= ⎪⎝⎭

(5.1.1) 可见当n 很大时，部分和的平均值/n S n 与p 相距超过任何一个数0>t 的概率都很小，而当∞→n 时, 这个概率趋于0。

(5.1.1)式的结果称为弱大数定律，也称伯努利大数定律, 因为这个定律是伯努利在1713年首先证明的，是从理论上证明随机现象的频率具有稳定性的第一个定律。注意式(5.1.1)等价于

lim 1n n S P p t n →∞⎛⎫-≤= ⎪⎝⎭

(5.1.2) 把它完整地叙述如以下定理：

定理5.1.1（伯努利大数定律） 设 ,,,,21n X X X 是互相独立的取值于二元集合{0，1}的一列随机变量，并有相同的概率分布函数

()()0,1,1j j P X q P X p p q ====+=

又设 n n X X X S +++= 21

则 lim 0n n S P p t n →∞⎛⎫-≥= ⎪⎝⎭

或等价地

lim 1n n S P p t n →∞⎛⎫-≤= ⎪⎝⎭

。 伯努利大数定律说明了概率论中一个重要的事实，设p 是伯努利试验中事件A 出现的概率，则n S 是n 重伯努利试验中事件A 发生的次数，n S n /是事件A 出现的相对频率，当n 很大时事件A 出现的相对频率与事件A 出现的概率p 的偏差超过任何一个正数t 的可能性很小。

“概率很小的随机事件在个别事件中是几乎不可能发生的”这一原理称为小概率事件的实际几乎不可能原理，有广泛的应用，至于“小概率”小到什么程度才能看作实际上几乎不可能发生，则要视具体情况而定。例如，自动车床加工零件出现次品的概率为0.01，若零件的重要性不大且价格很低，则完全允许有1%的次品率，可以忽视100个零件中出现一个次品的可能性。但对于飞机或更昂贵的航天器来说，出现次品的概率应当几乎为零，1%的次品率是绝对不允许的。

伯努利大数定律提供了通过试验来确定事件的概率的方法。既然相对频率n S n /与事件出现的概率p 有较大偏差的可能性很小，因此在实践中可以通过做试验确定某事件出现的相对频率作为该事件出现的概率的近似估计，这种方法称为参数估计，它是数理统计中的重要方法，它的一个重要理论基础就是大数定律。

伯努利大数定律可以推广为以下形式的弱大数定律。

定理5.1.2（弱大数定律） 设 ,,,,21n X X X 是互相独立的一列随机变量，并有相同的概率分布函数，它们公共的数学期望和方差为

2(),

()j j E X a D X σ==<∞

设n n X X X S +++= 21，则

则 lim 0n n S P a t n →∞⎛⎫-≥= ⎪⎝⎭

(5.1.3) 或等价地 l i m 1n n S P a t n →∞

⎛⎫-≤= ⎪⎝⎭。

(5.1.4) 对任何0>t 成立。

该定理的证明可以利用定理4.2.13给出的切比雪夫不等式类似伯努利大数定律证之，把它留给读者。

本定律使算术平均值的法则有了理论依据，比如要测量某个物理量a ，在客观条件不变的情况下重复测量n 次，得到n 个测量值n X X X ,,,21 ，显然可以把它们看作n 个独立同分布的随机变量，有数学期望a ，由大数定律知，当n 充分大时，n 次测量的平均值可作为a 的近似估计，即

,21n

X X X a n +++≈ 由此所产生的误差很小。

弱大数定律可以进一步推广为以下形式的切比雪夫大数定律。

定理5.1.3（切比雪夫弱大数定律） 设 ,,,,21n X X X 是互相独立的一列随机变量，每一个随机变量都有数学期望()j E X 和有限方差(),1,2,

j D X j <∞=，并且它们有公共

的上界()j D X c ≤，设n n X X X S +++= 21，则对任何0>t 有 11lim ()0n n j n j S P E X t n n →∞=⎡⎤-≥=⎢⎥⎢⎥⎣⎦

∑ (5.1.5) 或等价地

11lim ()1n n j n j S P E X t n n →∞=⎡⎤-≤=⎢⎥⎢⎥⎣⎦

∑ (5.1.6) 证 因 ,,,,21n X X X 互相独立，所以

22111()n n n i S c D D X nc n n n n

=⎛⎫=<

= ⎪⎝⎭∑ 又因为1

1()n

n n i S E E X n n =⎛⎫= ⎪⎝⎭∑，由切比雪夫不等式可得 2211(),n n n n i S D S c n P E X t n n t nt =⎛⎫ ⎪⎡⎤⎝

⎭-≥≤≤⎢⎥⎣⎦

∑