5.1大数定律

第一节
大数定律
一、大数定律的客观背景 二、几个常见的大数定律 三、大数定律的应用 四、小结
一、大数定律的客观背景
“概率”的概念是如何产生的
设n次独立重复试验中事件 A发生的
次数为 nA，则当 n 时，有
nA Xn p n 随机变量
n重伯努利试验
频率 怎样理解“越来越接近”？ 概率 P( A)
2
令n , 且概率不能大于 1，有 1 n lim P{| Yn | } lim P{| X k | } 1 n n n k 1
ቤተ መጻሕፍቲ ባይዱ
定义 设Y1 ,Y2 ,…,Yn ,…是一个随机变量序列， a 是一
个常数。若对于任意正数 ，有 lim P{| Yn a | } 1
例： 设计算机屏幕上有一矩形区域G(不妨设G的面
积为1),现用鼠标在G的内部任画一封闭曲线L, 求L 围成 的内部图形D的面积
G
L D
用计算机产生一串相互独 立、均服从G 上均匀分布的随机变 量(随机点)
( X 1 , Y1 ), ( X 2 , Y2 ), , ( X n , Yn ) 记事件 A {产生的随机点落入D 中} nA ( X 1 , Y1 ), ( X 2 , Y2 ), , ( X n , Yn ) 落入 D 中个数
n
0.5069 0.5181 0.5016 0.5005 0.4923
二、几个常见的大数定理
随机变量 X 1 , X 2 ,, X n ,相互独立， 是指对任意
n 1, X 1 , X 2 ,, X n 都相互独立.
定理1 切比雪夫(Chebyshev)定理的特殊情况
设随机变量 X 1 , X 2 ,…, X n 相互独立,且具有相同的数学 期望和方差， E ( X k ) , D( X k ) 2 ,( k 1,2,) ,做前 n个
( A) Pa b
(C ) P a a
( B) Pa E b
√
( D) P E b a
辛钦（ХИНЧИН 1894 1959 ）苏联数 学家和数学教育家，现代概率论的奠基者之 一. 辛钦 1894 年 7 月 19 日生于莫斯科康德罗 沃， 1959 年 11 月 18 日逝世于莫斯科 .1916 年 毕业于莫斯科大学，先後在莫斯科大学和苏 联科学院斯捷克洛夫数学研究所等处工 作.1927年成为教授.1935年获得物理数学博 士学位.1939年被选为苏联科学院通讯院士. 辛钦在分析学、数论、概率论及对统计 学力学的应用等方面有重要贡献.
1 n Xk 序列 Yn n k 1
依概率收敛于 ，即
1 n P Yn X k n k 1
定理2(伯努利大数定理)
设 nA 是 n次独立重复试验中事件 A 发生的次数, p 是事件 A在每次试验中发生的概率,则对于任意 0 , 有 或
nA lim P{| p | } 1 n n nA lim P{| p | } 0 n n
说明 （1）定理表明 当重复试验次数 n 充分大时，
事件 A 发生的频率 nA / n 收敛于事件 A 发生的概率
p. 定理以严格的数学形式表 达了频率的稳定性.在
便可以用事件发生 实际应用中， 当试验次数很大时，
的频率来近似代替事件的概率.
（ 2）
如果事件 A 的概率很小， 则由伯努利大数定理知事 件 A 发生的频率也是很小的， 或者说事件 A 很少发 这一原理称为小概率原理. 它的实际应用很广泛， 但 在 应注意到， 小概率事件与不可能事件是有区别的， 多次试验中，小概率事件也可能发生.
Xn p 怎样定义极限 lim n “频率稳定性”的严格数学描述是什么
“抛硬币”试验 ,记
A { 正面朝上} nA A次试验中 A 发生的次数 nA 则 A 发生的频率为 X n n 1,2, n
蒲丰（1707-1788） 法国数学家、自然哲学家
n nA 实验者 4048 2048 蒲 丰 2048 1061 德 · 摩根 12000 6019 皮尔逊 24000 12012 皮尔逊 39699 罗曼诺夫斯基 80640 频率稳定性：X n 0.5n
证明 因为 nA ~ b(n, p), 所以
nA X 1 X 2 X n ,
其中 X 1 , X 2 ,, X n 相互独立， 且都服从以 p 为参数 的 0 1 分布， 因而
E ( X i ) p, D( X i ) p(1 p), i 1,2,, n n nA 由定理2即证得 (*) 1 式. 注意到 X i , n i 1 n
第五章 大数定律及中心 极限定理
概述
概率论与数理统计是研究随机现象统计规律性 的学科. 随机现象的规律性只有在相同的条件下进 行大量重复试验时才会呈现出来. 也就是说，要从 随机现象中去寻求必然的法则，应该研究大量随机 现象.研究大量的随机现象，常常采用极限形式，由 此导致对极限定理进行研究. 极限定理的内容很广 泛，其中最重要的有两种: 大数定律与中心极限定理
G
L
由伯努利大数定律有 D nA P D 的面积 | D | P ( A ) n G 的面积
nA 故当 n充分大时, D的面积 | D | n .
在概率论发展初期,由于概率的数学定义尚未明 确,所以缺乏理解概率收敛的理论基础,故把频率“趋 于”概率视为经大量试验而得到的结果,就象物理学 中的定律一样. 在概率论的公理化体系建立以后，大数定律可在 为什么叫”大数定律” 理论上进行严格的证明而成为意义明确的定理，故现 而不叫“大数定理” 在教材上称为“大数定理”.
nA P 1 抛硬币试验的频率稳定性 X n n 2
1
1 2
nA n
1 /2 1 2
O
n
k
由此得到定理1的另一种叙述：
定理1 设随机变量 X 1 , X 2 ,…, X n 相互独立 , 且具
有 相 同 的 数 学 期 望 和 方 差 ，
E ( X k ) , D( X k ) 2 , ( k 1,2,) , 则随机变量
生， 即“概率很小的事件在个别试验中几乎不会发生”
定理3(辛钦定理)
人物介绍 辛钦
设随机变量 X 1 , X 2 ,…, X n 相互独立，服从同一分 布， 且具有相同的数学期望 E ( X k ) ( k 1,2,) , 则对于任意 0 ,有
1 n lim P{| X k | } 1 n n k 1
切 比 雪 夫 ， П ． Л ． ( Чебb Iшев ， ПaфHутий Лbвович) 1821年5月16日生于 俄国卡卢加; 1894年12月8日逝世于彼得堡.
切比雪夫出身于贵族家庭，他母亲也出 身名门，切比雪夫的左脚生来有残疾，切比 雪夫终身未娶，日常生活十分简朴，他的一 点积蓄全部用来买书和制造机器。 1894 年 11 月底，他的腿疾突然加重，随后思维也出现 了障碍，同年12月 8日上午 9时逝世于自己的 书桌前。
n
a 则称Y1 ,Y2 ,…,Yn ,…依概率收敛于 a ，记为Yn
P
.
说明
n
lim P{| X n X | } 0
P
n
lim P{| X n X | } 1
X n X的直观含义：随着 n的 增 大 ，
绝对误差 X n X 较大的可能性越来越小 。
1 n 随机变量的算术平均Yn X k ,则对于任意正数 ，有 n k 1 lim P{| Yn | }
n
1 n lim P{| X k | } 1 n n k 1
说明
（1）此定理也称为切比雪夫大数定理；
（2） 在所给的条件下，当n充分大时， n个随机变量的算术平均值与它们的数学期望 有较小的偏差的可能性比较大。可以考虑用算 术平均值作为所研究指标值的近似值。
1837 年，年方 16 岁的切比雪夫进入莫斯 科大学，成为哲学系下属的物理数学专业的 学生。大学毕业之后，切比雪夫一面在莫斯 科大学当助教，一面攻读硕士学位。 1853 年， 切比雪夫被选为彼得堡科学院候补院士，同 时兼任应用数学部主席. 1856年成为副院士。 1859年成为院士. 切比雪夫是彼得堡数学学派的奠基人和 当之无愧的领袖. 他在概率论、解析数论和函 数逼近论领域的开创性工作从根本上改变了 法国、德国等传统数学大国的数学家们对俄 国数学的看法，使得俄国步入世界数学强国 之列.
说明 伯努利大数定理是辛钦定理的特殊情况。 n个随机变量的算术平均值以概率收敛于算术平 均值的数学期望。
给出了“频率稳定性”的严格数学解释. 提供了通过试验来确定事件概率的方法. 是数理统计中参数估计的重要理论依据之一.
是Monte Carlo 方法的主要数学理论基础.
三、大数定律的应用
Monte Carlo方法或称为计算机随机模拟方法、 计算机仿真方法是科学与工程中的一种重要工具. Monte Carlo 方法的原理主要基于大数定律.
四
小结
1、切比雪夫(Chebyshev)定理的特殊情况 用算术平均值作为所研究指标值的近似值。
2. 伯努利定理 事件发生的频率依概率收敛于事件的概率 3. 辛钦定理 n个随机变量的算术平均值以概率收敛于 算术平均值的数学期望。
课 堂 练 习
已知随机变量 的期望 E 与期望 D , 分布未知， 则对于任何实数 a, ba b都可以估计出概率（ ）
切比雪夫不等式
n n 1 1 1 证明： E[ n X ] E ( X ) k n n k 1 k n k 1 n 2 1 1 2 1 n D ( X k ) 2 n 2 D[ X k ] n n n k 1 n