问题的引入大数定律
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 2
2
解 因为 X 1 , X 2 ,, X n ,是相互独立的，
所以 X 1 , X 2 ,, X n ,也是相互独立的，
2 由 E ( X k ) 0, 得 E ( X k ) D( X k ) [ E ( X k )] 2 , 2 2
说明离散型随机变量有有限方差, 故满足契比雪夫定理的条件.
E ( X n ) na 2
1 1 1 0 (1 2 ) na 2 2 0, 2n 2 n 2n
2
2017/12/3
说明每一个随机变量都有数学期望, 检验是否具有有限方差？
( na )2 0 ( na )2 1 1 1 P 1 2 2n 2 n 2n 2 1 2 E( X n ) 2( na )2 2 a 2 , 2n Xn
定理三（伯努利大数定理）
伯努利
显然
nA X 1 X 2 X n ,
设 n A 是 n 次独立重复试验中事件 A 发生 的次数 , p 是事件 A 在每次试验中发生的概 率, 则对于任意正数 0, 有 n n lim P A p 1 或 lim P A p 0. n n n n
由契比雪夫不等式可得
1 P Xk 1 2 , n n k 1 在上式中令 n ， 并注意到概率不能大于1, 则 1 n P X k 1. n k 1
n 2
（这个接近是概率意义下的接近） 即在定理条件下, n个随机变量的算术平均, 当n 无限增加时, 几乎变成一个常数.
0 na 1 1 P 1 2 2n 2 n 问是否满足契比雪夫定 理 ? 具有如下分布律： Xn na 1 2n 2
故而当 n 很大时, 事件发生的频率与概率 有较大偏差的可能性很小. 在实际应用中, 当试 验次数很大时, 便可以用事件发生的频率来代 替事件的概率.
解 独立性依题意可知, 检验是否具有数学期望？
n
则随机变量之和的标准化变量 n n n n X k E X k X k k k 1 k 1 k 1 Z n k 1 Bn n D பைடு நூலகம்X k k 1 的分布函数 Fn ( x ) 对于任意 x 满足 n n X k k k 1 k 1 lim Fn ( x ) lim P x n n B n t2 x 1 2 e dt ( x ). 2π
一、问题的引入 二、基本定理 三、典型例题 四、小结
二、基本定理
定理一（独立同分布的中心极限定理）
设随机变量 X 1 , X 2 ,, X n ,相互独立 , 服从 同一分布 , 且具有数学期望 和方差： E ( X k ) , D( X k ) 2 0 ( k 1,2,), 则随机变量之和的
依概率收敛序列的性质:
P P 设 Xn a , Yn b,
关于辛钦定理的说明: (1) 与定理一相比, 不要求方差存在; (2) 下面的伯努利定理也是辛钦定理的特殊情况.
又设函数 g ( x , y ) 在点 ( a , b ) 连续 ,
P 则 g ( X n , Yn ) g ( a , b ).
数 有 1 n lim P {| X | } lim P X k 1. n n n k 1
证明
1 1 n 1 n E X k E ( X k ) n , n n k 1 n k 1
x np 1 2 lim P n x e dt ( x ). n 2π np(1 p ) n 证明 根据第四章第二节例题可知 n X k , k 1 t2
当 n 很大时, 近似地服从正态分布 .
(如实例中射击偏差服从正态分布) 下面介绍的定理三是定理一的特殊情况.
Aleksandr Yakovlevich Khinchin
Born: 19 Jul. 1894 in Kondrovo, Kaluzhskaya guberniya, Russia Died: 18 Nov. 1959 in Moscow, USSR
3
2017/12/3
一、问题的引入 第二节 中心极限定理
1
2017/12/3
定理二表明:
无论各个随机变量 X 1 , X 2 ,, X n ,服从什么 分布, 只要满足定理的条件 , 那么它们的和 X k
k 1 n
定理三(德莫佛－拉普拉斯定理)
德莫佛
拉普拉斯
设随机变量 n ( n 1,2,) 服从参数为 n, p (0 p 1)的二项分布, 则 对于任意 x , 恒有
由辛钦定理知
1 n 2 对于任意正数 , 有 lim P X k 2 1. n n k 1
四、小结
契比雪夫定理的特殊情况 三个大数定理 辛钦定理 伯努利大数定理
契比雪夫资料
Pafnuty Chebyshev
Born: 16 May. 1821 in Okatovo, Russia Died: 8 Dec. 1894 In St Petersburg, Russia
频率的稳定性是概率定义的客观基础, 而伯 努利大数定理以严密的数学形式论证了频率的稳 定性.
伯努利资料
Jacob Bernoulli
Born: 27 Dec. 1654 in Basel, Switzerland Died: 16 Aug. 1705 in Basel, Switzerland
辛钦资料
1 n 1 n 2 1 D X k 2 D( X k ) 2 n 2 , n n n k 1 n k 1
关于定理一的说明:
当 n 很大时 , 随机变量 X 1 , X 2 ,, X n 的算术平 均 1 n X k 接近于数学期望 n k 1 E( X1 ) E( X 2 ) E( X k ) ,
2 ) [ E ( X n )]2 a 2 . D( X n ) E ( X n
例2 设随机变量 X 1 , X 2 ,, X n ,独立同分布,
且 E ( X k ) 0, D( X k ) 2 , k 1,2,, 证明对任 意正数 有 1 n 2 lim P X k 2 1. n n k 1
且具有相同的数学期望 和方差： E ( X k ) , D ( X k ) 2 ( k 1, 2,), 作前 n 个随机变量 的算术平均 X 1 n Xk , n k 1 则对于任意正
二、基本定理
定理一（契比雪夫定理的特殊情况） 表达式的意义 设随机变量 1 , X 2 , , X n , 相互独立 {| X | }X 是一个随机事件 , 等式表 ,
, 且具有相同的数学期望 和方差： E ( X k ) 1, 明, 当n 时这个事件的概率趋于 D( X k即对于任意正数 ) 2 ( k 1, 2, ), n 作前 个随机变量 , 当n充分大时 , 不
1 n 等式 | X | 成立的概率很大 . 的算术平均 X X k , 则对于任意正 n k 1 数 有 1 n lim P {| X | } lim P X k 1. n n n k 1
证明
引入随机变量
0, 若在第 k 次试验中 A 不发生, Xk 1, 若在第 k 次试验中 A 发生, k 1, 2,.
关于伯努利定理的说明:
nA 依概 n 率收敛于事件的概率 p , 它以严格的数学形式 伯努利定理表明事件发 生的频率 表达了频率的稳定性 .
三、典型例题
例1 设随机变量 X 1 , X 2 , , X n , 相互独立 ,
因为 X 1 , X 2 ,, X n ,是相互独立的，
且X k 服从以 p 为参数的 (0 1) 分布, 所以 E ( X k ) p, D( X k ) p(1 p ), k 1, 2,.
根据定理一有
1 lim P ( X 1 X 2 X n ) p 1, n n nA 即 lim P p 1. n n
的分布函数 Fn ( x ) 对于任意 x 满足 n X k n x lim Fn ( x ) lim P k 1 n n n 2 t x 1 2 e dt ( x ). 2π
标准化变量 Yn
其中 X 1 , X 2 , , X n 是相互独立的、服从同 一 ( 0－1) 分布的随机变量 , 分布律为
辛钦资料
设随机变量 X 1 , X 2 ,, X n ,相互独立 , 服从同一分布 , 且具有数学期望 E ( X k ) 1 n 则对于任意正数 , 有 lim P X k 1. n n k 1 ( k 1,2,),
1 n Xk n k 1
1
2017/12/3
定理一的另一种叙述:
设随机变量 X 1 , X 2 ,, X n , 相互独立 , 且具有相同的数学期望 和方差： E ( X k ) , D( X k ) 2 ( k 1, 2,), 则序列 X
P 依概率收敛于 , 即 X .
定理二（辛钦定理）
2017/12/3
第一节
大数定律
一、问题的引入
实例 频率的稳定性
随着试验次数的增加, 事件发生的频率逐渐稳 定于某个常数.
一、问题的引入 二、基本定理 三、典型例题 四、小结
启示:从实践 中人们发现 大量测量值 的算术平均 值有稳定性.
二、基本定理
定理一（契比雪夫定理的特殊情况） 契比雪夫 设随机变量 X 1 , X 2 , , X n , 相互独立 ,
实例: 考察射击命中点与靶心距离的偏差. 这种偏差是大量微小的偶然因素造成的微 小误差的总和, 这些因素包括: 瞄准误差、测量 误差、子弹制造过程方面 (如外形、重量等) 的 误差以及射击时武器的振动、气象因素(如风速、 风向、能见度、温度等) 的作用, 所有这些不同 因素所引起的微小误差是相互独立的, 并且它们 中每一个对总和产生的影响不大. 问题: 某个随机变量是由大量相互独立且均匀 小的随机变量相加而成的, 研究其概率分布情况.
n
李雅普诺夫
设随机变量 X 1 , X 2 , , X n ,相互独立 , 它 D( X k ) k 0 ( k 1,2,),
2
记
2 2 , Bn k k 1
若存在正数 , 使得当 n 时, 1 B
2 k 1 n
E {| X k k |2 } 0,
X k E X k X k n k 1 k 1 k 1 D X k k 1
n
n
n
n
定理一表明:
n
当 n , 随机变量序列 Yn 的分布函数收敛于 标准正态分布的分布函数.
定理二(李雅普诺夫定理)
们具有数学期望 和方差： E( X k ) k ,
2
解 因为 X 1 , X 2 ,, X n ,是相互独立的，
所以 X 1 , X 2 ,, X n ,也是相互独立的，
2 由 E ( X k ) 0, 得 E ( X k ) D( X k ) [ E ( X k )] 2 , 2 2
说明离散型随机变量有有限方差, 故满足契比雪夫定理的条件.
E ( X n ) na 2
1 1 1 0 (1 2 ) na 2 2 0, 2n 2 n 2n
2
2017/12/3
说明每一个随机变量都有数学期望, 检验是否具有有限方差？
( na )2 0 ( na )2 1 1 1 P 1 2 2n 2 n 2n 2 1 2 E( X n ) 2( na )2 2 a 2 , 2n Xn
定理三（伯努利大数定理）
伯努利
显然
nA X 1 X 2 X n ,
设 n A 是 n 次独立重复试验中事件 A 发生 的次数 , p 是事件 A 在每次试验中发生的概 率, 则对于任意正数 0, 有 n n lim P A p 1 或 lim P A p 0. n n n n
由契比雪夫不等式可得
1 P Xk 1 2 , n n k 1 在上式中令 n ， 并注意到概率不能大于1, 则 1 n P X k 1. n k 1
n 2
（这个接近是概率意义下的接近） 即在定理条件下, n个随机变量的算术平均, 当n 无限增加时, 几乎变成一个常数.
0 na 1 1 P 1 2 2n 2 n 问是否满足契比雪夫定 理 ? 具有如下分布律： Xn na 1 2n 2
故而当 n 很大时, 事件发生的频率与概率 有较大偏差的可能性很小. 在实际应用中, 当试 验次数很大时, 便可以用事件发生的频率来代 替事件的概率.
解 独立性依题意可知, 检验是否具有数学期望？
n
则随机变量之和的标准化变量 n n n n X k E X k X k k k 1 k 1 k 1 Z n k 1 Bn n D பைடு நூலகம்X k k 1 的分布函数 Fn ( x ) 对于任意 x 满足 n n X k k k 1 k 1 lim Fn ( x ) lim P x n n B n t2 x 1 2 e dt ( x ). 2π
一、问题的引入 二、基本定理 三、典型例题 四、小结
二、基本定理
定理一（独立同分布的中心极限定理）
设随机变量 X 1 , X 2 ,, X n ,相互独立 , 服从 同一分布 , 且具有数学期望 和方差： E ( X k ) , D( X k ) 2 0 ( k 1,2,), 则随机变量之和的
依概率收敛序列的性质:
P P 设 Xn a , Yn b,
关于辛钦定理的说明: (1) 与定理一相比, 不要求方差存在; (2) 下面的伯努利定理也是辛钦定理的特殊情况.
又设函数 g ( x , y ) 在点 ( a , b ) 连续 ,
P 则 g ( X n , Yn ) g ( a , b ).
数 有 1 n lim P {| X | } lim P X k 1. n n n k 1
证明
1 1 n 1 n E X k E ( X k ) n , n n k 1 n k 1
x np 1 2 lim P n x e dt ( x ). n 2π np(1 p ) n 证明 根据第四章第二节例题可知 n X k , k 1 t2
当 n 很大时, 近似地服从正态分布 .
(如实例中射击偏差服从正态分布) 下面介绍的定理三是定理一的特殊情况.
Aleksandr Yakovlevich Khinchin
Born: 19 Jul. 1894 in Kondrovo, Kaluzhskaya guberniya, Russia Died: 18 Nov. 1959 in Moscow, USSR
3
2017/12/3
一、问题的引入 第二节 中心极限定理
1
2017/12/3
定理二表明:
无论各个随机变量 X 1 , X 2 ,, X n ,服从什么 分布, 只要满足定理的条件 , 那么它们的和 X k
k 1 n
定理三(德莫佛－拉普拉斯定理)
德莫佛
拉普拉斯
设随机变量 n ( n 1,2,) 服从参数为 n, p (0 p 1)的二项分布, 则 对于任意 x , 恒有
由辛钦定理知
1 n 2 对于任意正数 , 有 lim P X k 2 1. n n k 1
四、小结
契比雪夫定理的特殊情况 三个大数定理 辛钦定理 伯努利大数定理
契比雪夫资料
Pafnuty Chebyshev
Born: 16 May. 1821 in Okatovo, Russia Died: 8 Dec. 1894 In St Petersburg, Russia
频率的稳定性是概率定义的客观基础, 而伯 努利大数定理以严密的数学形式论证了频率的稳 定性.
伯努利资料
Jacob Bernoulli
Born: 27 Dec. 1654 in Basel, Switzerland Died: 16 Aug. 1705 in Basel, Switzerland
辛钦资料
1 n 1 n 2 1 D X k 2 D( X k ) 2 n 2 , n n n k 1 n k 1
关于定理一的说明:
当 n 很大时 , 随机变量 X 1 , X 2 ,, X n 的算术平 均 1 n X k 接近于数学期望 n k 1 E( X1 ) E( X 2 ) E( X k ) ,
2 ) [ E ( X n )]2 a 2 . D( X n ) E ( X n
例2 设随机变量 X 1 , X 2 ,, X n ,独立同分布,
且 E ( X k ) 0, D( X k ) 2 , k 1,2,, 证明对任 意正数 有 1 n 2 lim P X k 2 1. n n k 1
且具有相同的数学期望 和方差： E ( X k ) , D ( X k ) 2 ( k 1, 2,), 作前 n 个随机变量 的算术平均 X 1 n Xk , n k 1 则对于任意正
二、基本定理
定理一（契比雪夫定理的特殊情况） 表达式的意义 设随机变量 1 , X 2 , , X n , 相互独立 {| X | }X 是一个随机事件 , 等式表 ,
, 且具有相同的数学期望 和方差： E ( X k ) 1, 明, 当n 时这个事件的概率趋于 D( X k即对于任意正数 ) 2 ( k 1, 2, ), n 作前 个随机变量 , 当n充分大时 , 不
1 n 等式 | X | 成立的概率很大 . 的算术平均 X X k , 则对于任意正 n k 1 数 有 1 n lim P {| X | } lim P X k 1. n n n k 1
证明
引入随机变量
0, 若在第 k 次试验中 A 不发生, Xk 1, 若在第 k 次试验中 A 发生, k 1, 2,.
关于伯努利定理的说明:
nA 依概 n 率收敛于事件的概率 p , 它以严格的数学形式 伯努利定理表明事件发 生的频率 表达了频率的稳定性 .
三、典型例题
例1 设随机变量 X 1 , X 2 , , X n , 相互独立 ,
因为 X 1 , X 2 ,, X n ,是相互独立的，
且X k 服从以 p 为参数的 (0 1) 分布, 所以 E ( X k ) p, D( X k ) p(1 p ), k 1, 2,.
根据定理一有
1 lim P ( X 1 X 2 X n ) p 1, n n nA 即 lim P p 1. n n
的分布函数 Fn ( x ) 对于任意 x 满足 n X k n x lim Fn ( x ) lim P k 1 n n n 2 t x 1 2 e dt ( x ). 2π
标准化变量 Yn
其中 X 1 , X 2 , , X n 是相互独立的、服从同 一 ( 0－1) 分布的随机变量 , 分布律为
辛钦资料
设随机变量 X 1 , X 2 ,, X n ,相互独立 , 服从同一分布 , 且具有数学期望 E ( X k ) 1 n 则对于任意正数 , 有 lim P X k 1. n n k 1 ( k 1,2,),
1 n Xk n k 1
1
2017/12/3
定理一的另一种叙述:
设随机变量 X 1 , X 2 ,, X n , 相互独立 , 且具有相同的数学期望 和方差： E ( X k ) , D( X k ) 2 ( k 1, 2,), 则序列 X
P 依概率收敛于 , 即 X .
定理二（辛钦定理）
2017/12/3
第一节
大数定律
一、问题的引入
实例 频率的稳定性
随着试验次数的增加, 事件发生的频率逐渐稳 定于某个常数.
一、问题的引入 二、基本定理 三、典型例题 四、小结
启示:从实践 中人们发现 大量测量值 的算术平均 值有稳定性.
二、基本定理
定理一（契比雪夫定理的特殊情况） 契比雪夫 设随机变量 X 1 , X 2 , , X n , 相互独立 ,
实例: 考察射击命中点与靶心距离的偏差. 这种偏差是大量微小的偶然因素造成的微 小误差的总和, 这些因素包括: 瞄准误差、测量 误差、子弹制造过程方面 (如外形、重量等) 的 误差以及射击时武器的振动、气象因素(如风速、 风向、能见度、温度等) 的作用, 所有这些不同 因素所引起的微小误差是相互独立的, 并且它们 中每一个对总和产生的影响不大. 问题: 某个随机变量是由大量相互独立且均匀 小的随机变量相加而成的, 研究其概率分布情况.
n
李雅普诺夫
设随机变量 X 1 , X 2 , , X n ,相互独立 , 它 D( X k ) k 0 ( k 1,2,),
2
记
2 2 , Bn k k 1
若存在正数 , 使得当 n 时, 1 B
2 k 1 n
E {| X k k |2 } 0,
X k E X k X k n k 1 k 1 k 1 D X k k 1
n
n
n
n
定理一表明:
n
当 n , 随机变量序列 Yn 的分布函数收敛于 标准正态分布的分布函数.
定理二(李雅普诺夫定理)
们具有数学期望 和方差： E( X k ) k ,