南昌大学概率论大数定律及中心极限定理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a n P{ n
X
k 1
n
k
n
n
b n } n
b n a n ( ) ( ) n n
22
例1用机器把口服液装瓶. 由于机器会有误差, 所以每瓶的 口服液净重为随机变量, 期望值为 100g , 标准差为 10g . 一箱 内装 200 瓶, 求一箱口服液净重大于 20500g 的概率. 解 设一箱口服液净重为 X 克, 箱中第 i 瓶净重为 X i ( i = 1,…, 200 ) 显然诸 X i 独立且同分布， 且 EX i = 100, DX i = 10 2 (i = 1, …, 200). 记 X X i , 则所求概率为 P( X > 20500 ),
nA 1 又 X i nA X i n i 1 n i 1
n n
由契比雪夫大数定律得出结论
11
关于贝努利定理的说明:
贝努利定理表明事件发 生的频率
A
n 率收敛于事件的概率 p, 它以严格的数学形式 表达了频率的稳定性 .
故而当n很大时, 事件发生的频率与概率有 较大偏差的可能性很小. 在实际应用中, 当试验 次数很大时, 便可以用事件发生的频率来代替 事件的概率.
1059
k 941
C
k 6000
1 6
k
5 பைடு நூலகம் 6
6000k
0.959036
用Poisson 分布近似计算 取 = 1000
1 X P 0.01 P940 X 1060 6000 6
1000 e k! k 941
20
定理1(独立同分布的中心极限定理)
设{Xni}是独立同分布的随机变量序列, 且EXi=, DXi=2 0, i =1, 2, … 则 >0 , X i 的标准化随机变量 nn n 1 i 1 n n X E X X i 反映了中心 i i n i 1 n i 1 i 1 X 2 极限定理的 n D Xi / n n 的分布函数 F (x)满足
中心极限定理的客观背景 在实际问题中，常常需要考虑许多随机因素所 产生总影响. 例如, 炮弹射击的落点与目标的 偏差, 就受着许多随机因素的影响. 如瞄准时的误差， 空气阻力所产生的误差， 炮弹或炮身结构所引起的误差等等. 对我们来说重要的是这些随机因素的总影响.
17
自从高斯指出测量误差服从正态分布之后, 人们发现 正态分布在自然界中极为常见. 观察表明, 如果一个量是 由大量相互独立的随机因素的影响所造成, 而每一个别因 素在总影响中所起的作用不大. 则这种量一般都服从或近 似服从正态分布. 我们就来研究独立随机变量之和所特有的规律性问 题: 在一般情况下, 我们很难求出 X1 + X2 + … + Xn 分布的 确切形式, 但当 n 很大时, 可以求出这个和的近似分布.
5.1 大数定律
概率论与数理统计是研究随机现象统计规律性的学科. 只有在相同的条件下进行大量重复试验时, 随机现象的规律性 才会呈现出来. 也就是说,要从随机现象中 寻求必然的法则, 应该研究大量随机现象. 研究大量的随机现象, 极限工具无疑 是最有效的方法. 这导致了对极限定理的 研究. 极限定理包含的内容很广泛, 其中最重要的有两类:
2
f ( x)dx
由切比雪夫不等式可看出：DX 越小,则事件{|X-E(X)|< } 的概率越大, 即随机变量X 集中在期望附近的可能性越大. 由此可体会方差的概率意义：它刻划了随机变量取值的离散程度
2
契比雪夫不等式给出了在随机变 量X的分布未知情况下,事件{|X|<} 或{|X|≥}的概率的一种估计方法 例1 已知E(X)=100, D(X)=30,试估计X 落在(70,130)内的概率 解: P{70<X<130} =P{|X100|<30}
Bernoulli大数定律提供了通过试验来确定事件概率方 法的理论依据, 即用频率估计概率是合理的.
依概
12
例3 设随机变量Xk (k=1,2,...)相互独立, 具有同一分布: E(Xk)=0, D(Xk)=2, 且 E(Xk4) (k=1,2,...)存在,试证明: >0,
2 1 2 limP{| X k | } 1 n n k 1 n
f ( x ) dx | P ( | X E X | ) | X EX | X EX| DX 2 f ( x) 1 ( x ) EX dx 2 | X EX | 2 .
在未知分布的情形下 估计 P(|X-EX|< )
( x EX ) 2
概率接近于1.
1 n 即当n充分大时， X i 差不多不再是 n i 1 随机的了，取值接近于其数学期望的概率接 近于1.
8
2. 设随机变量序列 1 , 2 , , n , 相互独立， 它们满足切贝谢夫大数定律, 则 i 的分布可以是________.
（A）
i
i
服从[ i, i ]上的均匀分布. 的泊松分布.
i 1 9
1 9 P(| i 1 | ) 1 2 9 i 1
P(| i 9 | ) 1
i 1
9
2
P(| i 9 | ) 1 9 2
i 1
9
6
定理1(Chebyschev切比雪夫大数定律 )
设 Xn 是相互独立的随机变量序列, 它们的方差都存在, 且有公共上界, 即存在常数 C , 使得 DX i ≤ C , i =1, 2, …, 则 Xn 服从大数定律. 即对任意的 > 0, 有 n n 1 1 lim ( | X i E ( X i ) | ) 1 . n P n i 1 n i 1 n 证 由 Chebyschev不等式, n 证明切比雪夫大数定律主要的数学工具是 1 n DX i n D( n X i ) 1 1 C 切比雪夫不等式 i 1 i 1 Xi E ( 1 Y X 1 P (| n Y i )| ) 1 1 n i 1 n 2 2 2 i 1 n 2 n 1 , 任意事件的概率 1 由极限夹逼准则知结论成立. 特别地, 改方差的限定条件为: 设Xn 独立且有相同的期望 和方差 2 , n 1 当n 充分大时几乎 则 > 0, 有 lim P ( | X i | ) 1 . n n
由契比雪夫不等式,得: 0.967 P{| X 100| 30} 1 30 2 30
例2 设有一大批种子，其中良种占1/6. 试 估计在任选的 6000 粒种子中, 良种所占比 例与1/6 比较上下小于1%的概率. 解 设 X 表示 6000 粒种子中的良种数 , X ~ B (6000,1/6 )
[证]: 令Yk=Xk2 (k=1,2,...) 由已知, Yk (k=1,2,...)相互独立 E(Yk)=E(Xk2) =D(Xk)+E2(Xk) =2
D(Yk)=E(Yk2) E2(Yk) =E(Xk4)4
由契比雪夫大数定律: >0,有
2 1 limP{| Yk | } 1 n n k 1
1 n lim P{| X i | } 1 n n i 1
这一讲我们介绍了大数定律 大数定律以严格的数学形式表达了随 机现象最根本的性质之一： 平均结果的稳定性 它是随机现象统计规律的具体表现. 大数定律在理论和实际中都有广泛的应用.
16
§5.2 中 心 极 限 定 理
1 i
i 服从参数为 i
服从参数为
的泊松分布.
i
服从正态分布 N 0, i
9
贝努里大数定律 设n次独立重复试验中事件A发生 nA次, 在每次试验中事件A发生的概率 为p,则 >0,有:
nA lim P{| p | } 1 n n
10
1, 第i次A发生 ∵令 X i 0, 第i次A不发生 E(Xi)=p, D(Xi)=p(1p)
大数定律 与 中心极限定理
我们先介绍
1
一、切比雪夫不等式 设随机变量X 有期望 和方差，则 > 0, DX P ( | X E X | ) DX , ( | ) P X E X | 1 或 2 2 . 证 (仅就连续的情形给出证明) 设X 的密度函数为 f ( x), ( xEX ) 2 则 > 0, 1 2
5000 E ( X ) 1000, D( X ) 6 1 X P 0.01 6000 6 5000
83 6 P(| X 1000 | 60) 1 2 0.7685 108 60
4
实际精确计算
1 X P940 X 1060 P 0.01 6000 6
i 1
不再是随机的了
在独立和同期望、方差的条件下, n 个随机变量的算术 平均值当 n →∞时, 依概率收敛于它的期望 . 7
切比雪夫大数定律表明，独立随机变 量序列{Xn}，如果方差有共同的上界，则 切比雪夫大数定律给出了
n 1 1 平均值稳定性的科学描述 与其数学期望 E ( X i )偏差很小的 Xi n i 1 n i 1 n
辛钦大数定律为寻找随机变量的期望值, 提供了 一条实际可行的途径: 若视 X i 为重复试验中对随机变量 X 的 第 i 次观察, 则当 n → 时, 对X 的 n 次观察结果的算术平均值 X 以概率收敛于 X 的期望值 EX = . 这为在不知分布的情形下, 取多次重复观测的算术平均值 X 作为 EX 的较为精确的估计提供 15 了理论保证.
1059
k
1000
0.937934
5
E i 1 ， D i 1(i 1,2,,9) 1. 设 1 , 2 ,, 9相互独立，
，则根据切贝谢夫不等式, 对于任意给定的 0 ，有______________.
P(| i 1 | ) 1 2
当 n 无限增大时, 这个和的极限分布是什么呢? 在什么条件下极限分布会是正态的呢？
18
由于无穷个随机变量之和可能趋于∞， 故我们不研究n个随机变量之和本身而考虑 n n 它的标准化的随机变量
Zn
X
k 1
k
E ( X k )
k 1 n
Var ( X k )
k 1
的分布函数的极限.
2 1 2 limP{| X k | } 1 n n k 1 n
n
下面给出的独立同分布下的大数定律，不要 求随机变量的方差存在. 定理3（辛钦大数定律） 设随机变量序列X1,X2, …独立同分布，具有有 限的数学期E(Xi)=μ, i=1,2,…，则对任给ε >0 ，
客观背景
可近似认为:
正是大量随机变量服从正态分布的理论解释
X ～N(0, 1);
X i ～ N(n, n 2); i 1
n
1 n 2 X i ～N( , /n). n i 1
21
例如, P{a<X<b} a n X n b n P{ } n n n
n
i 1 n
1 t 2 2 e d t ( x) x ) n n 2 n 个独立同分布的随机变量, 不论原来服从什么分布, 当 n 充分 大时, 其和的标准化 X 总可近似地认为是服从标准正态分布.
lim Fn ( x ) lim P ( n
x
X i n 1 i
可以证明，满足一定的条件，上述极 限分布是标准正态分布. 这就是下面要介 绍的
中心极限定理
19
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
我们只讨论几种简单情形.
下面给出的独立同分布随机变量序列 的中心极限定理，也称列维一林德伯格 （Levy－Lindberg）定理.
X
k 1
n
k
n
n
b n } n
b n a n ( ) ( ) n n
22
例1用机器把口服液装瓶. 由于机器会有误差, 所以每瓶的 口服液净重为随机变量, 期望值为 100g , 标准差为 10g . 一箱 内装 200 瓶, 求一箱口服液净重大于 20500g 的概率. 解 设一箱口服液净重为 X 克, 箱中第 i 瓶净重为 X i ( i = 1,…, 200 ) 显然诸 X i 独立且同分布， 且 EX i = 100, DX i = 10 2 (i = 1, …, 200). 记 X X i , 则所求概率为 P( X > 20500 ),
nA 1 又 X i nA X i n i 1 n i 1
n n
由契比雪夫大数定律得出结论
11
关于贝努利定理的说明:
贝努利定理表明事件发 生的频率
A
n 率收敛于事件的概率 p, 它以严格的数学形式 表达了频率的稳定性 .
故而当n很大时, 事件发生的频率与概率有 较大偏差的可能性很小. 在实际应用中, 当试验 次数很大时, 便可以用事件发生的频率来代替 事件的概率.
1059
k 941
C
k 6000
1 6
k
5 பைடு நூலகம் 6
6000k
0.959036
用Poisson 分布近似计算 取 = 1000
1 X P 0.01 P940 X 1060 6000 6
1000 e k! k 941
20
定理1(独立同分布的中心极限定理)
设{Xni}是独立同分布的随机变量序列, 且EXi=, DXi=2 0, i =1, 2, … 则 >0 , X i 的标准化随机变量 nn n 1 i 1 n n X E X X i 反映了中心 i i n i 1 n i 1 i 1 X 2 极限定理的 n D Xi / n n 的分布函数 F (x)满足
中心极限定理的客观背景 在实际问题中，常常需要考虑许多随机因素所 产生总影响. 例如, 炮弹射击的落点与目标的 偏差, 就受着许多随机因素的影响. 如瞄准时的误差， 空气阻力所产生的误差， 炮弹或炮身结构所引起的误差等等. 对我们来说重要的是这些随机因素的总影响.
17
自从高斯指出测量误差服从正态分布之后, 人们发现 正态分布在自然界中极为常见. 观察表明, 如果一个量是 由大量相互独立的随机因素的影响所造成, 而每一个别因 素在总影响中所起的作用不大. 则这种量一般都服从或近 似服从正态分布. 我们就来研究独立随机变量之和所特有的规律性问 题: 在一般情况下, 我们很难求出 X1 + X2 + … + Xn 分布的 确切形式, 但当 n 很大时, 可以求出这个和的近似分布.
5.1 大数定律
概率论与数理统计是研究随机现象统计规律性的学科. 只有在相同的条件下进行大量重复试验时, 随机现象的规律性 才会呈现出来. 也就是说,要从随机现象中 寻求必然的法则, 应该研究大量随机现象. 研究大量的随机现象, 极限工具无疑 是最有效的方法. 这导致了对极限定理的 研究. 极限定理包含的内容很广泛, 其中最重要的有两类:
2
f ( x)dx
由切比雪夫不等式可看出：DX 越小,则事件{|X-E(X)|< } 的概率越大, 即随机变量X 集中在期望附近的可能性越大. 由此可体会方差的概率意义：它刻划了随机变量取值的离散程度
2
契比雪夫不等式给出了在随机变 量X的分布未知情况下,事件{|X|<} 或{|X|≥}的概率的一种估计方法 例1 已知E(X)=100, D(X)=30,试估计X 落在(70,130)内的概率 解: P{70<X<130} =P{|X100|<30}
Bernoulli大数定律提供了通过试验来确定事件概率方 法的理论依据, 即用频率估计概率是合理的.
依概
12
例3 设随机变量Xk (k=1,2,...)相互独立, 具有同一分布: E(Xk)=0, D(Xk)=2, 且 E(Xk4) (k=1,2,...)存在,试证明: >0,
2 1 2 limP{| X k | } 1 n n k 1 n
f ( x ) dx | P ( | X E X | ) | X EX | X EX| DX 2 f ( x) 1 ( x ) EX dx 2 | X EX | 2 .
在未知分布的情形下 估计 P(|X-EX|< )
( x EX ) 2
概率接近于1.
1 n 即当n充分大时， X i 差不多不再是 n i 1 随机的了，取值接近于其数学期望的概率接 近于1.
8
2. 设随机变量序列 1 , 2 , , n , 相互独立， 它们满足切贝谢夫大数定律, 则 i 的分布可以是________.
（A）
i
i
服从[ i, i ]上的均匀分布. 的泊松分布.
i 1 9
1 9 P(| i 1 | ) 1 2 9 i 1
P(| i 9 | ) 1
i 1
9
2
P(| i 9 | ) 1 9 2
i 1
9
6
定理1(Chebyschev切比雪夫大数定律 )
设 Xn 是相互独立的随机变量序列, 它们的方差都存在, 且有公共上界, 即存在常数 C , 使得 DX i ≤ C , i =1, 2, …, 则 Xn 服从大数定律. 即对任意的 > 0, 有 n n 1 1 lim ( | X i E ( X i ) | ) 1 . n P n i 1 n i 1 n 证 由 Chebyschev不等式, n 证明切比雪夫大数定律主要的数学工具是 1 n DX i n D( n X i ) 1 1 C 切比雪夫不等式 i 1 i 1 Xi E ( 1 Y X 1 P (| n Y i )| ) 1 1 n i 1 n 2 2 2 i 1 n 2 n 1 , 任意事件的概率 1 由极限夹逼准则知结论成立. 特别地, 改方差的限定条件为: 设Xn 独立且有相同的期望 和方差 2 , n 1 当n 充分大时几乎 则 > 0, 有 lim P ( | X i | ) 1 . n n
由契比雪夫不等式,得: 0.967 P{| X 100| 30} 1 30 2 30
例2 设有一大批种子，其中良种占1/6. 试 估计在任选的 6000 粒种子中, 良种所占比 例与1/6 比较上下小于1%的概率. 解 设 X 表示 6000 粒种子中的良种数 , X ~ B (6000,1/6 )
[证]: 令Yk=Xk2 (k=1,2,...) 由已知, Yk (k=1,2,...)相互独立 E(Yk)=E(Xk2) =D(Xk)+E2(Xk) =2
D(Yk)=E(Yk2) E2(Yk) =E(Xk4)4
由契比雪夫大数定律: >0,有
2 1 limP{| Yk | } 1 n n k 1
1 n lim P{| X i | } 1 n n i 1
这一讲我们介绍了大数定律 大数定律以严格的数学形式表达了随 机现象最根本的性质之一： 平均结果的稳定性 它是随机现象统计规律的具体表现. 大数定律在理论和实际中都有广泛的应用.
16
§5.2 中 心 极 限 定 理
1 i
i 服从参数为 i
服从参数为
的泊松分布.
i
服从正态分布 N 0, i
9
贝努里大数定律 设n次独立重复试验中事件A发生 nA次, 在每次试验中事件A发生的概率 为p,则 >0,有:
nA lim P{| p | } 1 n n
10
1, 第i次A发生 ∵令 X i 0, 第i次A不发生 E(Xi)=p, D(Xi)=p(1p)
大数定律 与 中心极限定理
我们先介绍
1
一、切比雪夫不等式 设随机变量X 有期望 和方差，则 > 0, DX P ( | X E X | ) DX , ( | ) P X E X | 1 或 2 2 . 证 (仅就连续的情形给出证明) 设X 的密度函数为 f ( x), ( xEX ) 2 则 > 0, 1 2
5000 E ( X ) 1000, D( X ) 6 1 X P 0.01 6000 6 5000
83 6 P(| X 1000 | 60) 1 2 0.7685 108 60
4
实际精确计算
1 X P940 X 1060 P 0.01 6000 6
i 1
不再是随机的了
在独立和同期望、方差的条件下, n 个随机变量的算术 平均值当 n →∞时, 依概率收敛于它的期望 . 7
切比雪夫大数定律表明，独立随机变 量序列{Xn}，如果方差有共同的上界，则 切比雪夫大数定律给出了
n 1 1 平均值稳定性的科学描述 与其数学期望 E ( X i )偏差很小的 Xi n i 1 n i 1 n
辛钦大数定律为寻找随机变量的期望值, 提供了 一条实际可行的途径: 若视 X i 为重复试验中对随机变量 X 的 第 i 次观察, 则当 n → 时, 对X 的 n 次观察结果的算术平均值 X 以概率收敛于 X 的期望值 EX = . 这为在不知分布的情形下, 取多次重复观测的算术平均值 X 作为 EX 的较为精确的估计提供 15 了理论保证.
1059
k
1000
0.937934
5
E i 1 ， D i 1(i 1,2,,9) 1. 设 1 , 2 ,, 9相互独立，
，则根据切贝谢夫不等式, 对于任意给定的 0 ，有______________.
P(| i 1 | ) 1 2
当 n 无限增大时, 这个和的极限分布是什么呢? 在什么条件下极限分布会是正态的呢？
18
由于无穷个随机变量之和可能趋于∞， 故我们不研究n个随机变量之和本身而考虑 n n 它的标准化的随机变量
Zn
X
k 1
k
E ( X k )
k 1 n
Var ( X k )
k 1
的分布函数的极限.
2 1 2 limP{| X k | } 1 n n k 1 n
n
下面给出的独立同分布下的大数定律，不要 求随机变量的方差存在. 定理3（辛钦大数定律） 设随机变量序列X1,X2, …独立同分布，具有有 限的数学期E(Xi)=μ, i=1,2,…，则对任给ε >0 ，
客观背景
可近似认为:
正是大量随机变量服从正态分布的理论解释
X ～N(0, 1);
X i ～ N(n, n 2); i 1
n
1 n 2 X i ～N( , /n). n i 1
21
例如, P{a<X<b} a n X n b n P{ } n n n
n
i 1 n
1 t 2 2 e d t ( x) x ) n n 2 n 个独立同分布的随机变量, 不论原来服从什么分布, 当 n 充分 大时, 其和的标准化 X 总可近似地认为是服从标准正态分布.
lim Fn ( x ) lim P ( n
x
X i n 1 i
可以证明，满足一定的条件，上述极 限分布是标准正态分布. 这就是下面要介 绍的
中心极限定理
19
在概率论中，习惯于把和的分布 收敛于正态分布这一类定理都叫做中心 极限定理.
我们只讨论几种简单情形.
下面给出的独立同分布随机变量序列 的中心极限定理，也称列维一林德伯格 （Levy－Lindberg）定理.