概论与数理统计：点估计方法
合集下载
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
海南大学《概率论与数理统计》课件 第九章 点估计
令 X ,
则 ˆ x 1 (0 75 1 90 6 1) 1.22
250
二.极大似然估计法 特点：适用总体的分布类型已知的统计模型
极大似然估计法是求估计用的最多的方法， 它最早是由高斯在1821年提出，但一般将之归 功于费舍尔(R.A.Fisher)，因为费舍尔在1922 年再次提出了这种想法，并证明它的一些性质， 从而使得极大似然法得到了广泛的应用。
18
第二节 估计方法
矩估计法 极大似然估计法
19
一.矩估计法 定义：用样本矩来代替总体矩,从而得到总体 分布中参数的一种估计.这种估计方法称为 矩估计法.它的思想实质是用样本的经验分 布和样本矩去替换总体的分布和总体矩.也 称之为替换原则.
特点：不需要假定总体分布有明确的分布类型。
20
设总体X具有已知类型的概率函数 f(x;θ), θ=(θ1,…,θk) ∈Θ是k个未知参数.(X1,X2,…,Xn)是 来自总体X的一个样本.
2
参数估计的分类：
参 点估计 估计未知参数的值
数
估 计
估计未知参数的取值范围，
区间估计 并使此范围包含未知参数的
真值的概率为给定的值
3
这里所指的参数是指如下三类未知参数：
1.分布中所含的未知参数 .
如：两点分布B（1，p）中的概率p;
正态分布 N (, 2 )中的,． 2、分布中所含的未知参数的函数. 如：服从正态分布N (, 2 )的变量X不超过给定值a的
Xi＝１，反之记 Xi＝ ０ i 1,, n ．则
X1, X2 , , Xn 就是样本．总体分布为二点分
布 B1, ，参数空间 0,1 ，容易得到统计
模型
n
xi
i1
概率论与数理统计教材第六章习题
X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
概率论和数理统计(第三学期)第8章参数估计
n n 1
由契比雪夫不等式，有
P( S 2 ES2
n
n
)
DS
2
n
＝
2 4
2 n 1 2
即 lim P( S 2 ES2 ) 0
n
n
n
(n 1)S 2
E
2
n n 1
ES2 2 n
故 lim P( S 2 2 ) 0
n
n
§8.3 参数的区间估计
定义
设是总体的未知参数，若 （1 1
6
S~2 1 1.20 0.162 0.85 0.162 0.30 0.162 6 0.45 0.162 0.82 0.162 0.12 0.162 1 1.042 0.692 0.142 0.612 0.982 0.282 6 1 2.99 6 0.498 2
n
p xi
1
p
1 xi
xi p i1
1
p
n
n xi
i1
i 1
n
令y xi，得： i 1 ln Lxi , p y ln p n yln1 p
由对数似然方程
d ln L y n y 0 dp p 1 p
解得
p
y n
1 n
n i 1
xi
x
因为这是惟一的解，所 以p的极大似然估计值为
二、顺序统计量法
定义
1
, 2
,
,
为总体
n
的一个样本，将它
们按大小次序排列，取 居中的一个数 (若n为偶
数时，则取居中两数的 平均值)记为~，称~为
样本中位数。
即
~
k
1
,
1 2
k
由契比雪夫不等式，有
P( S 2 ES2
n
n
)
DS
2
n
＝
2 4
2 n 1 2
即 lim P( S 2 ES2 ) 0
n
n
n
(n 1)S 2
E
2
n n 1
ES2 2 n
故 lim P( S 2 2 ) 0
n
n
§8.3 参数的区间估计
定义
设是总体的未知参数，若 （1 1
6
S~2 1 1.20 0.162 0.85 0.162 0.30 0.162 6 0.45 0.162 0.82 0.162 0.12 0.162 1 1.042 0.692 0.142 0.612 0.982 0.282 6 1 2.99 6 0.498 2
n
p xi
1
p
1 xi
xi p i1
1
p
n
n xi
i1
i 1
n
令y xi，得： i 1 ln Lxi , p y ln p n yln1 p
由对数似然方程
d ln L y n y 0 dp p 1 p
解得
p
y n
1 n
n i 1
xi
x
因为这是惟一的解，所 以p的极大似然估计值为
二、顺序统计量法
定义
1
, 2
,
,
为总体
n
的一个样本，将它
们按大小次序排列，取 居中的一个数 (若n为偶
数时，则取居中两数的 平均值)记为~，称~为
样本中位数。
即
~
k
1
,
1 2
k
《概率论与数理统计》学习笔记十一
σ 2 = S2 =
2 1 n Xi − X ) ( ∑ n i =1
n −1 2 ⎛ n −1 2 ⎞ n −1 S ⎟= E (S2 ) = 由于 E σ 2 = E S 2 = E ⎜ σ ， n n ⎝ n ⎠
n 3 ⎡ X 2 − nX 2 ⎤ ∑ i ⎥ n⎢ ⎣ i =1 ⎦
3 ( X − X )2 i n∑ i =1
n
在总体 X 为离散型随机变量情形， 求未知参数 θ 的矩估计量的方法和连续型 情形完全相同。 极大似然估计法 直观想法：概率最大的事件最可能出现。 设总体 X 为连续型随机变量，具有密度函数 f ( x;θ ) ，其中 θ 是待估未知参 数，又设 ( x1 ,L , xn ) 是样本 ( X 1 ,L , X n ) 的一个观测值，则样本 ( X 1 ,L , X n ) 落在观
n
（１）
ˆr ， 把上式中的 α r 都换成相应的样本矩 M r = 1 ∑ X ir ，便得到参数 θ r 的矩估计量 θ n i =1
概率论与数理统计—学习笔记十一
即
θˆr = hr ( M 1 ,L , M k ) , r = 1, 2,L , k .
（２）
这种求估计量的方法称为矩估计法（简称矩法） ，由矩估计法得出的估计量称为 矩估计量。 例１ 设总体 X 在 [ a, b ] 上服从均匀分布，a,b 未知， X 1 ,L , X n 是总体 X 的 一个样本，试求 a,b 矩估计量。 解 X 的概率密度为 1 , a≤ x≤b ⎧ ⎪ f ( x; a, b ) = ⎨ b − a ⎪ 其它 ⎩ 0,
上节介绍了总体参数的常用点估计方法，对同一参数用不同的估计方法可能 得到不同的估计量，哪个估计量更好些呢？下面给出几种评选估计量好坏的标 准。 无偏估计 估计量是样本的函数，是随机变量，对不同的样本观测值，它有不同的估计 值，我们希望估计量的取值在未知参数真值附近摆动，即希望估计量的数学期望 等于未知参数的真值，这就是无偏性的概念。 定义 设 θˆ ( X 1 ,L , X n ) 是未知参数 θ 的估计量，若
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
西北工业大学《概率论与数理统计》课件-第六章 参数估计
最大概率的思想就是最大似然法的基本思想 .
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
概率论与数理统计-点估计-矩法估计
x
dx
2
2
0
故令
1
n
n
i2
i 1
2ˆ2
n
于是解得 的矩估计量为
ˆ
1 2n
i2
i 1
估计量的评价 标准
点估计有多种方法，同一个未知参数用不同的方法可得 到不同的估计量，那一个估计量好呢？必须有个评价标准。 评价标准有多种，用不同方法评价，得到的结论也不一样。
因此，说一个估计量的好坏，必须说明是用那一个评价标准 评价的。否则，是没有意义的。
点估计的求法: (两种) 矩估计法和极大似然估计法.
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
理论依据: 大数定律
由辛钦大数定理知，
可以用
X
1 n
n i 1
Xi去估计EX,
如.求一个战士的射击命中率?
估计量,这个估计量称为矩估计量.
例2.设 : （， 2），求， 2的矩法估计量。
解：p( ,, 2 )
1
e
(
x )2 2 2
2
E x
1
(x )2
e 2 2 dx
2
xR
E 2 x2
1
(x )2
e 2 2 dx 2 2
2
列方程组：
2
1 n
n i1
2 1
n
i
n i 1
点估计问题就是要构造一个适当的统计量
ˆ(1,2 ,L ,n ),用它的观察值ˆ(x1, x2 ,L , xn ) 来估计未知参数 .
ˆ(1,2,L ,n )称为 的估计量. 通称估计,
《概率论与数理统计》第七章
i 1
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
概率论与数理统计(李慧斌)复习大纲 第6章 点估计 point estimation汇编
概率论与数理统计(李慧斌)复习大纲Chapter 6 point estimation点估计6.1Statistical Inference统计推断1. Population and samplePopulation：a collection of objects of interest，研究对象的全体集合Random Sample：随机变量{X n}组成n个随机样本，满足：1) 每个Xi都是独立的随机变量2)每个Xi都有相同的概率分布随机样本的联合分布2. Statistic 统计数据从这些数据中，我们试图提取出几个概括的数字，这些数字可能用来描述数据集并传达其一些显著特征。
统计数据是任何可以从样本数据计算值的量。
注：统计量是随机变量，用大写字母表示；小写字母表示统计量的计算值或观察值。
统计量的值完全由样本数据决定。
一个T=T(X1,X2,…,X n)是一个随机变量。
统计量的分布通常称为抽样分布。
例：一些关键的统计数据1、样本均值Sample Mean它衡量样品的位置（中心），可以用来做出关于样本总量平均μ。
2、样本方差Sample Variance它衡量与样本均值的偏差，可以用来作出关于样本总量方差的平方σ23、样本标准差Sample standard deviation注：S2的求解动机当样本总量是有限的且由n个值组成时，样本总量方差为1、然而，μ的值几乎是未知的，因此必须使用关于的平方差的总和。
2、但x i倾向于接近它们的平均值而不是样本总数平均μ，所以为了弥补这个缺点，使用除数n-1而不是n。
样本k阶矩：样本k阶中心矩：显然对于样本数据，，点估计(Point Estimation)统计推断(Statistical inference)几乎总是指向绘制关于一个或多个参数（总量特征）的某些类型的结论。
给定一个感兴趣的参数，例如总体平均值μ或总体比例p，点估计的目标是使用样本来计算在某种意义上表示对参数的真实值的良好猜测的数字。
概率论与数理统计-第七章
1 1 f (x; µ,σ ) = exp[− 2 (x − µ)2 ] 2σ 2πσ n 1 1 2 L(µ,σ ) = ∏ exp[− 2 (xi − µ)2 ] 2σ 2πσ i=1
2
= (2π ) (σ ) exp[−
2
2
−
n 2
−
n 2
1 2σ 2
( xi − µ ) 2 ] ∑
i =1
n
n
设总体X~U[a,b]，其中 ，b是 例3. 设总体 ，其中a， 是 未知参数。试求a， 的矩估计量 的矩估计量。 未知参数。试求 ，b的矩估计量。 解：E(X)=(a+b)/2, D(X)=(b-a)2/12.
1 n 1 ∑Xi = E(X) = 2 (a +b) n i=1 1 n 2 Xi = E(X 2 ) = D(X) +[E(X)]2 ∑ n i=1 1 1 2 = (b − a) + (a +b)2 12 4
解：白球所占比例p=1/4或3/4. 白球所占比例 或 X:任取 个球中白球的个数，X~B(3, p) 任取3个球中白球的个数 任取 个球中白球的个数，
P( X = 2) = C p (1− p) = 3p (1− p)
2 3 2 2
1 9 , p = 4时 P(X = 2) = 64 p = 3时 P(X = 2) = 27 , 4 64
1 n ˆ (1)µ = X = ∑Xi是 体 值 的 偏 计 ; 总 均 µ 无 估 量 n i=1 1 n ˆ (2)σ 2 = S2 = ( Xi − X )2是 体 差 2的 总 方 σ ∑ n −1 i=1 无 估 量. 偏 计
n −1 2 D(X) = S n 即可解出未知参数的估计量。 即可解出未知参数的估计量。
2
= (2π ) (σ ) exp[−
2
2
−
n 2
−
n 2
1 2σ 2
( xi − µ ) 2 ] ∑
i =1
n
n
设总体X~U[a,b]，其中 ，b是 例3. 设总体 ，其中a， 是 未知参数。试求a， 的矩估计量 的矩估计量。 未知参数。试求 ，b的矩估计量。 解：E(X)=(a+b)/2, D(X)=(b-a)2/12.
1 n 1 ∑Xi = E(X) = 2 (a +b) n i=1 1 n 2 Xi = E(X 2 ) = D(X) +[E(X)]2 ∑ n i=1 1 1 2 = (b − a) + (a +b)2 12 4
解：白球所占比例p=1/4或3/4. 白球所占比例 或 X:任取 个球中白球的个数，X~B(3, p) 任取3个球中白球的个数 任取 个球中白球的个数，
P( X = 2) = C p (1− p) = 3p (1− p)
2 3 2 2
1 9 , p = 4时 P(X = 2) = 64 p = 3时 P(X = 2) = 27 , 4 64
1 n ˆ (1)µ = X = ∑Xi是 体 值 的 偏 计 ; 总 均 µ 无 估 量 n i=1 1 n ˆ (2)σ 2 = S2 = ( Xi − X )2是 体 差 2的 总 方 σ ∑ n −1 i=1 无 估 量. 偏 计
n −1 2 D(X) = S n 即可解出未知参数的估计量。 即可解出未知参数的估计量。
点估计--教学设计
概率论与数理统计教学设计
教学方法
与策略
板书设计
教学时间设计1.引导课题…………3分钟
2.学生活动…………5分钟
3.参数点估计定义…………22分钟
4.矩估计法…………20分钟
5.极大似然估计法…………45分钟5.课堂小结…………5分钟
教学手段多媒体播放教学视频、PPT演示与板书演练书写相结合。
教学进程
教学意图教学内容教学理念
引出课题（3分钟）某工厂生产某种零件，零件上的疵点数X为一随
机变量，假定X服从参数为λ的泊松分布，且
(0)
λλ>未知，设有以下的样本观察值，试估计
未知参数λ。
疵点数k0 1 2 3 4 5 6
频数k n14 27 26 20 7 3 3
激发学生的
兴趣，让学生
体会数学来
源于生活。
学生活动（5分钟）问题细化，学生讨论，激发兴趣。
从日常生活
的经验和常
识入手，调动
学生的积极
性。
参数点估计定义（22分
钟）参数估计：实际工作中碰到的总体X，它的分布类型往往是知道的（如果对总体的分布类型也未确定，参见第6章）只是不知道其中的某些参数。
例如：产品的质量指标X~ N（μ，σ2），但μ，σ2未知，借助于总体X的一个样本来估计。
由于μ=E（X），可测得x1，x2，…，x10，用x来估计μ。
分为参数的点估计和参数的区间估计。
未知，试求,μσ
为离散型，其分布律为。
吴赣昌编-概率论与数理统计-第6章(new)
ln L 0 1 ln L 0 2 ln L 0 m
ˆ , ˆ ,, ˆ 从中解出 1 2 m
在例6.4中，
n xi n xi n i 1 i 1 xi ln n xi ln(1 ) ln L( ) ln (1 ) i 1 i 1
1 n 解得矩法估计量为 ˆ Xi X n i 1
注：1
n n n 1 1 1 2 2 1 2 2 2 X 2 X X X i i (Xi X ) (Xi 2Xi X X ) n n n i 1 i 1 i 1 n i 1 n i 1 n n
i 1 n
xi !
e
e
n
x!
i 1 i
n
x
i
n
x
i 1
1
n
i 1
i
0
n 1 ˆ xi n i 1
d2 1 n n (ln L ( )) x 0 2 2 i d i 1 x ˆx
ˆx 所以
ˆ X L
二、极大似然估计法(R.A.Fisher费歇)
先看一个简单例子： 某位同学与一位猎人一起 外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、极大似然估计法的基本思想
由样本的具体取值，选择参数θ的估计量 ˆ 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关，取
n 2 i 2 i 1
n n n 1 ln L( , 2 ) ln 2 ln 2 ( xi 2 2 2 2 i 1 ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 解得 2 n ln L ( , ) n 1 2 2 ( xi ) 0 2 4 2 2 i 1
ˆ , ˆ ,, ˆ 从中解出 1 2 m
在例6.4中，
n xi n xi n i 1 i 1 xi ln n xi ln(1 ) ln L( ) ln (1 ) i 1 i 1
1 n 解得矩法估计量为 ˆ Xi X n i 1
注：1
n n n 1 1 1 2 2 1 2 2 2 X 2 X X X i i (Xi X ) (Xi 2Xi X X ) n n n i 1 i 1 i 1 n i 1 n i 1 n n
i 1 n
xi !
e
e
n
x!
i 1 i
n
x
i
n
x
i 1
1
n
i 1
i
0
n 1 ˆ xi n i 1
d2 1 n n (ln L ( )) x 0 2 2 i d i 1 x ˆx
ˆx 所以
ˆ X L
二、极大似然估计法(R.A.Fisher费歇)
先看一个简单例子： 某位同学与一位猎人一起 外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、极大似然估计法的基本思想
由样本的具体取值，选择参数θ的估计量 ˆ 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关，取
n 2 i 2 i 1
n n n 1 ln L( , 2 ) ln 2 ln 2 ( xi 2 2 2 2 i 1 ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 解得 2 n ln L ( , ) n 1 2 2 ( xi ) 0 2 4 2 2 i 1
第六章《概率论与数理统计教程》课件
1
例5. 设X服从[0,λ]区间上的均匀分布,参数
λ>0,求λ的最大似然估计. 1 解:由题意得: X ~ f ( x; )
1 L( x1 , x 2 ,..., x n ; ) n 0
0 x
0 其它 0 x1 , x 2 ,..., x n
dL n n1 0 d
其它
无解.
应用最大似然估计基本思想: L越大,样本观察值越可能出现 取 max( x1 , x 2 ,..., x n ) 此时,L取值最大, 所以,所求最大似然估计为 max( x1 , x 2 ,..., x n )
考虑L的取值,要使L取值最大,λ应最小, 0 x1 , x 2 ,..., x n
例2 设总体 X ~ N ( , 2 ) ,其中 及 2 都是未知参数，如
果取得样本观测值为 x1 ,, x n , 求 及 2 的矩估计值。
解： 因为总体X的分布中有两个未知参数，所以应考虑一、二阶 原点矩，我们有 v1 ( X ) E ( X )
v 2 ( X ) E( X 2 ) D( X ) [ E( X )]2 2 2
e
e
1 2
2
2
( x )2 2 2
e
L( x1 , x 2 ,..., x n ; , )
2
i 1
1 2
2
( xi )2
(
2
1 2
2
1 2 2
) e
n
i 1
n
( xi )2
1 n 2 n 1 n 2 2 ) 2 ( x i ) ln 2 ln L n ln( ( xi ) 2 i 1 2 2 2 n 2 2 i 1 1 ln L 1 n Xi X 2 ( xi ) 0 n i 1 i 1 1 n 2 1 n n ln L n 1 ( xi )2 ( xi X )2 2 2 4 ( x i ) 0 n i 1 n i 1 2 2 2 i 1
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
数理统计之点估计.
2019/2/7
西南交通大学数学学院统计系
J. TANG
1. 矩估计法
设 X 为连续型随机变量 , 其概率密度为 f ( x;1 , 2 ,, k ), 或 X 为离散型随机变量 , 其分布律为 P { X x } p ( x;1 , 2 ,, k ), 其中 1 , 2 ,, k 为待估参数 ,
n 1 1 2 2 2 2 2 ( X X ) . A A ˆ Xi X i 2 1 n i 1 n i 1 n
7-17
2. 最大似然估计法
思想方法：一次试验就出现的 事件有较大的概率 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？ 答: 第一箱.
knk k 0
6
用样本均值来估计总体的均值 E(X).
1 x 6 (0 75 1 90 2 54 3 22 250 n k 4 6 5 2 6 1) 1.22. k 0
故 E ( X ) 的估计为1.22 .
一、点估计问题的一般提法
ˆ 与样本值 x1 , x2 ,, xn有关, 记为 这样得到的 ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
( 2) 设总体 X 属连续型
似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
X1 , X 2 ,, X n 是来自总体 X 的样本,
《点估计的求法》课件
点估计的常用方法
矩法
原理：利用样本矩来估计总体参数 优点：计算简单，易于理解 缺点：精度较低，对样本分布的假设要求较高 应用：常用于样本量较小、分布未知的情况
最大似然法
原理：利用已知样本信息，估计总 体分布的参数
缺点：可能陷入局部最优解，对初 始值敏感
添加标题
添加标题
优点：简单易行，计算量小
添加标题
注意事项：在构建回归模型时，要 注意检查自变量之间的相关性，避 免出现多重共线性问题
模型的可解释性和泛化能力
可解释性：模型应该能够解释其预测结 果，以便于用户理解和信任
泛化能力：模型应该能够在不同的数据 集上表现良好，避免过拟合和欠拟合
数据预处理：对数据进行适当的预处理， 如归一化、标准化等，以提高模型的泛 化能力
模型融合：融合多个模型 可以提高估计精度
点估计在实际应用 中的注意事项
Байду номын сангаас 适用范围和局限性
适用范围：适用于样本量较大、分布较均 匀的情况
局限性：不适用于样本量较小、分布不均 匀的情况
适用范围：适用于线性模型、正态分布的 情况
局限性：不适用于非线性模型、非正态分 布的情况
适用范围：适用于参数估计的情况
均方根误差（RMSE）：均方误差的 平方根
绝对误差（AE）：估计量与真实值 之差的绝对值
相对误差（RE）：绝对误差与真实 值的比值
平均绝对误差（MAE）：绝对误差 的平均值
平均相对误差（MRE）：相对误差的 平均值
误差的传播和计算
误差计算：通过计算点估计 的方差或标准差来衡量误差 的大小
误差传播：点估计的误差会 通过计算传播到其他相关变 量
数据合并： 将多个数 据集合并 为一个数 据集，便 于分析
(完整版)概率论与数理统计复习提纲
缺点：没有充分利用总体分布提供的信息；矩估计量不具有唯一性；可能估计结果的精度比其它估计法的低
三、最大似然估计法
1. 直观想法：在试验中，事件A的概率P(A)最大, 则A出现的可能性就大；如果事件A出现了，我们认为事件A的概率最大.
2. 定义 设总体X的概率函数或密度函数为 （或 ），其中参数 未知，则X的样本 的联
(1) 设总体X的概率密度函数为f(x), 则样本的联合密度函数为
(2)设总体X的概率函数为 , 则样本的联合概率函数为
二、统计量
1. 定义
不含总体分布中任何未知参数的样本函数 称为统计量, 是 的观测值.
注：（1）统计量 是随机变量； （2）统计量 不含总体分布中任何未知参数；
（3）统计量的分布称为抽样分布.
3.样本：从总体X中，随机地抽取n个个体 ,称为总体X的容量为n的样本。
注：⑴ 样本 是一个n维的随机变量；⑵ 本书中提到的样本都是指简单随机样本，其满足2个特性：
① 代表性： 中每一个与总体X有相同的分布.② 独立性： 是相互独立的随机变量.
4.样本 的联合分布
设总体X的分布函数为F(x)，则样本 的联合分布函数为
都有确定的实值P(A)，满足下列性质：
(1)非负性： (2)规范性：
(3)有限可加性(概率加法公式)：对于k个互不相容事件 ，有 .
则称P(A)为随机事件A的概率.
2．概率的性质
① ②
③若 ，则
④
注：性质的逆命题不一定成立的.如若 则 。（×）若 ，则 。（×）
三、古典概型的概率计算
古典概型：若随机试验满足两个条件：①只有有限个样本点,
合概率函数（或联合密度函数） （或
称为似然函数.
3. 求最大似然估计的步骤：
三、最大似然估计法
1. 直观想法：在试验中，事件A的概率P(A)最大, 则A出现的可能性就大；如果事件A出现了，我们认为事件A的概率最大.
2. 定义 设总体X的概率函数或密度函数为 （或 ），其中参数 未知，则X的样本 的联
(1) 设总体X的概率密度函数为f(x), 则样本的联合密度函数为
(2)设总体X的概率函数为 , 则样本的联合概率函数为
二、统计量
1. 定义
不含总体分布中任何未知参数的样本函数 称为统计量, 是 的观测值.
注：（1）统计量 是随机变量； （2）统计量 不含总体分布中任何未知参数；
（3）统计量的分布称为抽样分布.
3.样本：从总体X中，随机地抽取n个个体 ,称为总体X的容量为n的样本。
注：⑴ 样本 是一个n维的随机变量；⑵ 本书中提到的样本都是指简单随机样本，其满足2个特性：
① 代表性： 中每一个与总体X有相同的分布.② 独立性： 是相互独立的随机变量.
4.样本 的联合分布
设总体X的分布函数为F(x)，则样本 的联合分布函数为
都有确定的实值P(A)，满足下列性质：
(1)非负性： (2)规范性：
(3)有限可加性(概率加法公式)：对于k个互不相容事件 ，有 .
则称P(A)为随机事件A的概率.
2．概率的性质
① ②
③若 ，则
④
注：性质的逆命题不一定成立的.如若 则 。（×）若 ，则 。（×）
三、古典概型的概率计算
古典概型：若随机试验满足两个条件：①只有有限个样本点,
合概率函数（或联合密度函数） （或
称为似然函数.
3. 求最大似然估计的步骤：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
7-12
解方程组 , 得 k 个统计量： ˆ1 ( X 1 , X 2 , , X n ) 未知参数 1, ,k 的矩估计量 ˆ ( X , X , , X )
k 1 2 n
代入一组样本值得 k 个数:
1 ˆ1 ( x1 , x2 , , xn ) k ˆk ( x1 , x2 , , xn )
2 2
2
7-11
设待估计的参数为 1 , 2 ,, k
设总体的 r 阶矩存在，记为
E ( X r ) r (1 , 2 ,, k )
1 r 样本 X1, X2,…, Xn 的 r 阶矩为 Br X i n i 1 令 1 n r r (1 , 2 ,, k ) X i r 1,2,, k n i1 —— 含未知参数 1,2, ,k 的方程组
7-18
7-16
解得
ˆ矩 X 3( A2 X ) a
2
3 n 2 X (Xi X ) , n i 1
2 ˆ b矩 X 3( A2 X )
3 2 X (Xi X ) . n i 1
n
7-17
极大似然估计法
思想方法：一次试验就出现的 事件有较大的概率 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？ 答: 第一箱.
于是 的估计值为 3.045
7-9
矩法 用样本 k 阶矩作为总体 k 阶矩的
方法 估计量, 建立含有待估参数的方程,
从而解出待估参数 一般, 不论总体服从什么分布, 总体期望 与方差 2 存在, 则它们的矩估计量分别为
n 1 1 2 2 2 ˆ Xi X ˆ ( X i X ) Sn n i 1 n i 1
点估计方法
点估计的思想方法
7-5
设总体X 的分布函数的形式已知, 但含有 一个或多个未知参数：1,2, ,k 设 X1, X2,…, Xn为总体的一个样本 构造 k 个统计量：
1 ( X 1 , X 2 ,, X n ) 2 ( X 1 , X 2 ,, X n )
未知参数 1, ,k 的矩估计值
例2 设总体 X ~ N ( , 2 ), X1, X2,…, Xn为 总体的样本, 求 X 解 n 1 ˆ 2 矩 X i2 X 2 n i 1 例3 设总体 X ~ E(), X1, X2,…, Xn为总体的 样本, 求 的矩法估计量.
参数估计的类型
点估计 —— 估计未知参数的值 区间估计—— 估计未知参数的取值范围， 并使此范围包含未知参数 真值的概率为给定的值.
7-6
并建立k个方程。 当测得样本值(x1, x2,…, xn)时,代入上述 方程组，即可得到 k 个数：
ˆ1 ( x1 , x2 ,, xn ) ˆ2 ( x1 , x2 ,, xn )
ˆk ( x1 , x2 ,, xn )
数值
ˆ 为未知参数 , , 的估计值 称数 1 , k 1 k 对应统计量 为未知参数 1 , , k 的估计量
7-7
三种常用的点估计方法
频率替换法
利用事件A 在 n 次试验中发生的频率
nA / n 作为事件A 发生的概率 p 的估计量
随机变量
k ( X 1 , X 2 ,, X n )
什么是参数估计？
参数是刻画总体某方面概率特性的数量. 当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计. 例如，X ~N ( , 2), 若, 2未知, 通过构造样本的函数, 给出 它们的估计值或取值范围就是参数估计 的内容. 点估计 区间估计
解
E ( X ) 1/ , 令 X 1/ .
故
矩 1/ X .
7-14
例4 设从某灯泡厂某天生产的灯泡中随机 抽取10只灯泡，测得其寿命为(单位:小时) 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的方差.
n
7-10
事实上，按矩法原理，令
1 n X Xi n i1 1 n 2 2 A2 X i E ( X ) n i 1
ˆ X
2
ˆ ˆ E ( X ) E ( X ) A2 n n 1 2 2 1 2 2 X i X ( X i X ) Sn n i 1 n i 1
nA p p n
例1 设总体X ~ N ( , 2 ), 在对其作28 次 用频率替换法求参数 的估计值.
7-8
独立观察中, 事件 “X < 4” 出现了21 次, 试
4 21 解 由 P( X 4) ( ) 0.75 28 2 4 0.675 查表得 2
10 1 解 E ( X ) x xi 1147(h) 10 i1
1 2 2 2 ˆ xi x 6821(h ). D( X ) 10 i 1
2
10
7-15
例5 设总体 X ~ U (a, b), a, b 未知, 求参数 a, b 的 矩法估计量. 2 a b ( b a ) 解 由于 E ( X ) , D( X ) 2 12 2 2 (b a) a b 2 2 E ( X ) D( X ) E ( X ) 12 2 ab X 令 2 2 2 (b a) a b 1 n 2 A2 X i 12 n i 1 2