概率参数估计方法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
只要知道 ˆ 的概率分布,确定误差限并不难.
由不等式 |ˆ | 可以解出 : ˆ ˆ
这个不等式就是我们所求的置信区间.
一、 双侧置信区间定义: 设θ是 一个待估参数,给定α>0.若由样本 X1,X2,…Xn确定的两个统计量
ˆ1 ˆ1( X1, X 2 ,, X n ),ˆ2 ˆ2 ( X1, X 2 ,, X n )
误差为:ˆ . 它随样本X1,X2 , ,Xn的值而
定,也是随机的,即:
ˆ( X1, X 2 ,, X n ) 是随机变量.
定义2 设有两个无偏估计 : ˆ1和ˆ2. 若D(ˆ1) D(ˆ1)
这时称 ˆ1 比 ˆ2有效.
第二部分 区间估计
引言
参数点估计是用样本算得的一个值去估 计未知参数. 但是,点估计值仅仅是未知参 数的一个近似值,它没有反映出这个近似值 的误差范围,使用起来把握不大. 区间估计 正好弥补了点估计的这个缺陷 .
一、 无偏性
假设总体分布的参数为. 定义1 ˆ( X1, X 2 ,, X n )(简记ˆ)是的一个
估计.如果ˆ 的均值等于未知参数,即
E[ˆ( X1, X 2 ,, X n )] ,对一切可能的
成立,则称ˆ 为的无偏估计.
二、 有效性
用估计量 ˆ( X1 , X 2 ,, X n ), 去估计,其
中的参数1,2,,k的函数.
故应该把 μm (m= 1,2, ,k)记之为:
μm(1,2,,k ), m=1,2, ,k
步骤二、 算出m阶样本原点矩:
Leabharlann BaiduAm
1 n
n
X
m i
i 1
m 1,2,, k
步骤三、令μm(1,2,,k )=Am, m=1,2, ,k
得关于1,2,,k的方程组
步骤四、解这个方程组,其解记为
可能产生样本值X1,X2,…,Xn的一种度量 .
极大似然估计法就是用使L(θ)达到最大
值的ˆ去估计θ.
L(ˆ) max L( )
称ˆ 为θ的极大似然估计(MLE).
求极大似然估计(MLE)的一般步骤是: (1) 由总体分布导出样本的联合概率函数(或 (2) 联合密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 θ看作自变量, 得到 似然函数L(θ); (3) 求似然函数L(θ) 的最大值点(常常转化为 求ln L(θ)的最大值点) ,即θ的MLE;
根据大数定律
1
n
n i 1
X
m i
p
E(X
m
)
am
例1 求N(, 2 )均值,方差2的矩估计
解:
E(X E ( X
)
2
A1
) Var(X
)
[E(X
)]2
2
2
A2

u X
2 2
1 n
n i 1
X
2 l
求解得

ˆ
X 21
n
n
(X i
i 1
X
)2
矩法的优点是简单易行,并不需要事先知 道总体是什么分布 .
国统计学家费歇尔.
费歇尔在1922年重新发现 了这一方法,并首先研究了这 种方法的一些性质 .
Gauss Fisher
极大似然法的基本思想 先看一个简单例子:
某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响,野兔应声倒下 .
如果要你推测, 是谁打中的呢? 你会如何想呢?
你就会想,只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这一 枪是猎人射中的 .
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明:
1、求似然函数 L(θ) 的最大值点,可以应用 微积分中的技巧。由于ln(x)是x的增函数, lnL(θ)与L(θ)在θ的同一值处达到它的最大值, 假定 是一实数,且lnL(θ)是θ的一个可微函 数。通过求解所谓“似然方程”:
(ˆ1 ˆ2 )
有了样本,就把 θ估计在区间 [ˆ1,ˆ2 ]内.
这里有两个要求:
1. 要求θ以很大的可能被包含在区间 [ˆ1,ˆ2 ] 内,就是说,概率 P{ˆ1 ˆ2}要尽可能大.
即要求估计尽量可靠.
2. 估计的精度要尽可能的高. 如要求区间
长度 ˆ2 ˆ1 尽可能短,或能体现该要求的其
设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计μ为1.68, 这是点估计. 估计 μ在区间[1.60, 1.84]内,这是区间估计.
第一部分 点估计的方法
1. 矩估计法 2. 极大似然法 3. 最小二乘法
4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
第一节 矩 估 计
2 1
2 2
n1
n2
2 1
2 2
n1
n2
正 态
1
2 1
2 未知
2
2 ( X Y t S
2
1 n1
_________
1 1 2 X Y t s
)
n2
1 2 X Y t s
11
n1
n2
11
n1
n2
____
总 体
12
2 2
1, 2
未知
(
S12 S22
1 F /2
,
S12 S22
参数估计
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布的 类型.
总体分布的未知参数的估计──总体分布 的参数往往是未知的,需要通过样本来估计. 通过样本来估计总体的参数,称为参数估计, 它是统计推断的一种重要形式.
例如 (1)为了研究人们的市场消费行为,我
们要先搞清楚人们的收入状况.
假设某城市人均年收入X∼N( ,2).但参 数 和2的具体值并不知道,需要通过样本
来估计.
(2)假定某城市在单位时间(譬如一个
月)内交通事故发生次数 X ∼ P(). 参数未知,需要从样本来估计.
参数估计问题的一般提法:
设有一个统计总体,总体的分布函数为 F(x, θ),其中θ为未知参数 (θ可以是向量) .
湖中鱼数的真值
[• ]
这里所说的“可靠程度”是用概率来度量的, 称为置信概率,置信度或置信水平.
把置信水平记作1-α ,α是一个很小的正数.
置信水平的大小是根据实际需要选定的.
例如,通常可取置信水平1-α =0.95或0.9等. 根据一个实际样本,由给定的置信水平,我
们求出一个尽可能 小的区间 [ˆ1,ˆ2 ] ,使
(
2 /2
(
n
1)
,
(n 1)S 2
2 1
/
2
(
n
1)
)
2 2
(n 1)S 2
2 (n 1)
(n 1)S 2
2 1
(
n
1)
)
待估 其他 参数 参数
双侧置信区间 单侧置信限
两 个
1
2
12,
已知
2
2
(X
Y
z
2
2 1
2 2
)
n1 n2
_________
1 2 X Y z
1 2 X Y z
现从该总体抽样,得样本 X1, X2 , … , Xn 要依据该样本对参数θ作出估计. 这类问题称为参数估计.
点估计
参数估计 区间估计
假如我们要估计某队男生的平均身高. 假定身高服从正态分布N(μ, 0.12)
现从该总体选取容量为5的样本,我们的 任务是要根据选出的样本(5个数)求出总体 均值μ的估计. 而全部信息就由这5个数组成 .
P{ ˆ2} 1
则称区间 (,ˆ2 ]是θ的置信水平为1- α的单
侧置信区间. ˆ2称为单侧置信上限.
待估 其他 参数 参数
双侧置信区 单侧置信


一 个
2已知
(X
n
z
2
)
X
n z
X
n
z
正 态
2未知 ( X
s n
t
2
(n
1))
X X
s n
t
s n
t
总 体
2
未知 (n 1)S2
于是引入单侧置信区间和置信限的定义:
设θ是 一个待估参数,给定α>0.若由样本
X1,X2,…Xn确定的统计量ˆ1 ˆ1( X1, X 2 ,, X n )
满足
P{ ˆ1} 1
则称区间 [ˆ1, )是θ的置信水平为 1- α 的单 侧置信区间. ˆ1 称为单侧置信下限.
又若统计量 ˆ2 ˆ2 ( X1, X 2 ,, X n ) 满足
它准则.
可靠度与精度是一对矛盾,一般是在保 证可靠度的条件下尽可能提高精度.
二、单侧置信区间 上述置信区间中置信限都是双侧的,但
对于有些实际问题,人们关心的只是参数在 一个方向的界限. 例如对于设备、元件的使用寿命来说,平均 寿命过长没什么问题,过短就有问题了.
这时,可将置信上限取 为+∞,而只着眼于置信下 限,这样求得的置信区间 叫单侧置信区间.
缺点是,当总体类型已知时,没有充分 利用分布提供的信息 . 一般场合下,矩估计量 不具有唯一性 .
其主要原因在于建立矩法方程时,选取 那些总体矩用相应样本矩代替带有一定的随 意性 .
第二节 极大似然估计
极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
它首先是由德国数学
家高斯在1821年提出的 , 然而,这个方法常归功于英
ˆi ( X1, X 2 , , X n ),i 1, 2, , k
它们就可以做为1,2,,k的估计.这样
求出的估计叫做矩估计.
原理解释:
∵ X1,X2 , ,Xn是独立同分布的. ∴ X1m,X2m, ,Xnm也是独立同分布的.
于是有:
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am .
d ln L( ) 0 d
可以得到θ的MLE .
若θ是向量,上述方程必须用似然方程 组代替 .
2、用上述求导方法求参数的MLE有时行不 通,这时要用极大似然原则来求 .
第三节估计量的优良性准则
从前面两节的讨论中我们看到: (1)有时候同一个参数可以有几种不同的 估计方法,这时就存在采用哪一个估计的 问题. (2)对一个参数,用矩法和极大似然法这两 种方法即使得到的是同一种估计,也存在 一个衡量这个估计优劣的问题.
1) F1 /2
2 1
22
S12 S22
1 F1
2 1
22
S12 S22
1 F /2
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 .
其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
方法:
设总体X的分布函数中含有k个未知参数:
1,2,,k
步骤一、 我们把总体X的m阶原点矩E(Xm)记
为μm, m=1,2, ,k 一般地, μm(m=1,2, ,k)是总体分布
第四节正态总体的区间估计
譬如,在估计湖中鱼数的问题中,若我们 根据一个实际样本,得到鱼数N的极大似然估 计为1000条. 实际上,N的真值可能大于1000条,也可能小 于1000条.
若我们给出一个区间,在此区间内我们 合理地相信 N 的真值位于其中. 这样对鱼数的 估计就可靠多了.
也就是,我们希望确定一个区间,使我们能 以比较高的可靠程度相信它包含真参数值.
P{ˆ1 ˆ2} 1 称区间 [ˆ1,ˆ2 ]为θ的置信水平为1-α的置信区 间,其中ˆ1 ,ˆ2 为两个统计量.
寻找置信区间的方法,一般是从确定误差 限入手.
我们选取未知参数的某个估计量 ˆ,根据
置信水平1-α ,可以找到一个正数δ,
使得 P{| ˆ | } 1
称δ为 ˆ 与θ之间的误差限 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
极大似然估计原理:
设X1,X2,…,Xn是取自总体X的样本,样本 给定时,似然函数为:
L()=L(; x1, x2, … xn)
L( )
n
P{X
i 1
n
xi}
f (xi )
i 1
X为离散型 X为连续型
似然函数:L(θ)=L(θ; x1, x2, … xn) L(θ)看作参数θ的函数,它可作为θ将以多大
(ˆ1 ˆ2 ) 满足 P{ˆ1 ˆ2} 1
则称区间 [ˆ1,ˆ2 ]是θ的置信水平(置信度、置
信概率)为1- α的置信区间.
ˆ1和 ˆ2 分别称为置信下限和置信上限.
可见,
对参数θ作区间估计,就是要设法找出两
个只依赖于样本的界限(构造统计量)
ˆ1 ˆ1(X1,…Xn) ˆ2 ˆ2(X1,…Xn)
相关文档
最新文档