[1,N]离散均匀分布N的点估计
数理统计6：泊松分布，泊松分布与指数分布的联系，离散分布参数估计
数理统计6：泊松分布，泊松分布与指数分布的联系，离散分布参数估计前两天对两⼤连续型分布：均匀分布和指数分布的点估计进⾏了讨论，导出了我们以后会⽤到的两⼤分布：β分布和Γ分布。
今天，我们将讨论离散分布中的泊松分布。
其实，最简单的离散分布应该是两点分布，但由于在上⼀篇⽂章的最后，提到了Γ分布和泊松分布的联系，因此本⽂从泊松分布出发。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：泊松分布简介泊松分布是⼀种离散分布，先给出其概率分布列。
若X∼P(λ)，则P(X=k)=λkk!e−λ,k=0,1,⋯它的取值是⽆限可列的。
为什么泊松分布会与指数分布、Γ分布有联系呢？这是因为，它们三个都是随机事件发⽣的⼀种描述。
实际上，指数分布的参数λ是⼀种速率的体现，它刻画了随机事件发⽣的速率。
⽽指数分布随机变量的取值，就代表某⼀事件在⼀定的速率下发⽣的时刻距离计时原点的长度。
Y∼E(λ)，就代表Y对应的事件事件的发⽣速率是λ，所以平均发⽣时间就在在1/λ处。
这也可以作为E(Y)=1/λ的⼀种解释。
指数分布具有⽆记忆性，这与随机事件的发⽣相似，即已经发⽣历史事件对未来不产⽣影响，⽤数学语⾔说就是P(Y>s+t|Y>s)=P(Y>t)。
这指的是，如果⼀个事件平均会在s时间后发⽣，但是⽬前经过了t时间还没有发⽣，则事件的平均发⽣时间就移动到t+s时间后。
它不会因为你已经等了t时间，就会更快地发⽣。
⽽如果把n个独⽴同分布于E(λ)指数分布随机变量相加，得到的⾃然就是恰好发⽣k个事件的平均时间，这个时间Z∼Γ(n,λ)，本质还是⼀种时间的度量。
但Z就不具有⽆记忆性了，这是因为，经过t时间后可能已经发⽣了n−1个事件就差最后⼀个没有发⽣，也可能⼀个事件都没发⽣还需要n个才能凑齐。
泊松分布则刚好相反，指数分布和Γ分布都是限定了发⽣次数，对发⽣时间作度量；泊松分布则是限定了时间1，求随机事件在这⼀段时间内发⽣的次数服从的概率分布。
数理统计： 参数估计方法
引例
设总体 X 服从参数为 的指数分布， 未知，
X1 , X 2 , , X n 是来自X的样本, x1 , x2 , , xn 是
相应的样本值，求 的矩估计量和矩估计值.
解 因为 E( X ) 所以 用样本矩替换总体矩, 得 的矩估计量
ˆ
1 n
n i 1
Xi
X
(
x)
1
e
x
,
x0
0,
其他.
但参数 未知。已知参数的取值范围,记为 。
给出样本的一组观察值，如何推断总体的分布?
【思路】给出 的估计，则得到对总体分布的推断。
【方法】根据一定的原则，从 中找到一个值(点) 作为的 估计。
点估计
2
点估计定义
设总体 X 的分布函数 F ( x; ) 的形式为已知,
的估计量.
4
二、估计量的评选标准 1. 无偏性
定义 若 X1, X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数, 若估计量ˆ ˆ( X1 , X 2 ,, X n )的数学期望 E(ˆ) 存在, 且对于任意 有
E(ˆ) 则称ˆ 是 的无偏估计量,否则称为有偏的.
(2) lim S 2 2 a.s. (强大数定律) n
即样本方差是总体方差2的强相合估计， 也是相合估计.
12
C. 样本标准差
其观察值:
S
S2
1 n1
n i 1
Xi
X
2
;
s
1 n1
n i 1
( xi
点估计方法——精选推荐
其次知估计法的前提要求用到的各阶知存在且有限， 但有的分布，如柯西分布，任何阶都不存在，那就不 能用知估计法了。
7.1.2 极大似然估计法
从理论上来说，极大似然估计法是最重要的点估计方 法，它利用样本的联合分布密度(或联合分布律)中提 供的样本取值与分布中参数的关系，去求参数的点估 计，从而使估计量具有许多优良性。
(1) 待估参数为总体原点矩 α1,α2 ,Lαl 。则令
∑ αk
=
Ak
=
1 n
n
ξik ,
i=1
k
= 1, 2,L,l
(2) 待估参数为分布中θ1,θ2 ,L,θk ，先用总体ξ 前k阶
原点矩α1,α2 ,L,αk 把未知参数 θ1,θ2 ,L,θk 表示出来，
不妨记成
⎧ ⎪ ⎨
θ1 = g1(α1,L,αk )
之为参数 θ1,θ2 ,L,θk 的估计量，记成
θˆi = Ti (ξ1,ξ2 ,L,ξn ), i = 1, 2,L, k
估计值：设样本的观察值为 x1, x2 ,L xn ，将它们代入 估计量Ti 就得到k个数Ti (x1, x2 ,L, xn ) = ti , i = 1, 2,L, k 称 t1,t2 ,Ltk 为估计量的值（或称估计值） 以后把估计量和估计值统称为估计
离散情形的一般描述 若总体为离散型随机变量，分布律为
P{ξ = x) = P{x;θ1,Lθk ) 其中θ1,Lθk为未知参数，设样本 ξ1,ξ2,Lξn 的观察值
为 x1, x2,L, xn ，样本的联合分布律为
n
L(θ1,θ2,Lθk ) = P{ξ1 = x1,L,ξn = xn} = ∏ P{ξi = xi ;θ1,L,θk }
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计极大似然估计无偏性有效性一致性§ 1引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§ 2相关概念2.1参数估计所谓参数估计，是指从样本（X l,X2，…，X n）中提取有关总体X的信息，即构造样本的函数一一统计量g（X l,X2，…，X n），然后用样本值代入，求出统计量的观测值g（X l, X2」I （ , X n），用该值来作为相应待估参数的值。
此时，把统计量g（X1,X2，…，XQ称为参数的估计量，把9（人也凡）称为参数的估计值。
2.2参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1）点估计：指对总体分布中的参数r ,根据样本（X「X2，…,X n）及样本值（X1，X2，…,X n），构造一统计量g（X i,X2，…,X n），将9（旨公2,…儿）作为二的估计值，则称g （X「X2，…，X n）为二的点估计量，简称点估计，记为A"g（X1,X2, ,X n）。
概率论与数理统计实训06讲解
函 数 说 明
二项分布的最大似然估计 返回 水平的参数估计和置信区间 泊松分布的最大似然估计 返回 水平的 参数和置信区间 正态分布的最大似然估计 返回 水平的期望、方差和置信区间 均匀分布的最大似然估计 返回 水平的参数估计和置信区间 指数分布的最大似然估计 返回 水平的参数估计和置信区间
expfit
例 1 产生 100 行2 列服从区间(10, 12)上的均匀分布的随机数, 计算区间端 点“a”和“b”的极大似然估计值, 求出置信度为0.95 的这两个参数的置信 区间.
解 在命令窗口中输入: r = unifrnd(10, 12, 100, 2); [ahat, bhat, aci, bci] = unifit(r)
调 用 形 式
binofit (X, N) [PHAT, PCI] = binofit (X, N, ALPHA) poissfit (X) [LAMBDAHAT, LAMBDACI]= poissfit (X,) normfit (X, ALPHA) [MUHAT, SIGMAHAT, MUCI, SIGMACI] = normfit (X, ALPHA) unifit (X, ALPHA) [AHAT, BHAT, ACI, BCI] = unifit (X, ALPHA) expfit (X) [MUHAT, MUCI] = expfit (X, ALPHA)
基本数学原理:
样本数字特征法 1 用样本均值 x n x 作为总体均值EX的估计值； 用样本方差 S n 1 1 ( x x ) 作为总体方差DX的估计值。 在Matlab中，样本x = [x1, x2,…, xn]，则 样本均值：mx = 1/n*sum (x) 样本方差：S2 = 1/(n-1)*sum ((x-mx).^2)
6.1 点估计的几种方法
ˆ 2X
若（ x1 , x2 , x3 , x4 , x5） （ 1， 2， 3， 5， 9） ,
1 2 3 5 9 ˆ 2X 8 X 4 5
9 落 在 区 间 [0, 8]外 面 ！ ！
例 6.1.5 一类电子产品的寿命 可以用两 参数指数分布 E ( , ) 描述，其概率密度为
1 n ˆ Xi X 解得： n i 1
1 n 2 ( X i X )2 S n n i 1
2
例 6.1.11 设总体 ~ U[0, ], 0 为未知参数, 试求 的极大似然估计.
解：设 ( X , X ,
1 2
, X n ) 为样本， ( x1 , x2 ,
, xn ) 为观测值
1
当 xi [0, ] 时，
ln L( ) n ln
L( ) ( )
i 1
n
1
n
d ln L( ) n 0, ( 0) d
d ln L( ) 方程 0无解！！ d
ln L( ) 关于 严格单调递减
(3)解出 1 , 2 ,..., m .
注意：（1）总体矩一般与参数有关; （2）方程个数m=待估参数个数; （ 3 ）尽量用低阶矩.
矩法估计的不变性
若要估计 1 ,2 , ,k 的函数 h(1 ,2 , k ) ， 把 1 , 2 ,
, k
第六章
参数估计
(1) 非参数估计：估计总体分布
如：频率直方图，样本分布函数等
(2) 参数估计：总体分布已知，估计未知参数
点估计— —估计参数的值 参数估计 区间估计— —估计参数的范围
[N1,N2]离散均匀分布参数的点估计
![[N1,N2]离散均匀分布参数的点估计](https://img.taocdn.com/s3/m/90363b11c281e53a5802ff71.png)
N1,N2 离散均匀分布参数的点估计本文基于Wolfram Mathematica 9,讨论了 N1,N2 离散均匀分布参数的点估计，包括矩估计法和极大似然估计。
并通过程序产生伪随机数进行模拟。
N1,N2 区间内的离散均匀分布，我们记作DU N1,N2 。
总体均值Μ m1 N1 N22，方差Σ2 1121 1 N1 N2 2 。
X 1,X 2, ,X n 为其一简单随机样本，X 1 ,X 2 , ,X n 为样本顺序统计量。
一、矩估计当N1，N2其中一个已知时，可知另一个即N1 2m1 N20或N2 2m1 N10，用样本矩估计总体矩m1 X 1n n i 1X i ，即得N1 2m1 N20或N2 2m1 N10。
当N1，N2其均未知时，显然方差是均值的函数，因此，无法用样本均值和方差估计出参数N1、N2。
我们考虑二阶原点矩m2 16N1 2N12 N2 2N1N2 2N22 ,将N2 2m1 N1代入，得到：m2 13m1 4m12 N1 2m1N1 N12 。
整理得到：N12 2m1 1 N1 4m12 m1 3m2 0,令b 2m1 1,c 4m12 m1 3m2,解方程得到：N1 b b 2 4c2.由于N1和N2对称且N1 N2,所以N1 b b 2 4c2，N2 b b 2 4c2。
同样，用样本矩m1 X 1n n i 1X i 代替同m1,m2 1n n i 1X i 2代替m2,即可得N1 ，N2 。
二、极大似然估计不管N1，N2是否其中一个已知，还是都未知，通过求解对数似然方程，容易得它们的极大似然估计为N1 X 1 ,N2 X n 。
三、计算程序及结果In[225]:=Needs "HypothesisTesting`"N10 6;N20 57000;X RandomVariate DiscreteUniformDistribution N10,N20 ,300 ;min Min X ;max Max X ;m1 Mean X ;m2 Moment X,2 ;"一.矩估计：""1.已知N1 N10，估计N2：""1.1公式法："N2ME1 Ceiling 2m1 N10"1.2函数法："N2ME2 CeilingN2ME2 .FindDistributionParameters X,DiscreteUniformDistribution N10,N2ME2 , ParameterEstimator "MethodOfMoments"Clear N2ME1,N2ME2 ;"2.已知N2 N20，估计N1：""2.1公式法："N1ME1 Ceiling 2m1 N20"2.2函数法："N1ME2 CeilingN1ME2 .FindDistributionParameters X,DiscreteUniformDistribution N1ME2,N20 , ParameterEstimator "MethodOfMoments"Clear N1ME1,N1ME2 ;"3.N1、N2均未知：""3.1公式法："a 1;b 2m1 1;c 4m12 m1 3m2;N1ME3 Floor b b2 4a c 2a ;N2ME3 Ceiling b b2 4a c 2a ;N1ME3,N2ME3"3.2函数法："N1ME3,N2ME3 N1ME3,N2ME3 .FindDistributionParameters X,DiscreteUniformDistribution N1ME3,N2ME3 ,ParameterEstimator "MethodOfMoments" ;Floor N1ME3 ,Ceiling N2ME3Clear N1ME3,N2ME3 ;"二.极大似然估计：""1.已知N1 N10，估计N2：""1.1公式法："N2MLE1 max"1.2函数法："N2MLE2 Ceiling N2MLE2 .FindDistributionParameters X,DiscreteUniformDistribution N10,N2MLE2 Clear N2MLE1,N2MLE2 ;"2.已知N2 N20，估计N1："2[N1,N2]离散均匀分布参数的点估计.nb[N1,N2]离散均匀分布参数的点估计.nb3"2.1公式法："N1MLE1 min"2.2函数法："N1MLE2 Ceiling N1MLE2 .FindDistributionParameters X,DiscreteUniformDistribution N1MLE2,N20 Clear N1MLE1,N1MLE2 ;"3.N1、N2均未知：""3.1公式法："N1MLE3 min;N2MLE3 max;N1MLE3,N2MLE3"3.2函数法："N1MLE3,N2MLE3 N1MLE3,N2MLE3 .FindDistributionParameters X,DiscreteUniformDistribution N1MLE3,N2MLE3 ; N1MLE3,N2MLE3Clear N1MLE3,N2MLE3 ;Clear N10,N20,X,min,max,m1,m2 ;Out[233]=一.矩估计：Out[234]= 1.已知N1 N10，估计N2：Out[235]= 1.1公式法：Out[236]=58932Out[237]= 1.2函数法：Out[238]=58932Out[240]= 2.已知N2 N20，估计N1：Out[241]= 2.1公式法：Out[242]=1938Out[243]= 2.2函数法：Out[244]=1938Out[246]= 3.N1、N2均未知：Out[247]= 3.1公式法：Out[253]= 434,58504Out[254]= 3.2函数法：Out[256]= 434,58504Out[258]=二.极大似然估计：4[N1,N2]离散均匀分布参数的点估计.nbOut[259]= 1.已知N1 N10，估计N2：Out[260]= 1.1公式法：Out[261]=56930Out[262]= 1.2函数法：Out[263]=56930Out[265]= 2.已知N2 N20，估计N1：Out[266]= 2.1公式法：Out[267]=203Out[268]= 2.2函数法：Out[269]=203Out[271]= 3.N1、N2均未知：Out[272]= 3.1公式法：Out[275]= 203,56930Out[276]= 3.2函数法：Out[278]= 203,56930。
第十章点估计
点分布 B1, ，参数空间 0,1，容易得到统计模型
n
xi
i1
1
n
, n xi i1
0,1
例２ 一批灯管寿命服从指数分布E(λ), λ>0 未知，从中
随机抽取n支， X1, X 2,为, X其n 寿命，则统计模型为
值；试估计参数 λ。
着火的次数 k
0 12 3456
发生k次着火天数 nk 75 90 54 22 6 2 1 250
解： EX
令 X ,
m1
1 n
n i 1
Xi
X
则 ˆ x 1 (0 75 1 90 6 1) 1.22
250
第二节 估计方法
二.极大似然估计法 特点：适用总体的分布类型已知的统计模型
n
f (x1; ) f (x2 ; ) f (xn ; ) f (xi ; ) i 1 n
仍称为似然函数，并记之为 L( ) L(x1, x2,, xn; ) f (xi; ) . i 1
第二节 估计方法
定义:设总体的分布类型已知,但含有未知参数θ. (1) 设 (x1, x2 ,, xn ) 为总体 X 的一个样本观察值，若似
第二节 估计方法
ˆ1 ˆ1( X1, X 2 ,...,X n ) ˆ 2 ˆ 2 ( X1, X 2 ,...,X n ) ................................... ˆ k ˆ k ( X1, X 2 ,...,X n )
用上面的解来估计参数θi就是矩法估计.
X
S2
1 2
2
2 1
12
2
均匀分布U[-θ,θ]参数θ的几种估计量
![均匀分布U[-θ,θ]参数θ的几种估计量](https://img.taocdn.com/s3/m/87835dcb6f1aff00bed51ea4.png)
ｐ （ ； ） ＝ ｛ 【 一 ≤ ， Ｘ 的 分 布 函 数 为 Ｆ （ ） ＝ ｛
０ 其它
收 稿 日期 ：２ ０ １ ３ — １ ２ — １ ０
ｆ １
ｆ ０
Ｉ ｌ
一 ０ ＜ ≤ ．
ｘ ＞ Ｏ
一 ０
作 者简 介 ：李 君巧 （ １ ９ ９ ３ 一），女 ，江苏 苏州 人 ，在读 本科 生 ．
时，
一
的期望为区间中点 ０ ，不含参数 ０，因此无法用样本一阶原点矩估计参数 ０，此时可通过计算样本
阶绝对原点矩给出０的矩估计． 定理 ２ 均匀分布 ［ ＿ ０ ， ］ 参数 的矩估计为 ＝ ￣ ＺＩ ｘ ， Ｉ ．
，
证 明 因 为Ｅ Ｉ Ｉ ＝ 』
０
＝
＝ ０ ， 所 以 用 样 本 的 一 阶 绝 对 原 点 矩 估 计 总 体 的 一 阶 绝 对 原 点 矩， 即
， Ｘ ，Ｘ ， …，Ｘ 是 来 自该 总 体
＝
０
－＋ｔ Ｏ． ．
定 理１均 匀 分 布 一 ０ ， ］ 参 数 ０ 的 极 大 似 然 估 计 为 ＝ ｍ ａ ｘ ｛ 一
为 样本 的最 小和 最大 次序统 计量 ．
） ｝ ， 其 中 ： Ｘ 【 １ ） 和 ） 分 别
害 证 明根 据 ｕ 卜 ０ ， 】 的 密 度 函 数 ， ０ 的 似 然 函 数 ： ｎ ｐ （ ； ：
ｒ １ ｒ ’
ｒ １
０
一 ≤
其它
Ｌ ２ ， … ， ：
｛ Ｉ ｏ 一 其 它 ” ） ： ｔ （ ２ ０ ） 一 － ） ｎ ） ． Ｌ （ ） 在 ： ｍ ａ Ｘ ｛ 一 （ １ ） ， ） ） 处 取 得 最 大 值 ，
信号检测与估计知识点总结（2）
信号检测与估计知识点总结（2）第三章估计理论1. 估计的分类矩估计：直接对观测样本的统计特征作出估计。
参数估计：对观测样本中的信号的未知参数作出估计。
待定参数可以是未知的确定量，也可以是随机量。
点估计：对待定参量只给出单个估计值。
区间估计：给出待定参数的可能取值范围及置信度。
(置信度、置信区间) 波形估计：根据观测样本对被噪声污染的信号波形进行估计。
预测、滤波、平滑三种基本方式。
已知分布的估计分布未知或不需要分布的估计。
估计方法取决于采用的估计准则。
2. 估计器的性能评价无偏性：估计的统计均值等于真值。
渐进无偏性：随着样本量的增大估计值收敛于真值。
有效性：最小方差与实际估计方差的比值。
有效估计：最小方差无偏估计。
达到方差下限。
渐进有效估计：样本量趋近于无穷大时方差趋近于最小方差的无偏估计。
? 一致性：随着样本量的增大依概率收敛于真值。
Cramer-Rao 界：其中为Fisher 信息量。
3. 最小均方误差准则模型：假定：是观测样本，它包含了有用信号及干扰信号，其中是待估计的信号随机参数。
根据观测样本对待测参数作出估计。
最小均方误差准则：估计的误差平方在统计平均的意义上是最小的。
即使达到最小值。
此时从而得到的最小均方误差估计为：即最小均方误差准则应是观测样本Y 一定前提下的条件均值。
需借助于条)()(1αα-≥F V =????????-=2212122);,(ln );,(ln )(αααααm m y y y p E y y y p E F )(),()(t n t s t y +=θ)(t n T N ),,,(21θθθθ=),(θts {}{})?()?()?,(2θθθθθθ--=T E e E {}0)?,(?2==MSE e E d d θθθθθθθθθd Y f Y MSE )|()(??=件概率密度求解，是无偏估计。
4. 线性最小均方误差准则线性最小均方误差准则：限定参数估计结果与观测样本间满足线性关系。
第二章 参数估计
ˆ = q ( X , K , X ) , q k k 1 n
k = 1, 2, L , m
(2.2)
ˆ 为 q 的矩估计， g ( x 若 q ) 为连续函数，则也称 g (qˆ k k k ) 为 g (q k ) 的矩估计.
【例 2.1】 设总体 X 服从参数为 l 的泊松分布，X 1 , K , X n 为来自总体的样本， 求l 的 矩估计. 解： a1 = EX = l
i =1
定义 2.1：设总体 X 的概率函数为 f ( x;q ) ， x1 ,L , x n 是来自总体的样本，则称
n
L(q ) = Õ f ( xi ;q )
i =1
(2.4)
为总体 X 对应样本 x1 ,L , x n 的似然函数.
L(q ) 越大，越有利于样本 x1 ,K , x n 被观察到.
-l ì l x e ï f ( x 0,1, 2, L 其它
或简写为
f ( x) =
-l l x e
x !
x = 0,1, 2, L
§2.1 点估计
我们经常会遇到这样的问题： 总体 X 的分布函数 F ( x,q ) 的形式已知， 但其中的参数q 未知， 希望利用 X 的样本 x1 ,K , x 这类问题称为参数的点估计 （point n 对 q 的值进行估计， estimation）问题. 比如，已知某种电子元件的寿命 X ~ N ( m , s ) ，即 X 的分布密度
P( X = xi ) = p( xi ,q ), i = 1, 2,L ,
其中q 为未知参数，q Î Q . 设 X 1 , K , X n 是来自总体 X 的一组样本， 观察值为 x1 ,K , x n .我们把观察到的样本看成 结果，而需要判断的是未知参数q 的取值，根据最大似然原理，应该选取一个最有利于结 果的发生的q 值作为 qˆ .
点估计的几种方法
如果某统计量 ˆ ˆ(x1, x2满, 足, xn)
L ˆ max L( ),
则称 是ˆ 的极(最)大似然估计，简记为MLE
（Maximum Likelihood Estimate）。
求极大似然估计通常分如下两种情形：
1. 总体X 的取值范围与未知参数无关； 2. 总体X 的取值范围与未知参数有关。
现做了n次试验，观测到三种结果发生的次数 分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)。求的最大 似然估计。
例6.1.7 设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一 个样本，μ,σ2未知，求μ,σ2的极大似然估计。
解 设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息 来估计总体的某些平均体重
估计废品率 估计湖中鱼数
估计平均降雨量
… …
第六章 参数估计
§6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最小方差无偏估计 §6.4 贝叶斯估计 §6.5 区间估计
ˆjˆj j(aj1(,a1 ,,ak ),, ak )j,1,j ,k1,, , k,
其中a jaj n1in1n1 xiijn1 xij为j阶样本原点矩.
矩法的步骤：
设总体X的分布为F(x;θ1,θ2,…,θk)，k个参数θ1,θ2,…,θk待 估计，(X1,X2,…,Xn)是一个样本 。
Xk
1 n
n j 1
X
k j
从中解出方程组的解，记为 ˆ1，ˆ2，，ˆk
则 ˆ1，ˆ2，，ˆk 分别为参数θ1,θ2,…,θk的矩估计。
统计学,刘照德06-1第六章 参数估计
第一节 点估计
点估计的求解方法主要有 ： • 矩估计法 • 最大似然估计法
第一节 点估计
一 、矩估计法
• 矩估计法是一种常用的估计方法，其基本 思想是，用样本原点矩作为总体原点矩的 估计。
第一节 点估计
• 设k个参数 ( , , )，求 k个参数 ˆ (ˆ ,ˆ ,ˆ ) 矩估计 需要建立k个方程，方法是：设总体 的一个样本观测值是 (x , x ,, x ) ，其l阶原点 1 A x 矩 ，总体观测量X的l阶原点矩 n ml E( X l ) ml ( ) ，用样本原点矩Al作为总体 原点矩ml的估计，得出k个方程Al =ml(θ )(l =1,…,k)，解此方程组得出的 即为参数 的矩 估计。
对于给定的抽样方法 ，不同的抽样，就有不同的 ˆ , ˆ) 估计区间 ( 1 2
在用同样方法构造的总体参数的多个估计区间 中，包含总体参数真值的区间所占的比例称为 置信水平，表示为 (1 - 。 2.为是未包含总体参数的区间所占的比例。 •
3. 常用的置信水平值有 99%, 95%, 90%
第一节点估计??????????222221???xexdxemxem??????2221??????aa??????21221??aaa????????????????niiniixxnxxnx12122211?????二最大似然估计法?最大似然方法的基本思想是固定样本观测值在可能的取值中挑选使似然函数达到最大从而概率p达到最大的作为参数的估计
1 2
ˆ) P(
ˆ 的抽样分布 1
B A
ˆ2 的抽样分布
ˆ
第一节 点估计
• 3．一致性 依 设 为 的一个估计量，若当 n 时， ，则称 为 的一致估计量。此即 概率收敛于 随着样本容量n的增大，点估计量 越来越接近 被估总体参数 。
7.1 参数的点估计
总体矩，样本矩回顾：
设 X 是总体，X1，X2，…，Xn是来自 X 的一个样本：
则总体 X 的 k 阶原点矩，记作 k E(X k )
总体 X 的 k 阶中心矩，记作 Vk E[X E(X )]k
样本的 k 阶原点矩，记作
Ak
1 n
n i 1
Xik
样本的 k 阶中心矩，记作
ˆ max{ xi }
小结
两种点估计方法:
矩估计法 最大似然估计法
用矩估计法估计参数通常比较方便，便于实 际应用，但所得估计的优良性有时比较差。
最大似然估计法使用时常常要进行比较复杂 的计算，然而得到的估计在许多情况下具有优良 性，它是目前仍然得到广泛使用的一种方法。
7.1.3 点估计标准
要了解这批灯泡的质量就要估计μ 和σ2的值。
例子：某电话交换台在1小时内接到的呼叫次数为Y Y~P(λ )，但 λ 未知. 某人想知道该电话交换台在1小时内呼叫10次 的概率，必须先估计λ 的值。
问题产生背景
在总体分布类型已知的情况下，如何从样本估 计总体分布中的未知参数就成为数理统计的基 本问题之一。
aˆ X 3B2 , bˆ X 3B2
例7.1.4 设总体X的均值μ 及方差σ 2都存在,且 有σ 2 >0，但μ ,σ 2 均未知. X1,X2,…,Xn 是来自总 体X的样本,求μ,σ2的矩估计量.
解 先求总体的一阶和二阶原点矩：
1 E(X ) ,
2 E(X 2 ) D(X ) E(X )2 2 ,
无偏性表示 ˆ 围绕被估参数 而摆动，以 致平均误差为零，即用ˆ 估计 没有系统
性误差。
例7.1.10 若X ~ U [0 , θ], 证明：
应用数理统计第二章参数估计(1)点估计
（1）方法基于n趋于无穷大时的情形； （2）只用到了总体的数字特征的信息，而分布形
0, lim P{| n
Xn
X
|
} 1
还有依分布F收敛 Xn W X , （弱收敛） 以概率1收敛一定依概率收敛，但反之不一定成
立。
6
若 E( X k ) ak（X的k阶矩存在），也有
1
n
n i1
X
k i
a.e.
ak
亦即，当n较大时，样本原点矩与总体矩非常接
近。据此可得：
矩估计法：若总体X中含有m个参数
解
a1 E( X ) 1
a2 E(X 2)
2
2
D( X
, )
[E(
X
)]2
( 2
1
12
)2
(1
2 )2
4
由矩估计法,得
ˆ1 A1 3( A2 A12 )
ˆ2 A1 3( A2 A12 )
ˆ1 X 3S , ˆ2 X 3S
10
➢【例2.4】 贝努利试验
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
22
§2．2 估计量的评价准则
由例2.3和例2.10的结果看出，对均匀分布 总体参数的估计不一样，哪个好？
aˆ X bˆ X
3 n ( X X )2 ,
n
i 1
3 n ( X X )2
概率论与数理统计课件：参数估计
n
n
p( X xi; ) p(xi; ).
i 1
i 1
事实上，它们仅是参数 的函数，称为似然函数，记
为L( ) ，即 L( ) L(x1, x2,
或
n
, xn; ) f (xi; ), i 1
n
L( ) L( X x1, X x2, , X xn; ) p(xi; ). i 1
一个随机变量，其服从 0的泊松分布，即X ~ P()，
其中， 为未知参数. 已知在某小时进入该商场的人数的
样本值见表7.1，试求参数 的点估计值.
表7.1 在某小时进入某商场人数的统计情况
每分钟平均一秒钟进 入该商场的人数 0
1
2
3
4
5
6
7 8
分钟数
6 18 17 9 5 2 2 1 0
参数估计
解：因为X E( 1) ，所以 E( X ) .
由于仅有一个未知参数 ，故仅列一个方程
即可.
1( ) A1
因为1( ) E(X ) 和 A1 X ，所以ˆ X .
参数估计
首页 返回 退出
例7.1.3 设随机变量X在区间[a, b]中均匀取值，即 X U (a,b) ，其中，a 与 b均为未知参数，试求 a与 b的
i 1
i 1
参数估计
首页 返回 退出
(3) 似然函数 L( ) 与经自然对数变换后的函数 ln L( ) 等价，即求L( )的最大值点等价于求 ln L( )的最大值 点. 函数ln L( ) 对未知参数 求导数，并令其为0，即
d ln L( ) 0.
d
(4) 求解上述方程，得到参数 的最大似然估计值 ˆ(x1, x2 , , xn ),
第一节--点估计和估计量的求法
稍事休息
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
0
1
令E X X
X 1
2
ˆ X
1 X
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
F( x, ) ，其中 为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计 的某个已知函数 g( ).
这类问题称为参数估计.
点估计
参数估计
区间估计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N (,0.12 )）
解得
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a X
样本矩
3
n
n
(Xi
i 1
X )2
,
b X
3
2.1 点估计的优良性
ˆ x max x , ˆ x(1) min xi , b a ( n) i
故a, b的极大似然估计量为：
ˆ max X , ˆ min X i , b a i
上页 下页 返回
极大似然估计不变性
上页
下页
返回
由于估计量作为样本的函数是一个随机变量,
对于不同的样本值, 估计值也不同, 因此评价一个
2、用上述求导方法求参数的MLE有时 行不通，这时要用极大似然原则来求 .
使似然函数 达到最大的 即 的MLE，
上页
下页
返回
求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布律 (或联合密度); (2) 把样本联合分布律(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
一、如何给出估计,即估计的方法问题； 二、如何对不同的估计进行评价,即估计的 好坏判断标准。
上页 下页 返回
常用的几条优良标准是：
1．无偏性 2．均方误差准则 3．相合性 4．渐进正态估计 5．有效性
上页 下页 返回
1．无偏性
估计量是随机变量， 对于不同的样本值会得到不同的
估计值. 我们希望估计值在未知参数真值附近摆动，
基本思想:
若一试验有n个可能结果 若事件 发生了, 则认为事件 中出现的概率最大。 最大似然估计 就是在一次抽样中,若得到观测值 则选取 作为 的估计值，
现做一试验,
在这n个可能结果
使得当
时,样本出现的概率最大。