第一节--点估计和估计量的求法
点-估-计
1 2 2
(x
)2
．
n
L( ， 2 )
i 1
1 2π
exp
1 2
2
( xi
)2
(2π)
n 2
(
2
)
n 2
exp
1 2
2
n
( xi
i 1
)2
，
对似然函数取对数得
ln L( ， 2 ) n ln(2π) 2
n ln 2 2
1 2 2
n
( xi
i 1
)2 ，
参数估计
点估计
1.2 极大似然估计法
参数估计
点估计
1.1 矩估计法
取样本的 i 阶原点矩 Ai 作为总体 i 阶原点矩 i 的
估计量，即
ˆi
Ai
1 n
n j 1
X
i j
，
（6-1）
得方程组
解得
i (1 ，2 ， ，k ) ˆi ，
ˆi ˆi ( X1 ，X 2 ， ，X n ) ， 称ˆi 为i 的矩法估计量，简称矩估计．
参数估计
点估计
1.1 矩估计法
例1
设总体
X 具有概率密度
f
(x)Biblioteka 2 2(x) ，0
x
，参
数
未
知
，
0 ，
其他 ，
X1 ，X2 ， ，Xn 是来自 X 的样本，求 的矩法估计量．
解 总体 X 的数学期望为
E(X )
0
2x
2
(
x)dx
3
．
由式（6-1），令
E(X )
1 n
n i 1
Xi
第一节--点估计和估计量的求法
稍事休息
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
0
1
令E X X
X 1
2
ˆ X
1 X
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
F( x, ) ，其中 为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计 的某个已知函数 g( ).
这类问题称为参数估计.
点估计
参数估计
区间估计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N (,0.12 )）
解得
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a X
样本矩
3
n
n
(Xi
i 1
X )2
,
b X
3
概率论与数理统计-点估计-矩法估计
x
dx
2
2
0
故令
1
n
n
i2
i 1
2ˆ2
n
于是解得 的矩估计量为
ˆ
1 2n
i2
i 1
估计量的评价 标准
点估计有多种方法，同一个未知参数用不同的方法可得 到不同的估计量，那一个估计量好呢？必须有个评价标准。 评价标准有多种，用不同方法评价，得到的结论也不一样。
因此，说一个估计量的好坏，必须说明是用那一个评价标准 评价的。否则，是没有意义的。
点估计的求法: (两种) 矩估计法和极大似然估计法.
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
理论依据: 大数定律
由辛钦大数定理知，
可以用
X
1 n
n i 1
Xi去估计EX,
如.求一个战士的射击命中率?
估计量,这个估计量称为矩估计量.
例2.设 : （， 2），求， 2的矩法估计量。
解：p( ,, 2 )
1
e
(
x )2 2 2
2
E x
1
(x )2
e 2 2 dx
2
xR
E 2 x2
1
(x )2
e 2 2 dx 2 2
2
列方程组：
2
1 n
n i1
2 1
n
i
n i 1
点估计问题就是要构造一个适当的统计量
ˆ(1,2 ,L ,n ),用它的观察值ˆ(x1, x2 ,L , xn ) 来估计未知参数 .
ˆ(1,2,L ,n )称为 的估计量. 通称估计,
统计基础课程标准
《统计基础》课程标准1.概述1.1课程的性质统计基础是专业基础课，是概率论的后续课程，在现实中的应用性很强，是各种统计理论的数学基础分析理论，先期完成的课程必须有高等代数、数学分析和概率论。
统计是数学的一个有特色且又十分活跃的分支，一方面，它有别开生面的研究课题，有自己独特的概念和方法，内容丰富，结果深刻;另一方面，它与其他学科又有紧密的联系，是近代数学的重要组成部分。
由于它近年来突飞猛进的发展与应用的广泛性，目前已发展成为一门独立的一级学科。
统计的理论与方法已广泛应用于工业、农业、军事和科学技术中，如预测和滤波应用于空间技术和自动控制、时间序列分析应用于石油勘测和经济管理、马尔科夫过程与点过程统计分析应用于地震预测等，同时他又向基础学科、工科学科渗透，与其他学科相结合发展成为边缘学科，这是统计发展的一个新趋势。
通过对统计基础的学习，使学生掌握统计基础的基本概念、基本理论及基本思想和方法，而且能够熟练地应用这些方法解决科学研究和实际工作中实际问题，并为今后学习后续课程打下必需的基础。
1.2课程设计理念●着重基础、着重标准，在我国迄今为止，有关统计理论的教材不少，这些教材和理论参考文献各自保持了自己的特色，只有着重基础、着重标准，才能与国际先进的理论研究趋势保持一致；●力求在简洁的基础上使学生能从总体上了解和掌握该课程的内容体系，使学生能够在实际工作中、其它学科的学习中能灵活、自如的应用这些理论。
1.3课程开发思路●以《概率论与数理统计》（第三版）浙江大学盛骤谢式千编，高等教育出版社,2001为蓝本，极力用较为通俗的语言阐释统计基础的思想和方法；●紧密结合实际应用与计算机应用加以阐述和学习；●理论和方法相结合，以强调统计基础理论的应用价值，总之，强调理论与实际生活应用相结合的特点，力求在实际应用方面做些有益的探索，也为其它学科的学习打下良好的基础；●针对课程特点，形成了新的教学指导思想，即以学生为本，注重学生基础数学理论培养，使学生掌握“统计”的基本概念和方法，培养学生解决相关实际问题的能力。
概率统计简明教程(同济)Chapter10
第二节 估计方法
方法1: 矩估计法(K. 方法1: 矩估计法(K. Pearson). X : X1, X2, …, Xn.
µk = E( X k ), k =1,2,3,L
1 k k k Ak = X1 + X2 +L+ Xn , k =1,2,3,L n
(
)
Clearly,
1 A = ( X1 + X2 +L+ Xn ) = X 1 n
ˆ = 1 = 1 = 1 ≈ 0.0077 λ m x 130.55 1
例6(P114) X ~ N(µ, σ2): -1.20, 0.82, 0.12, N( 0.45, -0.85, -0.30. Solution 两个参数待估计. 两个参数待估计.
µ1 = E( X ) = µ
µ2 = E( X 2 ) = D( X ) + (E( X ))2 = σ 2 + µ2
1 k k k mk = x1 + x2 +L+ xn , k =1,2,3,L n 1 m = ( x1 + x2 +L+ xn ) = x 1 n
(
)
1 k P k k X1 + X2 +L+ Xn →µk , k =1,2,3,L n
(
)
(θ1,θ2,...,θk )?
假定总体X的前k 假定总体X的前k阶矩 µ1, µ2 ,L, µk已知(?): 已知(
例2(P112) X ~ E(λ), λ(?) : X1, X2, …, Xn.
例3(P113) X ~ N(µ, σ2)(?) : X1, X2, …, Xn. N(
统计学 第七章 参数估计
[
]
2 χα (n) （n）的α 分位数，记为k≜ n k≜
抽样分布
（3）性质 • 若X服从χ2 （n），则均值E（X）=n ，方差 D（X） =2n 。 • χ2分布具有可加性。若 X1，X2相互独立，
X1～ χ2（n1） ，X2～χ２（n2）
则（X1＋X2）～χ２（ｎ１＋n２） • 当ｎ→∞时，χ２分布渐进于正态分布
σ
2
~ χ (n −1)
2
第三节两个总体参数的区 间估计（112页）
• • • • • • • 一、两个总体均值之差的区间估计 （一）两个总体均值之差的估计：独立样本 大样本：近似于正态分布 小样本： （1）两个总体的方差均已知，近似于正态分布 （2）两个总体的方差均未知但相等，近似于ｔ分布 （3）两个服从正态分布的总体的方差均未知且不等， 但样本容量相等，近似于ｔ分布 • （4）两个总体的方差均未知且不等，样本容量也不 等，近似于ｔ分布，自由度为V
• 解：求（3）的计算步骤： • ①求样本指标：
x ＝1000小时
σ＝50 （小时）
µ x＝
σ
n
＝
50 100
＝（小时） 5
• ②根据给定的F（t）＝95%，查概率表得t＝1.96。 • ③根据∆x＝t×µx＝1.96×5＝9.8，计算总体平均耐 用时间的上、下限： x − ∆ x＝1000－9.8＝990.（小时） 2 • 下限 x ＋∆ x＝1000＋9.8＝1009 .（小时） 8 • 上限 • 所以，以95%的概率保证程度估计该批产品的平均耐 用时间在990.2～1009.8小时之间。
f (x;θ ) 其中 θ
或概率密度为
是未知参数。 是未知参数。
如何求极大似然估 计量呢？ 计量呢？
求最大似然估计量的一般步骤为
个样本,求 p的最大似然估计量.
一个样本值,
似然函数 L( p) p xi (1 p)1 xi
i 1
n
p i 1 (1 p)
xi
n
xi
i 1
n
,
n n ln L( p) xi ln p n xi ln(1 p), i 1 i 1
似然估计值。
ˆ 需要注意的是，最大似然估计值 i
ˆ ˆ x , x ,...,x 依赖于样本值，即 i i 1 2 n
i 1,2...,m 若将上式中样本值 x1 , x2 ,...,xn
替换成样本
1,
2
,..., n
则所得的
ˆ ˆ , ..., i i 1 2, n
例2 设总体 ~ N ( , 2 ), , 2为未知参数,
x1 , x2 , , xn 是来自 的一个样本值, 求 和 2 的最大似然估计量.
解
的概率密度为
1 p( x; , 2 ) e 2π
( x )2 2 2
,
似然函数为
L( , )
例 ~ N (, ), , 未知, 即得, 的矩估计量
2 2 2
ˆ ,
ˆ2
一般地: 1 n 用样本均值 i作为总体的均值的矩估计, n i 1 1 n 用样本二阶中心矩 m2 (i )2 作为总体的 n i 1
1 n (i )2 . n i 1
这是一个包含 k 个未知参数 1 , 2 ,, k 的方程组 .
(3).解出其中 1 , 2 ,, k ,
ˆ , ˆ ,, ˆ 表示. 用 1 2 k ˆ , ˆ ,, ˆ 分别作为 (4).用方程组的解 1 , 2 ,, k的 1 2 k
点估计
值 (x1, x2 , , xn ) 的邻域内的概率L()达到最大，即
L(x1, x2, , xn,ˆ) max L(x1, x2, , xn,)
则称 ˆ 为参数的极大似然估计值。
似然函数:
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 ( X1, X 2,, X n ) 的联合分布律
2.估计量不必唯一,同一参数可以构造不同的统计量用以估计.
因此有一个估计量好环的比较——评价估计量好环的准则.
第二节 估计方法
两种常用的构造估计量的方法： 矩估计法 极大似然估计法
一.矩估计法 • 定义：用样本矩来代替总体矩,从而得到总体分布 中参数的一种估计.这种估计方法称为矩估计法. 它的思想实质是用样本的经验分布和样本矩去替
了了解该地区中学生的平均身高.今从中抽取n个人。
测得其身高 X1, X 2 ,, X n ，由此估计平均身高μ,该
问题的模型是:
1
2
n
exp
1
2
2
n Xi 2 ,
i 1
其中参数θ(μ,σ2),参数空间 , 2 R, 20，估
数
估
计
区间估计
估计未知参数的取值范围， 并使此范围包含未知参数的
真值的概率为给定的值
第一节 点估计问题
设总体X的分布函数 F（x，θ）是已知的 ，θ是未知的分布
参数，参数θ的所有可能取值组成的集合称为参数空间，常用Θ 表示，参数估计问题就是根据样本对上述未知参数做出估计。
当X为离散时，F（x，θ）为分布律；当X为连续时，F（x，θ）
求点估计量的方法
求点估计量的方法点估计是统计学中的一个重要概念，它指的是使用样本数据推断总体参数的值。
点估计量是根据样本数据计算出来的单个数值，用于估计总体参数。
在统计学中，点估计量的选择方法涉及到估计的目标、样本的特征以及总体的分布情况等多个因素。
以下将介绍几种常见的点估计方法及其应用。
1. 最大似然估计（Maximum Likelihood Estimation, MLE）最大似然估计是一种常见的点估计方法，它通过寻找使观测到的样本数据出现的概率最大化的参数值来估计总体参数。
最大似然估计的基本思想是，通过选择使得数据观测到的概率最大的参数值，以此来推断总体中未观测到的真实参数。
2. 矩估计（Method of Moments, MOM）矩估计是一种使用样本矩来估计总体矩的方法。
矩估计的基本思想是，将样本矩与总体矩匹配，并使用样本矩的估计值来估计总体参数。
矩估计法的优点是计算简单、直观，并且适用于各种分布形式的总体。
3. 最小二乘估计（Least Squares Estimation, LSE）最小二乘估计是一种常见的回归分析中的点估计方法，它通过最小化观测到的数据与回归方程所预测的数值之间的差异来估计回归系数。
最小二乘估计的基本思想是，选择使得观测数据与回归方程拟合最优的参数值。
4. 贝叶斯估计（Bayesian Estimation）贝叶斯估计是一种基于贝叶斯统计理论的点估计方法。
贝叶斯估计的基本思想是，在给定先验概率分布的情况下，通过计算后验概率分布来估计总体参数。
贝叶斯估计与传统的频率学派的估计方法不同，它将概率解释为一种主观的度量，更加注重个体先验知识的利用。
5. 期望最大化算法（Expectation-Maximization Algorithm, EM）期望最大化算法是一种在潜变量模型中用于估计参数的迭代算法。
EM 算法的基本思想是，在潜变量模型中，将观测数据看作是已知的，需要估计的是未观测到的潜变量以及模型参数。
中国科技大学概率论与数理统计讲义
中国科技大学概率论与数理统计讲义第一节点估计一、点估计问题的提法二、估计量的求法三、小结一、点估计问题的提法设总体某的分布函数形式已知,但它的一个或多个参数为未知,借助于总体某的一个样本来估计总体未知参数的值的问题称为点估计问题.例1在某炸药制造厂,一天中发生着火现象的次数某是一个随机变量,假设它服从以0为参数的泊松分布,参数为未知,设有以下的样本值,试估计参数.着火次数k发生k次着火的天数nk2345675905422621250所以E(某).解因为某~π(),用样本均值来估计总体的均值E(某).1某(075190254322250nk465261)1.22.k0k06knk6故E(某)的估计为1.22.点估计问题的一般提法设总体某的分布函数F(某;)的形式为已知,是待估参数.某1,某2,,某n是某的一个样本,某1,某2,,某n为相应的一个样本值.点估计问题就是要构造一个适当的统计量(某1,某2,,某n),用它的观察值(某1,某2,,某n)来估计未知参数.(某1,某2,,某n)称为的估计量.通称估计,(某1,某2,,某n)称为的估计值.简记为.例2在某纺织厂细纱机上的断头次数某是一个随机变量,假设它服从以0为参数的泊松分布,参数为未知,现检查了150只纱锭在某一时间段内断头的次数,数据如下,试估计参数.断头次数k断头k次的纱锭数nk234564560329211150解先确定一个统计量某,再计算出某的观察值某,把某作为参数的估计值.某1.133.的估计值为1.133.二、估计量的求法由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,如何求估计量是关键问题.常用构造估计量的方法:(两种)矩估计法和最大似然估计法.1.矩估计法设某为连续型随机变量,其概率密度为f(某;1,2,,k),或某为离散型随机变量,其分布律为P{某某}p(某;1,2,,k),其中1,2,,k为待估参数,若某1,某2,,某n为来自某的样本，假设总体某的前k阶矩存在,且均为1,2,,k的函数,即lE(某)某lf(某;1,2,,k)d某(某为连续型)l或lE(某l)某R某某lp(某;1,2,,k),(某为离散型)其中R某是某可能取值的范围,l1,2,,k1nl因为样本矩Al某i依概率收敛于相应的ni1总体矩l(l1,2,,k),样本矩的连续函数依概率收敛于相应的总体矩的连续函数.矩估计法的定义用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法.矩估计法的具体做法:令lAl,l1,2,,k.这是一个包含k个未知参数1,2,,k的方程组,解出其中1,2,,k.用方程组的解1,2,,k分别作为1,2,,k的估计量,这个估计量称为矩估计量.矩估计量的观察值称为矩估计值.例3设总体某在[0,]上服从均匀分布,其中(0)未知,(某1,某2,,某n)是来自总体某的样本,求的估计量.解因为1E(某)22,根据矩估计法,令所以2某A1某,为所求的估计量.例4设总体某在[a,b]上服从均匀分布,其中a,b未知,(某1,某2,,某n)是来自总体某的样本,求a,b的估计量.ab1E(某)解,2ab2ab2,2E(某2)D(某)[E(某)]2124nab1令A1某i,2ni11n(ab)2(ab)22A2某i,ni1124ab2A1,即2ba12(A2A1).解方程组得到a,b的矩估计量分别为3n(某i某)2,aA13(A2A1)某ni123nA13(A2A12)某(某i某)2.bni1例5设总体某服从几何分布,即有分布律P{某k}p(1p)k1体某的样本,求p的估计量.(k1,2,),其中p(0p1)未知,(某1,某2,,某n)是来自总解1E(某)kp(1p)k1k11,p1令A1某,p1所以p为所求p的估计量.某例6设总体某的均值和方差2都存在,且有20,但和2均为未知,又设某1,某2,,某n是一个样本,求和2的矩估计量.1E(某),解2E(某2)D(某)[E(某)]222,A1,令22A2.解方程组得到矩估计量分别为A1某,1n122A2A1某i2某2(某i某)2.ni1ni1n上例表明:总体均值与方差的矩估计量的表达式不因不同的总体分布而异.例某~N(,2),,2未知,即得,2的矩估计量1n22某,(某i某).ni1一般地,1n用样本均值某某i作为总体某的均值的矩估计,ni11n用样本二阶中心矩B2(某i某)2作为总体ni1某的方差的矩估计.2.最大似然估计法(1)设总体某属离散型似然函数的定义设分布律P{某k}p(某;),为待估参数,,(其中是可能的取值范围)某1,某2,,某n是来自总体某的样本,n则某1,某2,,某n的联合分布律为p(某i;).i1又设某1,某2,,某n为相应于样本某1,某2,,某n的一个样本值.则样本某1,某2,,某n取到观察值某1,某2,,某n的概率,即事件某1某1,某2某2,,某n某n发生的概率为L()L(某1,某2,,某n;)p(某i;),,i1nL()称为样本似然函数.最大似然估计法得到样本值某1,某2,,某n时,选取使似然函数L()取得最大值的作为未知参数的估计值,即L(某1,某2,,某n;)ma某L(某1,某2,,某n;).(其中是可能的取值范围)这样得到的与样本值某1,某2,,某n有关,记为(某1,某2,,某n),参数的最大似然估计值,(某1,某2,,某n)参数的最大似然估计量.(2)设总体某属连续型似然函数的定义设概率密度为f(某;),为待估参数,,(其中是可能的取值范围)某1,某2,,某n是来自总体某的样本,n 则某1,某2,,某n的联合密度为f(某i;).i1又设某1,某2,,某n为相应于样本某1,某2,,某n的一个样本值.。
统计学,刘照德06-1第六章 参数估计
第一节 点估计
点估计的求解方法主要有 ： • 矩估计法 • 最大似然估计法
第一节 点估计
一 、矩估计法
• 矩估计法是一种常用的估计方法，其基本 思想是，用样本原点矩作为总体原点矩的 估计。
第一节 点估计
• 设k个参数 ( , , )，求 k个参数 ˆ (ˆ ,ˆ ,ˆ ) 矩估计 需要建立k个方程，方法是：设总体 的一个样本观测值是 (x , x ,, x ) ，其l阶原点 1 A x 矩 ，总体观测量X的l阶原点矩 n ml E( X l ) ml ( ) ，用样本原点矩Al作为总体 原点矩ml的估计，得出k个方程Al =ml(θ )(l =1,…,k)，解此方程组得出的 即为参数 的矩 估计。
对于给定的抽样方法 ，不同的抽样，就有不同的 ˆ , ˆ) 估计区间 ( 1 2
在用同样方法构造的总体参数的多个估计区间 中，包含总体参数真值的区间所占的比例称为 置信水平，表示为 (1 - 。 2.为是未包含总体参数的区间所占的比例。 •
3. 常用的置信水平值有 99%, 95%, 90%
第一节点估计??????????222221???xexdxemxem??????2221??????aa??????21221??aaa????????????????niiniixxnxxnx12122211?????二最大似然估计法?最大似然方法的基本思想是固定样本观测值在可能的取值中挑选使似然函数达到最大从而概率p达到最大的作为参数的估计
1 2
ˆ) P(
ˆ 的抽样分布 1
B A
ˆ2 的抽样分布
ˆ
第一节 点估计
• 3．一致性 依 设 为 的一个估计量，若当 n 时， ，则称 为 的一致估计量。此即 概率收敛于 随着样本容量n的增大，点估计量 越来越接近 被估总体参数 。
6.1点估计
矩法估计、最大似然估计
一、点估计
设总体 X 的分布函数F ( x; )的形式为已知 ,
是待估参数 X 1 , X 2 ,, X n 是 X 的一个样本 . . ,
借助于总体 X 的一个样本来估计总体未知参数的值的 问题称为点估计问题.
点估计问题就是要构造 一个适当的统计量 ˆ( X 1 , X 2 ,, X n ), ˆ 用它的观察值 ( x , x , , x )来估计未知参数 .
四、 最大似然估计法
……99个黑球
……99个白球
甲
乙
现在随机抽取一箱，并从中随机抽取一球，取得是白球，问： 该球取自哪一个箱子？
例题4
p( X k ) p k (1 p)1k
k 0,1
• 设产品分为合格和不合格品两种。X=0表示合格， X=1表示不合格，X~b(1,p)其中p是未知的不合 格品率。 • 现抽取n个产品看其是否合格，得到样本
假设总体X 的前k 阶原点矩 k 都存在,
并且未知参数可以表达 为原点矩的函数
j j ( 1 , 2 k ) ,
j 1, 2,, k .
j 1, 2,, k .
ˆ 对所有的 j (0 j k ) 有 j j (a1 , a 2 a k ) , 其中a1 , a 2 a k 是前k阶样本原点矩。
a1 , 令 2 2 a2 .
不因不同的总体分布而异.
ˆ 解方程组得到矩估计量分别为 A1 X ,
1 n 1 2 2 A2 A1 X i 2 X 2 ( X i X )2 . ˆ n i 1 n i 1
n
一般地,
1 n 用样本均值X X i作为总体X的均值的矩估计 , n i 1
参数估计
第九章参数估计抽样的真正目的在于根据已知的统计量来估计总体参数。
检验特定假设有一定用处，但估计方法的用处更大。
基本上有两种估计，即点估计和区间估计。
第一节点估计点估计也即点值估计，是以一个最适当的样本统计值来代表总体参数值。
为了确定每一种估计究竟如何，就必须掌握某种标准。
估计量如果具有无偏性、一致性和有效性这三个要求或标准，就可以认为这种统计量是总体参数的合理估计或最佳估计。
1．无偏性如果统计量的抽样分布的均值恰好等于被估计的参数之值，那么这一估计便可以认为是无偏估计。
换句话说，从最终的结果来看，估计量的期望值就是参数本身。
2．一致性虽然随机样本和总体之间存在一定的误差，但当样本容量逐渐增加时，统计量越来越接近总体参数，满足这种情况，我们就说该统计量对总体参数是一个一致的估计量。
3．有效性估计量的有效性指统计量的抽样分布集中在真实参数周围的程度。
总而言之，如果一个估计量满足无偏性、一致性和有效性这三条准则，就可称其为最佳估计量。
第二节区间估计如果总体均值正好就是样本的均值，这当然非常好。
但如果两者不尽相同，点估计往往会造成一些不必要的误解。
在许多场合，人们宁愿在原来点估计值两边加一个区间，使得我们对参数在预料之中有相当把握。
因此在推论统计中我们更多采用的是区间估计的方法。
所谓区间估计，就是在一定的抽样平均误差内设一个可置信的区间，然后联系到这个区间的精度，将样本的统计值推断为总体的参数值。
1.精确性和可靠性区间估计的任务是，在点估计值的两侧设置一个区间，使得总体参数被估计到的概率大大增加。
当然，设置一个区间是很容易的，当我们对参数被估计到的信心不足时，我们总可以放宽区间。
如果这个区间的大小不受限制，我们就可以把参数被估计到的信心提高到任何水平。
但是区间加大，估计的效度随之降低。
当我们的信心提高到绝对时，估计的价值也随之丧失贻尽。
这就是说，还存在需要考虑的另一方面——区间估计的精确性问题。
这样一来，我们又宁愿估计区间要尽量小一点，最好就是点估计。
点估计的求法
μ1 解出 θ μ1 1
X θ 用 A1 X 代替 1 , 故得 θ 的矩估计量为： X 1
由P141例2知：
不论总体为何分布，总体均值的矩估计量总是 X，
（样本的二阶中心矩） 总体方差的矩估计量总是 B 2
即： ˆ μ X
1 ˆ B2 ( X i X ) n i 1
n
n
i 1
i 1
两边取对数，得 ln L( ) n ln( 1 ) ln xi
对
n d ln L( ) n 求导,并令其为0， ln xi 0 d 1 i 1
n
i 1
得 的极大似然估计值： 1 所以 的极大似然估计量为：
1
n
n ln xi
i 1 n
1
n
ln x
i 1
n
i
ln X
i 1
n
i
例5 设总体X的分布律
1 2 X 0 P θ 2 2θ ( 1 θ ) θ 2
3 1 2θ
1 其中θ （0 θ ） 是未知参数，3，1，3，0，3，1，2 2 ，3，是来自总体X的样本观察值,求参数θ的极大似然
θ θ 1 例2.设总体X的概率密度为 f ( x, θ ) x 0
x 1 其它
其中 θ ( θ 1)是未知参数，求 θ 的矩估计量 解:μ1 E ( X ) xf ( x , θ )dx 1
θ dx θ x
θ θ | θ 1 (1 θ ) x θ 1 1
第二节
点估计的求法
一、矩估计法 二、极大似然估计法
7-13
例1. 设总体 X ~ B( m, p), 其中p 未知， X1, X2,…, Xn 为总体的样本, 求p 的矩估计量. 解： 1 E ( X ) mp
概率参数估计方法
第一部分 点估计的方法
1. 矩估计法 2. 极大似然法 3. 最小二乘法
4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
第一节 矩 估 计
可能产生样本值X1,X2,…,Xn的一种度量 .
极大似然估计法就是用使L(θ)达到最大
值的ˆ去估计θ.
L(ˆ) max L( )
称ˆ 为θ的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合概率函数(或 (2) 联合密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 θ看作自变量, 得到 似然函数L(θ); (3) 求似然函数L(θ) 的最大值点(常常转化为 求ln L(θ)的最大值点) ，即θ的MLE;
2 1
ቤተ መጻሕፍቲ ባይዱ
2 2
n1
n2
2 1
2 2
n1
n2
正 态
1
2 1
2 未知
2
2 ( X Y t S
2
1 n1
_________
1 1 2 X Y t s
)
n2
1 2 X Y t s
11
n1
n2
11
n1
n2
____
总 体
12
2 2
1, 2
未知
(
S12 S22
1 F /2
,
S12 S22
这个例子所作的推断已经体现了极大似 然法的基本思想 .
极大似然估计原理：
点估计和区间估计公式
点估计和区间估计公式估计是统计学中的一个重要分支，它是通过样本数据对总体参数进行推断的过程。
估计可以分为点估计和区间估计。
在本文中，我们将介绍点估计和区间估计的基本概念和公式。
一、点估计点估计是通过样本数据估计总体参数的一种方法。
它的基本思想是利用样本数据的统计量，如平均值、标准差等，来估计总体参数的值。
点估计得到的结果通常是一个单独的数值，称为点估计量。
点估计量通常用希腊字母表示，如θ̂，表示总体参数的估计值。
点估计的公式如下：θ̂=g(X1,X2,...,Xn)其中，θ̂表示总体参数的估计值，g()表示样本数据的某种统计量，如平均值、标准差等，X1,X2,...,Xn表示样本数据。
例如，假设我们要估计某个城市的人均收入，我们可以通过抽取该城市的一部分居民的收入数据来进行估计。
我们可以利用样本数据的平均值来估计总体参数的值，即：θ̂=1/n*ΣXi其中，θ̂表示总体参数的估计值，n表示样本容量，Xi表示第i个样本数据。
二、区间估计区间估计是指通过样本数据构造一个区间，该区间包含总体参数真实值的概率较高。
区间估计得到的结果是一个范围，称为置信区间。
置信区间的长度取决于样本容量和置信水平。
置信水平通常为95%或99%。
区间估计的公式如下：(θ̂-zα/2*σ/√n, θ̂+zα/2*σ/√n)其中，θ̂表示总体参数的点估计值，zα/2表示标准正态分布的上分位数，α表示置信水平，σ表示总体参数的标准差，n表示样本容量。
例如，假设我们要估计某个城市的人均收入，我们可以通过抽取该城市的一部分居民的收入数据来进行估计。
我们可以构造一个置信水平为95%的置信区间来估计总体参数的值，即：(θ̂-1.96*σ/√n, θ̂+1.96*σ/√n)其中，θ̂表示总体参数的点估计值，σ表示总体参数的标准差，n 表示样本容量。
三、总结点估计和区间估计是统计学中常用的估计方法。
点估计通过样本数据的统计量来估计总体参数的值，得到的结果是一个单独的数值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
区间估计
数理统计
数理统计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N(,0.12)）
现从该总体选取容量为5的样本，我们的任
务是要根据选出的样本（5个数）求出总体均值
的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计 为1.68， 这是点估计. 估计在区间 [1.57, 1.84] 内，这是区间估计.
作为 的估计值 . T(X1,X2,…Xn) 称为参数 的点估计量， 把样本值代入T(X1,X2,…Xn) 中，得到 的一个点
估计值 .
数理统计
我们知道,若 X~Nμ,σ2 ,则 E(X)μ.
由大数定律,
样本体重的平均值
ln i m P{n 1| i n1Xi |}1
自然想到把样本体重的平均值作为总体平均体重的
… 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法
数理统计
设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计
的某个已知函数 g( ).
这类问题称为参数估计.
点估计
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
数理统计
数理统计
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
作出推断
统计量
研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质.
参数估计
数理统计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.
估计新生儿的体重
估计废品率 估计湖中鱼数
在参数估计问题
估计降雨量 中，假定总体分 布形式已知，未
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
(3) 求似然函数L() 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
其他
X1,X2， L,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
求解方程：
dlnL() 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不
通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
数理统计
稍事休息
数理统计
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
n
pxi (1p)1xi
i1
0 1 Xi ~ 1 p i1
n
n
xi
n xi
L(p)pi1 (1p) i1
数理统计
对数似然函数为：
n
n
ln L (p ) x iln p )( (n x i)ln 1 (p )
数理统计
第一节 参数的点估计
点估计概念 求估计量的方法 课堂练习 小结 布置作业
数理统计
引言 上一讲，我们介绍了总体、样本、简
单随机样本、统计量和抽样分布的概念， 介绍了统计中常用的三大分布，给出了几 个重要的抽样分布定理 . 它们是进一步学 习统计推断的基础 .
总体
随机抽样
样 本 描述
数理统计
若总体 X 的数学期望 EXμ有限, 则有
X
1 n
n i 1
Xi
P E(X)μ
Ak
1 n
n i1
Xik
P E ( X k ) μ k ( k 1 ,2 ,L )
g(A 1,A 2,L,A k) P g (μ 1 ,μ 2 ,L ,μ k) 其中 g 为连续函数 .
数理统计
最大似然估计法就是用使 L( ) 达到最大值的 ˆ 去估计.
L(ˆ)maLx()
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ$(X1,K,Xn)称为 θ 的最大似然估计量 .
两点说明：
数理统计
1、求似然函数L() 的最大值点，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL() 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是的一个可微函数。通过
i 1
i 1
对p求导并令其为0，
数理统计
dld n L (p p)1 pi n 1xi1 1p(ni n 1xi)=0
得
pˆ
1 n
n i1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X 1,K,Xn)n 1i n1Xi X
数理统计
求最大似然估计(MLE)的一般步骤是：
一个估计.
用样本体重的均值 X 估计 μ .
类似地，用样本体重的方差 S2 估计σ2.
X
1 n
n i1
Xi ,
S2 n11in1(Xi X)2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
若取n=3，如何通过x来估计p值
先计算抽样的可能结果x在这两种p值之下的概
率：
x 0 1 23
P
x,
3 4
1
64
9 64
27 64 27 64
P
x,
1 4
27
64
27 64
9 64
1 64
从上表看到：
数理统计
x
0,P
0,1 4
27 64
P
0
,
3 4
1 64
,取
µp
1 4
更
合
理
；
x 1 类似；
都是这 k 个参数的函数,记为：
数理统计
μ i μ i(θ 1 ,θ 2 ,L ,θ k ) i=1,2, … ,k
从这 k 个方程中解出
θjθj(μ 1,μ 2,L,μ k) j=1,2,…,k
那么用诸 μ i 的估计量 Ai 分别代替上式中的诸 μ i ,
即可得诸 θ
的矩估计量 ：
j
θ ˆjθj(A 1,A 2,L,A k) j=1,2,…,k
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
数理统计
L() f (x1,x2,…, xn; )
L( )看作参数的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
x
2,P
2
,
1 4
9 64
P
2
,
3 4
27 ,取 64
µp
3更合 4
理；
x 3类 似 ；
于
是
有
：
ˆp
x
1 4
x 0 ,1
3 4
x 2,3
数理统计
最大似然原理：
对每个x,取µpx,使P x;µpx Px;p',
P'是不同于ˆpx的另一值；
数理统计
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
ba
12(μ2 μ12)
解得
aμ1 3(μ2μ12) bμ1 3(μ2μ12)
于是 a , b 的矩估计量为
数理统计
总体矩
a$X
3n ni1(Xi
X)2
,
样本矩
b$X
3n ni1(Xi
X)2
数理统计
例3 设总体 X 的均值 μ 和方差σ 2 ( 0) 都存 在 , μ , σ 2 未知 . X1,K,Xn 是来自 X 的样本 , 试 求 μ , σ 2 的矩估计量 .
解 μ1EX μ
μ2EX2 D (X)[E(X)]2σ2 μ2
解得
μ μ1 σ2μ2μ12
于是 μ , σ 2 的矩估计量为