2-似然估计和无偏性
概率论与数理统计、概率论03-第46讲 估计量的评价准则,无偏性_47
例1：设总体X的一阶和二阶矩存在，
E X , DX 2.
(1)证明:样本均值X和样本方差S 2分别是
和 2的无偏估计； (2)判断:B2是否为 2的无偏估计?
是否为 2的渐近无偏估计?
7
(1)证:因X1, X2 ,, Xn与X同分布,故有:
E
X
E
1 n
n i 1
X
i
1 n
n i1
由ˆ X1 ,, X n 给出的估计的平均恰是，
从 而 无 偏 性 保 证 了 ˆ没 有 系 统 误 差 .
5
例如，工厂长期为商家提供某种商品， 假设生产过程相对稳定，产品合格率为 θ，虽然一批货的合格率可能会高于θ ， 或低于θ ，但无偏性能够保证在较长一 段时间内合格率接近θ，所以双方互不 吃亏。但作为顾客购买商品，只有二种 可能，即买到的是合格品或不合格品， 此时无偏性没有意义。
E
Xi
1 n
n
故X 是的无偏估计.
E S2 2 ——见第42讲例2
故 S 2是 2的 无 偏 估 计 .
8
(2) B2
n 1S2 n
E(B2)
n 1 n
E
S2
n
1 n
2
2
故B2不是 2的无偏估计.
故lnimBE2是(B2
) lim n 的 n渐 近
2
无n1偏
2
估计
2
.
9
例2:设总体X 服从均匀分布U (0, ),是
则称ˆ是的一个无偏估计量.
若E ˆ ,那么 E ˆ 称为估计量ˆ的偏差, 若 lim E ˆ ,则称ˆ是的渐近无偏估计量.
n
3
• 无偏性：E ˆ
电子科大概率论C7_2 估计量的优良性准则
电子科技大学
估计量的优良性准则
19.2.10
可见，一个参数的无偏估计可以有很多.
无偏估计只能保证估计无系统误差：
ˆ ) 0 E (
θ
ˆ 的取值在θ及其附近越密集越好， 希望 θ
其方差应尽量小.
2)
3 2 D(Y ) E (Y ) E (Y ) , 80 3 2 2 2 D( Z ) E ( Z ) E ( Z ) , 80 4 D( Y ) D(4 Z ) 3
2 2
4 即 max X i 比 2 4 min X i 的方差小 . 3 1 i 3 1 i 3
19.2.10
证明 S2 是σ2 的无偏估计量
例1 设总体的方差 D(X)=σ2 >0，则样本方差S2
是σ2的无偏估计. 证
( n 1) S ( X i X ) X i nX 2
2 2 2 i 1 i 1 n n
( n 1) E ( S 2 ) E ( X i 2 ) nE ( X 2 )
估计量的优良性准则
19.2.10
§7.2 估计量的优良性准则 对于总体的一个参数，可用各种不同的方法去 估计它，因此一个参数的估计量不唯一. 如 X~U(0,θ) ,θ的矩法估计量为 2 X ， 极大似然估计量为 max{ X i }
1 i n
在众多的估计量中选哪一个更好？
选取的标准是什么？ 三个常用准则：无偏性、有效性、相合性.
1 n 2 D X i n 1 n 2 P X i 2 i 1 2 n i 1
计量经济学第三版课后习题答案第二章 经典单方程计量经济学模型：一元线性回归模型
第二章经典单方程计量经济学模型：一元线性回归模型一、内容提要本章介绍了回归分析的基本思想与基本方法。
首先，本章从总体回归模型与总体回归函数、样本回归模型与样本回归函数这两组概念开始，建立了回归分析的基本思想。
总体回归函数是对总体变量间关系的定量表述，由总体回归模型在若干基本假设下得到，但它只是建立在理论之上，在现实中只能先从总体中抽取一个样本，获得样本回归函数，并用它对总体回归函数做出统计推断。
本章的一个重点是如何获取线性的样本回归函数，主要涉及到普通最小二乘法（OLS）的学习与掌握。
同时，也介绍了极大似然估计法（ML）以及矩估计法（MM）。
本章的另一个重点是对样本回归函数能否代表总体回归函数进行统计推断，即进行所谓的统计检验。
统计检验包括两个方面，一是先检验样本回归函数与样本点的“拟合优度”，第二是检验样本回归函数与总体回归函数的“接近”程度。
后者又包括两个层次：第一，检验解释变量对被解释变量是否存在着显著的线性影响关系，通过变量的t检验完成；第二，检验回归函数与总体回归函数的“接近”程度，通过参数估计值的“区间检验”完成。
本章还有三方面的内容不容忽视。
其一，若干基本假设。
样本回归函数参数的估计以及对参数估计量的统计性质的分析以及所进行的统计推断都是建立在这些基本假设之上的。
其二，参数估计量统计性质的分析，包括小样本性质与大样本性质，尤其是无偏性、有效性与一致性构成了对样本估计量优劣的最主要的衡量准则。
Goss-markov定理表明OLS估计量是最佳线性无偏估计量。
其三，运用样本回归函数进行预测，包括被解释变量条件均值与个值的预测，以及预测置信区间的计算及其变化特征。
二、典型例题分析例1、令kids表示一名妇女生育孩子的数目，educ表示该妇女接受过教育的年数。
生育率对教育年数的简单回归模型为β+μβkids=educ+1（1）随机扰动项μ包含什么样的因素？它们可能与教育水平相关吗？（2）上述简单回归分析能够揭示教育对生育率在其他条件不变下的影响吗？请解释。
第四章 估计理论
估计理论通常是对以下三种情况而言： 估计理论通常是对以下三种情况而言： 一种情况是指根据观测样本直接对观测样本的 各类统计持性作出估计，如观测样本的均值， 各类统计持性作出估计，如观测样本的均值，均 方差，各阶矩，各阶累量，相关函数等作出的估 方差，各阶矩，各阶累量， 计，这类估计在随机信号分析和处理中是经常遇 到的一类估计。 到的一类估计。 第二种情况是根据观测的样本，对观测样本中的 第二种情况是根据观测的样本， 信号部分的未知特定参量作出估计 未知特定参量作出估计----参量估计 信号部分的未知特定参量作出估计 参量估计 第三种情况则是根据观测样本对随时间变化的 信号s(t) 作出其波形估计 过程（或波形）估计。 作出其波形估计 过程（或波形）估计。 波形估计---过程 信号
θˆ = ∫ θ f (θ \ Y ) dθ = E[θ \ Y ]
θ
θ 的条件均值
ˆ |≥ ∆ ˆ ) = 1, | θ − θ C (θ , θ 2 0, E lse
C (θˆ\Y ) = ∫ C (θ , θˆ ) f (θ \ Y ) d θ
θ
=
∫
θˆ −
∆ 2
−∞
ˆ ) f (θ \ Y ) dθ + ∞ ∆ (θ − θˆ ) f (θ \ Y ) d θ (θ − θ ∫ˆ
ˆ ˆ C(θ\Y) =∫ C(θ ,θ ) f (θ \ Y )dθ
θ
条件平均估计代价
ˆ 使平均估计代价最小等价于条件平均估计代价 C(θ\Y) 最小 .
ˆ) =| θ − θ |2 ˆ C (θ , θ
ˆ) = E （θ − θ ) 2 为估计的均方误差 。 ˆ 此时 C (θ ˆ 使 C (θ )最小的估计又称为最小均方误差 估计。
参数估计方法与实例例题和知识点总结
参数估计方法与实例例题和知识点总结一、参数估计的概念参数估计是指根据从总体中抽取的样本估计总体分布中包含的未知参数。
参数通常是描述总体分布的特征值，比如均值、方差、比例等。
二、参数估计的方法（一）点估计点估计就是用样本统计量来估计总体参数，给出一个具体的数值。
常见的点估计方法有矩估计法和最大似然估计法。
1、矩估计法矩估计法的基本思想是用样本矩来估计总体矩。
比如，用样本均值估计总体均值，用样本方差估计总体方差。
2、最大似然估计法最大似然估计法是求使得样本出现的概率最大的参数值。
它基于这样的想法：如果在一次抽样中得到了某个样本，那么这个样本出现概率最大的参数值就是总体参数的估计值。
（二）区间估计区间估计则是给出一个区间，认为总体参数以一定的概率落在这个区间内。
区间估计通常包含置信水平和置信区间两个概念。
置信水平表示区间包含总体参数的可靠程度，常见的置信水平有90%、95%和 99%。
置信区间则是根据样本数据计算得到的一个区间范围。
三、实例例题假设我们要研究某地区成年人的身高情况。
随机抽取了 100 名成年人，他们的身高数据如下（单位：厘米）：165, 170, 172, 168, 175, 180, 160, 178, 176, 169,（一）点估计1、用样本均值估计总体均值：计算这 100 个数据的均值，得到样本均值为 172 厘米。
因此，我们估计该地区成年人的平均身高约为 172 厘米。
2、用样本方差估计总体方差：计算样本方差，得到约为 25 平方厘米。
（二）区间估计假设我们要以 95%的置信水平估计总体均值的置信区间。
首先，根据样本数据计算样本标准差，然后查找标准正态分布表或使用相应的统计软件，得到置信系数。
最终计算出置信区间为（168，176）厘米。
这意味着我们有 95%的把握认为该地区成年人的平均身高在 168 厘米到 176 厘米之间。
四、知识点总结（一）点估计的评价标准1、无偏性：估计量的期望值等于被估计的参数。
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
2-似然估计和无偏性
1
ln
L(1 ,2
,,k
)
0
k
ln
L(1 ,2 ,,k
)
0
— —称为对数似然方程组
ln L( )称为对数似然函数
注：由最值的必要条件知最大似然估计一定是似然 方程组的解，但未必似然方程组的所有解都是最大 似然估计.严格的讲，解经过验证才能确定是否是最 大似然估计量.
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计.
ˆ
1 n
n
( xi
x )2
i 1
lg 的极大似然估计值为
lg lg
1 n
n
( xi
x )2
i 1
矩方法与最大似然方法的比较
注：与矩方法相比，最大似然估计法比对分布 函数族要了解更多。矩方法只需要知道前几阶 矩关于参数的函数形式，而最大似然估计法必 须知道概率或分布密度的函数形式.
解 由上例可知, 当
aˆ
1 2
x(1)
x(n)
aˆ
1 2
时, L 取最大值 1, 即
x(n)
1 2
aˆ
x(1)
1 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g( X1, X 2 ,, X n )
若满足
x( n )
1 2
g ( x1 ,
x2
,,
xn
)
x(1)
1 2
都可以作为 a 的估计量.
最大似然估计的不变性
设 ˆ 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射， 则 uˆ u(ˆ ) 是 u( ) 的最大似然估计值.
计量经济学名词解释和简答题
计量经济学第一部分：名词解释第一章1、模型：对现实的描述和模拟。
2、广义计量经济学：利用经济理论、统计学和数学定量研究经济现象的经济计量方法的统称，包括回归分析方法、投入产出分析方法、时间序列分析方法等。
3、狭义计量经济学：以揭示经济现象中的因果关系为目的，在数学上主要应用回归分析方法。
第二章1、总体回归函数：指在给定Xi 下Y 分布的总体均值与Xi 所形成的函数关系（或者说总体被解释变量的条件期望表示为解释变量的某种函数）。
2、样本回归函数：指从总体中抽出的关于Y ，X 的若干组值形成的样本所建立的回归函数。
3、随机的总体回归函数：含有随机干扰项的总体回归函数（是相对于条件期望形式而言的）。
4、线性回归模型：既指对变量是线性的，也指对参数β为线性的，即解释变量与参数β只以他们的1次方出现。
5、随机干扰项：即随机误差项，是一个随机变量，是针对总体回归函数而言的。
6、残差项：是一随机变量，是针对样本回归函数而言的。
7、条件期望：即条件均值，指X 取特定值Xi 时Y 的期望值。
8、回归系数：回归模型中βo ，β1等未知但却是固定的参数。
9、回归系数的估计量：指用¶µ01,ββ等表示的用已知样本提供的信息所估计出来总体未知参数的结果。
10、最小二乘法：又称最小平方法，指根据使估计的剩余平方和最小的原则确定样本回归函数的方法。
11、最大似然法：又称最大或然法，指用生产该样本概率最大的原则去确定样本回归函数的方法。
12、估计量的标准差：度量一个变量变化大小的测量值。
13、总离差平方和：用TSS 表示，用以度量被解释变量的总变动。
14、回归平方和：用ESS 表示：度量由解释变量变化引起的被解释变量的变化部分。
15、残差平方和：用RSS 表示：度量实际值与拟合值之间的差异，是由除解释变量以外的其他因素引起的被解释变量变化的部分。
16、协方差：用Cov （X ，Y ）表示，度量X,Y 两个变量关联程度的统计量。
计量经济学期末考试名词解释
1. 总体回归函数：在给定解释变量X i 条件下被解释变量Y i 的期望轨迹称为总体回归线，或更一般地称为总体回归曲线。
相应的函数：E(Y 〡X i )=f(X i )称为（双变量）总体回归函数（populationregressionfunction,PRF ）2. 样本回归函数：样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。
该线称为样本回归线。
记样本回归线的函数形式为：i i i X X f Y 10ˆˆ)(ˆββ+==称为样本回归函数（sampleregressionfunction ，SRF ）。
3. 随机的总体回归函数：函数 〡 或者在线性假设下， 式称为总体回归函数（方程）PRF 的随机设定形式。
表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。
由于方程中引入了随机项，成为计量经济学模型，因此也称为总体回归模型。
4. 线性回归模型：假设1、回归模型是正确设定的。
假设2、解释变量X 是确定性变量，不是随机变量，在重复抽样中取固定值。
假设3、解释变量X 在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X 的样本方差趋于一个非零的有限常数，即假设4、随机误差项具有零均值、同方差和不序列相关性：E(i )=0i=1,2,…,nVar(i )=2i=1,2,…,nCov(i,j )=0i≠ji,j=1,2,…,n假设5、随机误差项与解释变量X 之间不相关：Cov(X i ,i )=0i=1,2,…,n假设6、服从零均值、同方差、零协方差的正态分布i ~N(0,2)i=1,2,…,n以上假设也称为线性回归模型的经典假设，满足该假设的线性回归模型，也称为经典线性回归模型5. 随机误差项（ ）和残差项（ ）：（1）i 为观察值Y i 围绕它的期望值E(Y |X i )的离差，是一个不可观测的随机变量，又称为随机干扰项或随机误差项。
第二章 参数估计
ˆ = q ( X , K , X ) , q k k 1 n
k = 1, 2, L , m
(2.2)
ˆ 为 q 的矩估计， g ( x 若 q ) 为连续函数，则也称 g (qˆ k k k ) 为 g (q k ) 的矩估计.
【例 2.1】 设总体 X 服从参数为 l 的泊松分布，X 1 , K , X n 为来自总体的样本， 求l 的 矩估计. 解： a1 = EX = l
i =1
定义 2.1：设总体 X 的概率函数为 f ( x;q ) ， x1 ,L , x n 是来自总体的样本，则称
n
L(q ) = Õ f ( xi ;q )
i =1
(2.4)
为总体 X 对应样本 x1 ,L , x n 的似然函数.
L(q ) 越大，越有利于样本 x1 ,K , x n 被观察到.
-l ì l x e ï f ( x 0,1, 2, L 其它
或简写为
f ( x) =
-l l x e
x !
x = 0,1, 2, L
§2.1 点估计
我们经常会遇到这样的问题： 总体 X 的分布函数 F ( x,q ) 的形式已知， 但其中的参数q 未知， 希望利用 X 的样本 x1 ,K , x 这类问题称为参数的点估计 （point n 对 q 的值进行估计， estimation）问题. 比如，已知某种电子元件的寿命 X ~ N ( m , s ) ，即 X 的分布密度
P( X = xi ) = p( xi ,q ), i = 1, 2,L ,
其中q 为未知参数，q Î Q . 设 X 1 , K , X n 是来自总体 X 的一组样本， 观察值为 x1 ,K , x n .我们把观察到的样本看成 结果，而需要判断的是未知参数q 的取值，根据最大似然原理，应该选取一个最有利于结 果的发生的q 值作为 qˆ .
最小二乘估计量的性质
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘 要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计 极大似然估计 无偏性 有效性 一致性§1 引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n 的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§2 相关概念2.1 参数估计所谓参数估计，是指从样本),,,(21n X X X 中提取有关总体X 的信息，即构造样本的函数——统计量),,,(21n X X X g ，然后用样本值代入，求出统计量的观测值12(,,,)n g x x x ，用该值来作为相应待估参数的值。
此时，把统计量),,,(21n X X X g 称为参数的估计量，把),,(,21n x x x g 称为参数的估计值。
2.2 参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1） 点估计：指对总体分布中的参数θ，根据样本),,,(21n X X X 及样本值),,,(21n x x x ，构造一统计量),,,(21n X X X g ，将),,(,21n x x x g 作为θ的估计值，则称),,,(21n X X X g 为θ的点估计量，简称点估计，记为∧θ=),,,(21n X X X g 。
信号检测与估计知识点总结(2)
第三章 估计理论1. 估计的分类矩估计：直接对观测样本的统计特征作出估计。
参数估计：对观测样本中的信号的未知参数作出估计。
待定参数可以是未知的确定量，也可以是随机量。
点估计：对待定参量只给出单个估计值。
区间估计：给出待定参数的可能取值范围及置信度。
(置信度、置信区间) 波形估计：根据观测样本对被噪声污染的信号波形进行估计。
预测、滤波、平滑三种基本方式。
✓ 已知分布的估计✓ 分布未知或不需要分布的估计。
✓ 估计方法取决于采用的估计准则。
2. 估计器的性能评价✧ 无偏性：估计的统计均值等于真值。
✧ 渐进无偏性：随着样本量的增大估计值收敛于真值。
✧ 有效性：最小方差与实际估计方差的比值。
✧ 有效估计：最小方差无偏估计。
达到方差下限。
✧ 渐进有效估计：样本量趋近于无穷大时方差趋近于最小方差的无偏估计。
✧ 一致性：随着样本量的增大依概率收敛于真值。
✧ Cramer-Rao 界： 其中为Fisher 信息量。
3. 最小均方误差准则模型：假定： 是观测样本，它包含了有用信号 及干扰信号 ，其中 是待估计的信号随机参数。
根据观测样本对待测参数作出估计。
最小均方误差准则：估计的误差平方在统计平均的意义上是最小的。
即使达到最小值。
此时 从而得到的最小均方误差估计为： 即最小均方误差准则应是观测样本Y 一定前提下的条件均值。
需借助于条)()(1αα-≥F V ⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡∂∂=⎭⎬⎫⎩⎨⎧∂∂-=2212122);,(ln );,(ln )(αααααm m y y y p E y y y p E F )(),()(t n t s t y +=θ)(t n T N ),,,(21θθθθ=),(θts {}{})ˆ()ˆ()ˆ,(2θθθθθθ--=T E e E {}0)ˆ,(ˆ2=⎥⎦⎤⎢⎣⎡=MSE e E d d θθθθθθθθθd Y f Y MSE )|()(ˆ⎰=件概率密度求解，是无偏估计。
第6章 多元线性回归的向量表述
ˆ 是所有无偏估计
总结：
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是 具有最小方差的线性无偏估计量,即OLS估计量是BLUE估 计量。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
13
二、OLS估计量的渐近性质
1.OLS估计量是一致估计量
则：
ˆ ) E[( ˆ )( ˆ )' ] var( E{[( X ' X )1 X 'u ][( X ' X ) 1 X 'u ] } ( X ' X )1 X ' E (uu ' ) X ( X ' X )1 2 ( X ' X )1
'
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
8
随机误差项的方差 的估计
2
由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：
E(Q) E{tr[u ' ( I X ' ( X ' X )1 X )u]}
根据迹运算的性质tr(AB)=tr(BA),上式为：
把线性方程组写成矩阵的形式：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
3
1 X 11 Y1 1 X 12 Y 2 Yn 1 X 1n
X 21 X 22 X 2n
X k1 0 1 1 Xk2 2 2 X kn n k
关于参数估计
关于参数估计虽然⾮计算机专业，但因为⼀些原因打算学习西⽠书，可由于长时间没有碰过概率统计的知识，有所遗忘。
所以特意重新复习了⼀遍类似的知识，写在这⾥权当总结。
主要参考《概率论与数理统计》(陈希孺)。
参数估计就是根据样本推断总体的均值或者⽅差、或者总体分布的其他参数。
可以分两种，⼀种是点估计(估计⼀个参数的值)，另⼀种是区间估计(估计⼀个参数的区间)。
参数估计的⽅法有多种，各种估计⽅法得出的结果不⼀定相同，很难简单的说⼀个必定优于另⼀个。
点估计点估计主要有三种⽅法：矩估计、最⼤似然估计、贝叶斯估计。
矩估计定义k阶样本原点矩为 $$a_k=\frac{1}{n}\sum n_{i=1}X_i k$$若k=1则原点矩显然就是样本均值\bar{X}；再定义k阶样本中⼼矩为m_k=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^k.另⼀⽅⾯，总体分布设为f(x;\theta_1,\theta_2,...,\theta_k)则有m阶原点矩\alpha_m=\int x^mf(x;\theta_1,\theta_2,...,\theta_k){\rm d}x.矩估计的思想就是：令样本k阶矩等于总体k阶矩，得到⼀组⽅程，由此反解出\{\theta_i\}.⼀般原则是要求解n个参数，就选n个最低阶的矩，令它们相等并反解。
例题：设X_1,...,X_n为区间[\theta_1,\theta_2]上均匀分布总体中抽出的n个样本，估计出\theta_1,\theta_2.计算出样本中⼼矩m_1=\sum_iX_i/n和m_2=\sum_iX_i^2/n.再计算出总体中⼼矩分别为\frac{\theta_1+\theta_2}{2}和\frac{(\theta_1+\theta_2)^2}{12}，令它们对应相等，解出来两个\theta即可。
极⼤似然估计符号同前，样本(X_1,...,X_n)的联合概率密度(PDF)为f(x_1;\theta_1,...,\theta_k)f(x_2;\theta_1,...,\theta_k)...f(x_n;\theta_1,...,\theta_k).现在反过来，固定样本\{X_i\}⽽把上⾯PDF看作关于\{\theta_i\}的“密度函数”，加引号是因为实际上\{\theta_i\}是固定参数⽽⾮随机变量，这⾥可以叫做似然函数(likehood, ⽽⾮probability)。
估计量与参数
估计量与参数1. 介绍估计量与参数估计量和参数是统计学中常用的两个概念。
估计量是样本数据的函数，用于估计总体的参数。
而参数是总体的属性，可以通过样本数据的估计量来确定。
在统计学中，估计量与参数是非常重要的概念，它们可以帮助我们更好地了解和分析数据。
2. 估计量的定义和应用估计量是用于估计总体参数的一种函数。
它是由样本数据计算得出的，并用于推断总体的某些性质。
估计量的应用非常广泛，可以用于统计推断、统计检验等方面。
我们可以通过估计量的值来推断总体参数的值，从而了解总体的某些属性。
3. 估计量的性质估计量具有以下几个性质：（1）无偏性：如果估计量的期望值等于总体参数的真实值，则称估计量为无偏估计量。
（2）有效性：若两个估计量都是无偏估计量，但其中一个估计量的方差比另一个估计量的方差小，则称前者是效率更高的估计量。
（3）一致性：若估计量的方差趋于零，随着样本量的增加，其值趋近于总体的真实值，则称估计量是一致估计量。
4. 参数的定义和应用参数是总体的属性，是未知的固定数字，用于描述总体的某些特征。
参数具有很多种类，例如总体的均值、标准差、方差等。
我们可以通过样本数据来估计总体参数，从而了解总体的特征。
5. 参数估计方法参数估计是统计学中的一种常见方法，其目的是利用样本数据推断总体参数的值。
常见的参数估计方法有点估计和区间估计。
点估计：点估计是通过样本数据来估计总体参数的值。
常用的点估计方法有最大似然估计、最小方差无偏估计等。
区间估计：区间估计是建立在样本数据的基础上估计总体参数范围的一种方法。
常用的区间估计方法有置信区间法、中心极限定理等。
6. 参数估计的应用参数估计在实际应用中有着广泛的应用。
例如，在质量控制中，我们可以通过样本数据估计总体均值和标准差，从而判断产品是否合格；在医学研究中，我们可以通过样本数据来估计总体的发病率、死亡率等。
7. 总结估计量和参数是统计学中非常重要的概念。
估计量是用于估计总体参数的函数，而参数是总体的属性，用于描述总体的某些特征。
基于正态分布参数无偏估计的几个结果
基于正态分布参数无偏估计的几个结果正态分布是概率论和统计学中非常重要的一个分布类型，广泛应用于各个领域，包括自然科学、社会科学和工程学。
对于一个正态分布，我们通常需要估计其参数，包括均值和方差。
在本文中，我们将介绍基于正态分布参数的无偏估计的几个结果，并解释其含义和应用。
1.均值的无偏估计对于正态分布的均值μ，我们可以使用样本均值X的无偏估计。
假设我们有一个样本数据集x1，x2，...，xn，其中样本均值定义为X=(x1+x2+...+xn)/n。
我们可以证明，当样本量足够大时，样本均值X是均值μ的无偏估计量。
这意味着，在大样本下，样本均值的期望等于真实均值。
这个结果在很多统计分析中都是至关重要的。
例如，在质量控制中，我们可能需要估计一个产品的平均重量。
通过从已生产产品中随机抽取样本，并计算样本均值，我们可以无偏地估计真实均值。
这样，我们就可以判断该产品的质量是否符合要求。
2.方差的无偏估计对于正态分布的方差σ^2，我们可以使用样本方差S^2的无偏估计。
样本方差定义为S^2=(∑(xi-X)^2)/(n-1)，其中X是样本均值。
我们可以证明，当样本量足够大时，样本方差S^2是方差σ^2的无偏估计量。
无偏估计的方差对于确定估计的精确性非常重要。
例如，在金融风险管理中，我们可能需要估计一些投资组合的收益波动性。
通过从过去一段时间的收益数据中计算样本方差，我们可以无偏地估计真实方差。
这有助于我们确定投资组合的风险水平，并制定合适的风险控制策略。
3.最大似然估计最大似然估计是一种无偏估计方法，通常用于正态分布参数的估计。
对于一个给定的正态分布样本，最大似然估计通过求解似然函数的最大值来估计分布的参数。
假设我们有一个样本数据集x1，x2，...，xn，我们的目标是估计均值μ和方差σ^2对于均值μ的最大似然估计，似然函数L(μ，σ^2)=∏(1/√(2πσ^2))exp(-((xi-μ)^2)/(2σ^2))。
04-2.5 极大似然估计及估计量的无偏性
2.5 极大似然估计及估计量的无偏性
王学民
简单随机样本
❖ 简单随机样本（简称样本）：
➢ 一元情形：x1,x2,⋯ ,xn独立，且与总体x同分布。
➢ 多元情形：x1,x2,⋯ ,xn独立，且与总体x同分布。
❖ 设x~Np(μ, Σ) , Σ>0，x1,x2,⋯ ,xn是从中抽取的一个样本。
x
xi
x
rij
ˆ ij ˆi jjˆ
，其中Σˆ
ˆij
6
❖ 数据矩阵（或观测值矩阵）：
x1 x11 x12 x1 p
X
x 2
x 21
x 22
x 2p
x n
x n1
x n2
x np
1
μ和Σ的极大似然估计
❖ 由于总体分布的类型已知，故可考虑采用极大似然 估计，这是一种参数估计方法。
❖ 似然函数：不妨取
➢ 一元情形：
n
L , 2 f x1, x2,, x n f xi
i 1
➢ 多元情形：
n
L μ, Σ f x1, x2,, xn f xi
i 1
似然函数可以是样 本元正态情形： ❖ 多元正态情形：
L ˆ,ˆ 2 max L ,2
,2
n
ˆ x,
ˆ2
1 n
x
i 1
i x 2
L μˆ,Σˆ max L μ, Σ μ, Σ
，故
Σˆ是Σ的（略有偏差的）有偏估计。
θ可以是一个 向量或矩阵。
是Σ的渐近无 偏估计。
5
❖
S
n n 1
Σˆ
1 n 1
n i 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 n 1 n 2 2 2 证 前已证 ( X i X ) X i X n i 1 n i 1
E ( X i ) E ( X ) , Var( X i ) Var( X ) 2 2 E ( X ) E ( X ) , Var( X )
时, L 取最大值 1, 即
1 1 ˆ x( n ) a x(1) 2 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g ( X 1 , X 2 ,, X n )
若满足
1 1 x( n ) g ( x1 , x2 ,, xn ) x(1) 2 2
最大似然估计
问题：已知总体分布函 F ( x; )，密度函数 数 或分布列为f ( x; ), 其中 ( 1 , , k )是未知参数,
的参数空间，来自总体的样本为 X 1 , , X n )， ( 样本观察值( x1 , , x n ), 求的最大似然估计 .
1、若总体是离散型，样 ( X 1 , , X n )落入 本 ( x1 , , x n )的领域中之概率度量
n
因而
n 1 2 2 n 1 n 2 2 故 E (Xi X ) n 1 i 1
1 n 1 n 2 2 2 E ( X i X ) E( X i ) E( X ) n n i 1 i 1 2 2 2 2 ( ) ( ) n
1 n k 1 n E ( Ak ) E ( X i ) E ( X ik ) n i 1 n i 1
1 n k k n
特别地
(1) 样本均值 X是总体期望 E( X ) 的 无偏估计
(2) 样本二阶原点矩
二阶原点矩
1 n 2 A2 X i是总体 n i 1
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量.
3、但对于许多估计问题 ，求最大似然估计或似 然方程 的解，往往无法得到明 显的表达式。这时若已 知样本观 察值( x1 , , xn ), 可用各种最优化算法求 得最大似然估计 量的值.
似然函数只有当 a < xi < b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. ˆ ˆ 取 a x , b x
(1) ( n)
则对满足 a x(1) x( n ) b 的一切 a < b ,
1 1 都有 (b a )n ( x x )n ( n) (1)
P ( X 1 x1 , X 2 x2 , , X n xn ) f ( x1 ; ) f ( xn ; ) L( )
2、若总体是连续型，样 ( X 1 ,, X n )落入 本 ( x1 ,, xn )的领域中之概率度量
p( x1 , x2 ,, xn ) f ( x1 ; ) f ( xn ; ) L( )
证毕.
设总体为N ( , 2 ), X 1 , , X n 是样本，由上 例3 例知S n 是 的无偏估计，但 n不是的无偏估计. S 2 ( n 1) S n 证 已知Y ~ 2 ( n 1)，可知密度函数 2
2 2
n 1 2 2 n 1 y 1 1 EY 1 / 2 y 1 / 2 n- 1 y 2 e 2 dy 0 n 1 2 2 n 2 n n 2 2 n y 1 1 2 2 2 2 n 1 y e dy n 1 2 0 n 1 n 1 n 1 2 2 2 2 2 2 2
2
n
i 1
n
1 e 2
n
( xi ) 2
2
2
1 ( 2 ) ( )
n 2 n 2 2
e
i 1
( xi )2 2 2
( xi ) n n 2 ln L ln(2 ) ln( ) 2 i 1 2 2 2
2
似然 方程 组为
求的最大似然估计 .
一些特殊场合下似然估 计的求解，如离散参数 情形， 经常考虑参数取相邻值 时似然函数的比值或差 .
例3 要估计鱼池中有多少条 鱼，先在鱼池中捉住 条 500 鱼，做上记号再放入池 .待充分混合后，再捉住 中 1000条 鱼，发现其中 条鱼带记号.请估计池中有多少条鱼 100 ？
ˆ L( ) max L( ), 即L( )最大值点的求法
其中 (1 ,, k )
常见有一下三种情形 :
1、求导法
似然函数L( )为的连续函数，且关于 各分量的 偏导数存在.
L( 1 , 2 , , k ) 0 1 L( 1 , 2 , , k ) 0 k
2
ˆ
1 n 2 ( xi x ) n i 1
lg 的极大似然估计值为
1 n lg lg ( xi x ) 2 n i 1
矩方法与最大似然方法 的比较
注：与矩方法相比，最 大似然估计法比对分布 函数族要了解更多。矩 方法只需要知道前几阶 矩关于参数的函数形式 ，而最大似然估计法必 须知道概率或分布密度 的函数形式.
§6.2 点估计的评价标准
对于同一个未知参数,不同的方法得到的 估计量可能不同,如
例 设总体 X ~ U (a, b), a, b 未知
ˆ ˆ a矩 X 3 S b矩 X 3 S
ˆ ˆ aMLE X (1) , bMLE X ( n )
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量. 解 X 的密度函数为
1 , a xb f ( x; a , b) b a 0, 其它
似然函数为
a x i b, 1 , n L( x1 , x2 , , xn ; a , b) (b a ) i 1,2, , n 0, 其它
1) 待估参数的最大似然估计是否一定存在? 2) 若存在, 是否惟一?
我们可以看下例：
例3 设 X ~ U ( a – ½, a + ½), x1, x2,…, xn 是 X的一个样本, 求 a 的最大似然估计值. 解 由上例可知, 当
1 1 ˆ ˆ a x(1) x( n ) a 2 2
2
2 E ( X ) 的无偏
估计
例2 设总体 X 的期望 与方差存在, X 的
样本为 ( X 1 , X 2 , , X n )(n > 1) . 证明 2 1 n * (1) S n ( X i X )2不是 Var( X )的无偏估计; n i 1
1 n 2 Sn ( X i X )2是 Var( X ) 的无偏估计. (2) n 1 i 1
称 L( ) 为样本的似然函数
利用最大似然法的思想
选择适当的 = ˆ ,使 L( )取最大值, 即
ˆ L( ) max L( )
ˆ 称这样得到的 g( x1 , x2 , , xn )
为参数 的最大似然估计值. 称统计量 g( X 1 , X 2 , , X n ) 为参数 的最大似然估计量. MLE(Maximu m Likelihood Estimator)
分析：将该问题一般化设池中鱼N条，其中r条鱼有记号 . 随机捉s条鱼发现有x条带有记号，要估计 . N 设X为捉住的s条鱼 中带有记号的鱼数 ,
N r r s x s 则P ( X x ) N s
问题
怎么制定标准？？
由于样本是随机变量， 估计量也随之取到各种 各样的估计值，因此衡 量一个估计量的好坏， 需要 综合考虑到估计量的所 有取值及其相应的可能 性， 换言之，要从估计量的 分布出发考虑它的优良 . 性
常用 标准
(1) 无偏性 (2) 有效性 (3) 相合性
1、无偏性
ˆ ( ቤተ መጻሕፍቲ ባይዱ 1 , X 2 ,, X n ) 是总体参数的估计量 ˆ E ( ) 存在, 且对于任意 都有
1 n ln L 2 ( xi ) 0 i 1 1 n n 2 ln L ( xi ) 0 2 2 2 2 2( ) ( ) 2( ) i1
1 n ˆ xi x n i 1
注：由最值的必要条件 知最大似然估计一定是 似然 方程组的解，但未必似 然方程组的所有解都是 最大 似然估计.严格的讲，解经过验证 才能确定是否是最 大似然估计量 .
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计. 解 L( x1 , x2 , , xn ; , )
都可以作为 a 的估计量.
最大似然估计的不变性
ˆ 设 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射，
ˆ ˆ 则 u u( ) 是 u( ) 的最大似然估计值.