概率论第七章参数估计
合集下载
概率论第七章 第1节
根据样本概率最大原则，m的估计值为3。
最大似然估计法原理
一般地，不仿设总体X是离散型分布X～p(x,θ)，如果 X1,X2,…,Xn是来自这个总体的一个随机样本，x1,x2,…,xn 是这个随机样本的样本值，则这个样本发生的概率为：
记这个概率为θ的函数：
16
最大似然估计法原理
如果在一次抽样中样本值x1,x2,…,xn出现了，我们就认为 它之所以出现是因为它发生的概率最大导致的。因此我们 就选择能使这个概率最大的那个θ作为θ的估计值，这就 是极大似然估计法。 “样本值概率最大原则”
矩估计法理论依据
命题2：设总体X的l=1,2,…,k阶矩存在即E(Xl)=μk,则l阶样 本矩A1,A2,…,Ak的连续函数g(A1,A2,…,Ak)也依概率收敛于总 体矩的连续函数即
根据这两个命题，我们使用如下方法来进行矩估计： (1)用样本矩A1,A2,…,Ak来估计总体矩； (2)用样本矩的连续函数g(A1,A2,…,Ak)来估计总体矩的连续 函数g(μ1,μ2,…,μk)。
砍掉充分小的dxi,记这 个概率为θ的函数：
30
连续型总体中参数 θ的似然函数!
最大似然估计值 最大似然估计量
怎样求最大值点？
基于此通常先取对数，再求最大值点。
化成求 对数似 然函数 的最大 值点!
如果对数似然函数二阶可导，并且概率 密度函数是单峰函数，则驻点就是最大 值点!通过求一阶导数能得驻点：
第七章 参数估计
1、什么是参数估计？ 当总体的分布类型已知，但其中仍有未知参数。比如总体 X服从参数μ,σ2的正态分布，但μ,σ2未知。但是我们 能根据来自总体X的一个简单随机样本X1,X2,…,Xn通过适 当的方法对这些未知参数进行估计，得到它的一个近似值 或近似区间。 2、参数估计有哪些形式？ (1)点估计：矩估计法、极大似然估计法。 (2)区间估计：正态总体下区间估计法。
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
chap7参数估计.ppt
若p的可供选择的估计值有许多，仍应选择发生概率最大的 p
作为p的估计，这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x； ) (或概率分布函数族为
P(X=x)=p(x ； ) )，。
设 (x1，x2， ，xn ) 为任一组样本观察值(一组抽象的数)，则
求的矩估计值和极大似然估计值。
说明：1. 本题中因 P(X= xi )无一般表达式，故不能先求极大
似然估计量，再将样本观察值代入求极大似然估计值。
2. 本题处理思想在解决实际问题时很有用。
极大似然估计的性质：若 为总体X中未知参数的极大似
然估计量，u=u( ) 有单值反函数 = (u)，则u( )是u( ) 的
k
k次着n火k天数 75 90 54 22
6
2
1 =
250
1) 试用矩估计法估计参数； 2) 试用极大似然估计法估计参数； 3) 试求P(X=0)的极大似然估计值。
例2(2002年数学三考研试题填空题)
设总体X的概率密度为 f (x；
)
e
， ( x ) 0，
若x 若x
， .
而 X1，X 2， ，X n 是来自总体X的简单随机样本，则未知
大似然估计值。
求L()的极大值 ：
通过
d
ln
L(
)
0，求出
。
d
说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)，
故求出的 一般也是样本观察值的函数。
2. 由于 d ln L( ) 0 只是lnL()取极值的必要条件，从理论上
d
来说，还应验证lnL( ) lnL()， 对所有样本观察值都
概率论参数估计
2
2
2 设 ~ b(1 p), X1, X2,L Xn是 自 的 个 本 、 X , , 来 X 一 样 ， 试 参 p的 大 然 计 。 求 数 最 似 估 量
3、设总体X在[a，b]上服从均匀分布，a、b未 x , 知， 1, x2,L xn 是来自X的一个样本值，试求a、 b的最大似然估计量。
估计量的优良性准则 在介绍估计量优良性的准则之前， 在介绍估计量优良性的准则之前，我 们必须强调指出： 们必须强调指出： 评价一个估计量的好坏， 评价一个估计量的好坏，不能仅仅依 据一次试验的结果， 据一次试验的结果，而必须由多次试验结 果来衡量 . 这是因为估计量是样本的函数，是随机 这是因为估计量是样本的函数， 因此，由不同的观测结果， 变量 . 因此，由不同的观测结果，就会求得 不同的参数估计值. 因此一个好的估计，应 不同的参数估计值 因此一个好的估计， 在多次试验中体现出优良性 .
P X = x}= p(x,θ), θ ∈Θ {
的样本， 设X1，X2，…，Xn是来自 的样本，则X1， ， 是来自X的样本 ， ， ， X2，…，Xn的联合分布律为 ， ， 的联合分布律为
∏p(x ;θ)
i i= 1
n
样本X ， ， ， 取得观察值x ， ， ， 样本 1，X2，…，Xn取得观察值 1，x2，…，xn的概 率为
L(θ) = L(x1, x2,L xn;θ) =∏p(xi ;θ), θ ∈Θ ,
i= 1
n
称为样本的似然函数 （2）连续型 ） 若总体X属连续型 属连续型， 若总体 属连续型，其概率密度为
f (x;θ), θ ∈Θ θ为待估参数
是来自X的样本 设X1，X2，…，Xn是来自 的样本，则X1， ， ， ， 是来自 的样本， ， X2，…，Xn的联合密度为 ， ， 的联合密度为
2
2 设 ~ b(1 p), X1, X2,L Xn是 自 的 个 本 、 X , , 来 X 一 样 ， 试 参 p的 大 然 计 。 求 数 最 似 估 量
3、设总体X在[a，b]上服从均匀分布，a、b未 x , 知， 1, x2,L xn 是来自X的一个样本值，试求a、 b的最大似然估计量。
估计量的优良性准则 在介绍估计量优良性的准则之前， 在介绍估计量优良性的准则之前，我 们必须强调指出： 们必须强调指出： 评价一个估计量的好坏， 评价一个估计量的好坏，不能仅仅依 据一次试验的结果， 据一次试验的结果，而必须由多次试验结 果来衡量 . 这是因为估计量是样本的函数，是随机 这是因为估计量是样本的函数， 因此，由不同的观测结果， 变量 . 因此，由不同的观测结果，就会求得 不同的参数估计值. 因此一个好的估计，应 不同的参数估计值 因此一个好的估计， 在多次试验中体现出优良性 .
P X = x}= p(x,θ), θ ∈Θ {
的样本， 设X1，X2，…，Xn是来自 的样本，则X1， ， 是来自X的样本 ， ， ， X2，…，Xn的联合分布律为 ， ， 的联合分布律为
∏p(x ;θ)
i i= 1
n
样本X ， ， ， 取得观察值x ， ， ， 样本 1，X2，…，Xn取得观察值 1，x2，…，xn的概 率为
L(θ) = L(x1, x2,L xn;θ) =∏p(xi ;θ), θ ∈Θ ,
i= 1
n
称为样本的似然函数 （2）连续型 ） 若总体X属连续型 属连续型， 若总体 属连续型，其概率密度为
f (x;θ), θ ∈Θ θ为待估参数
是来自X的样本 设X1，X2，…，Xn是来自 的样本，则X1， ， ， ， 是来自 的样本， ， X2，…，Xn的联合密度为 ， ， 的联合密度为
概率论 第七章 参数估计
L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
自考概率论课件_第七章_参数估计.ppt1
2 2 例3 设总体 X 的均值 及方差 都存在, 且有 0, 2 但 , 均为未知, 又设 X1 , X 2 ,, X n 是来自 X 的样 2 本, 试求 , 的矩估计量. 解 1 E ( X ) , 总体一阶原点矩 2 2 2 2 总体二阶 2 E ( X ) D( X ) [ E ( X )] ,
x ˆ 1 . x 1
为求的极大似然估计,先 易求得似然函数为
L( ) ( xi
i 1 n ( 1)
) xi i 1
n n
( 1)
,
ln L( ) n ln ( 1) xi ,
d ln L( ) n n xi 0. d i 1
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
2 1
n
n 3 2 2 ˆ b A1 3( A2 A1 ) X (Xi X ) . n i 1
§7.1
参数的点估计
一、点估计的一般定义及步骤
设总体X～F(x,θ),θ是未知参数,(X1,X2,…,Xn)是 取自总体X的样本,适当选取一个统计量
ˆ 去估计参数θ, 称 ˆ为θ的估计量或把 ˆ 用 叫做 θ的点估计.
ˆ =ˆ(X1,X2,…,Xn)
二、获取点估计的两种方法
1.矩估计法 2.极大似然估计法
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
参数估计
根据“概率越大的事件越可能发生”的实际推断原理，应选3/4作为p的估计值。
若p的可供选择的估计值有许多，仍应选择发生概率最大的 就是极大似然估计的思想。
作为p的估计，这p
Exceltek Electronics (HK) Ltd Confidential
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x； ) (或概率分布函数族为P(X=x)=p(x ； ) )， 。
矩估计的缺陷：当总体分布类型已知时，未能充分利用总体分布提供的信息。
Exceltek Electronics (HK) Ltd Confidential
二、极大似然估计
引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但不知哪种颜色的球多。 今有放回连抽两球均取出黑球，问：罐中黑球多还是白球多？
第七章 参数估计
引言 参数估计：当总体的某些参数未知(一般要求分布类型已知)时，从样本出发构造适当 的统计量，作为未知参数的估计量。当取得一组观察值后，以相应的统计量的观察 值作为未知参数的估计值，并讨论估计值对真值进行估计的可靠性。
参数估计方法是处理实际问题时最常用的方法。
预备概念：当总体X中含有未知参数 (可以是向量)时，可用 F(x； )来表示X的分布函数，当取不同的值，就会得到不同的分布函数。我们 称所有可能取值的集合为参数空间，记为。把{F(x； )， }称为X的分布 函数族。
的极大似然估计。
便是
D(X )
Exceltek Electronics (HK) Ltd Confidential
第三节 点估计量的评选标准 问题：1. 哪种估计是最好的估计？
2. 评价“好”的标准是什么？ 建立评价标准的原则：估计量在某种意义下与待估参数的真值最接近。
概率论第七章参数估计2区间估计
1 2
2 / 2 ( n 1)
即
置信区间：
标准差σ的一个置信水平为 1 的置信区间
2 (n 1) S , 2 (n 1) 2
(n 1) S 2 1 (n 1) 2
2
注意：在密度函数不对称时，如 2分布和F 分布，
置信度 1 下，来确定 的置信区间[ , ]
⑴ 已知方差 ，估计均值μ
2
n 1 2 设已知方差 2 0 ，且 X X i 是 的 n i 1 一个无偏点估计，
又
X ~ N (0 , 1) 0 / n
且 对于给定的置信度 查正态分布表，找出
临界值
使得：
2 1 2 2
一个无偏估计， 因为X与Y 相互独立,所以
X Y ~ N ( 1 2 ,
X Y ( 1 2 )
2 1
n1
2 2
n2
)
2 1
n1 n2 所以 1 2 的置信水平为1-α的置信区间为
2 2
~ N (0,1)
( X Y z / 2
已知
由样本值算得：
查表 t0.025 (6) 2.447
得区间：
对某种型号飞机的飞行速度进行15次试验, 测 例 5： 得最大飞行速度(单位: 米/秒)为 422.2, 417.2, 425.6 420.3, 425.8, 423.1, 418.7, 438.3, 434.0, 412.3, 431.5 413.5, 441.3, 423.0, 428.2, 根据长期经验, 可以认为 最大飞行速度服从正态分布. 求飞机最大飞行速度
第三节 区间估计 譬如，在估计湖中鱼数的问题中，若 我们根据一个实际样本，得到鱼数 N 的极 大似然估计为1000条.
2 / 2 ( n 1)
即
置信区间：
标准差σ的一个置信水平为 1 的置信区间
2 (n 1) S , 2 (n 1) 2
(n 1) S 2 1 (n 1) 2
2
注意：在密度函数不对称时，如 2分布和F 分布，
置信度 1 下，来确定 的置信区间[ , ]
⑴ 已知方差 ，估计均值μ
2
n 1 2 设已知方差 2 0 ，且 X X i 是 的 n i 1 一个无偏点估计，
又
X ~ N (0 , 1) 0 / n
且 对于给定的置信度 查正态分布表，找出
临界值
使得：
2 1 2 2
一个无偏估计， 因为X与Y 相互独立,所以
X Y ~ N ( 1 2 ,
X Y ( 1 2 )
2 1
n1
2 2
n2
)
2 1
n1 n2 所以 1 2 的置信水平为1-α的置信区间为
2 2
~ N (0,1)
( X Y z / 2
已知
由样本值算得：
查表 t0.025 (6) 2.447
得区间：
对某种型号飞机的飞行速度进行15次试验, 测 例 5： 得最大飞行速度(单位: 米/秒)为 422.2, 417.2, 425.6 420.3, 425.8, 423.1, 418.7, 438.3, 434.0, 412.3, 431.5 413.5, 441.3, 423.0, 428.2, 根据长期经验, 可以认为 最大飞行速度服从正态分布. 求飞机最大飞行速度
第三节 区间估计 譬如，在估计湖中鱼数的问题中，若 我们根据一个实际样本，得到鱼数 N 的极 大似然估计为1000条.
概率论与数理统计课件第7章参数估计
一、矩估计
4
A B
一、矩估计 例1
5
01
OPTION
02
OPTION
一、矩估计 解
6
一、矩估计
7
一、矩估计
8
解（1）
一、矩估计
9
解（2）
一、矩估计 例3
10
一、矩估计 解
11
一、矩估计
12
关于矩估计量有下列结论:
一、矩估计
13
例4
解
一、矩估计
14
01
OPTION
02
OPTION
一、无偏性 定义1
51
ˆ lim E θ 如果 n+ X1 ,
, X n θ
一、无偏性
52
例1
试求 1 3 2
解
(1)由矩估计定义可知
一、无偏性
53
故
一、无偏性
54
一、无偏性 例2
55
一、无偏性
56
解
一、无偏性 定理 1
57
则有
因此, 样本均值是总体均值的无偏估计, 样本
二、极大似然估计
48
极大似然估计求解
似然函数 对数似然求导法
直接法
49
目录/Contents
7.1 7.2
点估计 点估计的优良性评判标 准 置信区间 单正态总体下未知参数的置信区间 两个正态总体下未知参数的置信区间
7.3
7.4 7.5
50
目录/Contents
7.2
点估计的优良性评判标准 一、无偏性 二、有效性 三、相合性
置信区间
69
置信区间
70
置信区间
概率论与数理统计第7章参数估计习题及答案
概率论与数理统计第7章参数估计习题及答案第7章参数估计 ----点估计⼀、填空题1、设总体X 服从⼆项分布),(p N B ，10<计量=pXN. 2、设总体)p ,1(B ~X，其中未知参数 01<则 p 的矩估计为_∑=n 1i i X n 1_，样本的似然函数为_ii X 1n1i X )p 1(p -=-∏__。
3、设 12,,,n X X X 是来⾃总体 ),(N ~X 2σµ的样本，则有关于 µ及σ2的似然函数212(,,;,)n L X X X µσ=_2i 2)X (21n1i e21µ-σ-=∏σπ__。
⼆、计算题1、设总体X 具有分布密度(;)(1),01f x x x ααα=+<<，其中1->α是未知参数，n X X X ,,21为⼀个样本，试求参数α的矩估计和极⼤似然估计.解：因?++=+=101α2α1α102++=++=+|a x 令2α1α++==??)(X X EXX --=∴112α为α的矩估计因似然函数1212(,,;)(1)()n n n L x x x x x x ααα=+∑=++=∴ni i X n L 1α1αln )ln(ln ，由∑==++=??ni i X nL 101ααln ln 得，α的极⼤似量估计量为)ln (?∑=+-=ni iXn11α2、设总体X 服从指数分布 ,0()0,x e x f x λλ-?>=??其他，n X X X ,,21是来⾃X 的样本，（1）求未知参数λ的矩估计；（2）求λ的极⼤似然估计.解：（1）由于1()E X λ=，令11X Xλλ=?=i x nn L x x x eλλ=-∑=111ln ln ln 0nii ni ni ii L n x d L n n x d xλλλλλ====-=-=?=∑∑∑故λ的极⼤似然估计仍为1X。
概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程
注:由于 θ ( x1 ,L, xn ) 是实数域上的一个点,现用它来
估计 θ ,故称这种估计为点估计.
5 6
,σ 2未知,
… 随机抽查100个婴儿 得100个体重数据 10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成. 据此,我们应如何估计 和 σ 呢?
我们知道,服从正态分布N ( , σ 2 )的r.v. X , E ( X ) = , 由大数定律, 样本体重的平均值 1 → ∑ X i P n i =1 自然想到把样本体重的平均值作为总体平均 体重的一个估计. X= 用样本体重的均值 X估计 , 类似地,用样本体重的方差 S 2估计 σ 2 . 1 n 1 n 2 X = ∑ Xi, S = ∑ ( X i X )2 n 1 i =1 n i =1
(一)矩估计法
基本思想:用样本矩估计总体矩
(二)最大似然估计法
基本思想:
15
16
最大似然估计法 (最大似然法)
它首先是由德国数学家 高斯在1821年提出的 , 然而,这个方法常归功于 英国统计学家费希尔(Fisher) . 费希尔在1922年重新发现了 这一方法,并首先研究了这 种 方法的一些性质 . Fisher
1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
(一) 矩估计法(简称"矩法")
它是基于一种简单的"替换"思想 建立起来的一种估计方法 . 英国统计学家 K. 皮尔逊 最早提出的 . 基本思想: 用样本矩估计总体矩 . 理论依据: 大数定律
Ak = 1 n k P ∑ X i → k = E ( X k ) n i =1
4
在参数估计问题中,假定总体分布 形式已知,未知的仅仅是一个或几个 参数.
估计 θ ,故称这种估计为点估计.
5 6
,σ 2未知,
… 随机抽查100个婴儿 得100个体重数据 10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成. 据此,我们应如何估计 和 σ 呢?
我们知道,服从正态分布N ( , σ 2 )的r.v. X , E ( X ) = , 由大数定律, 样本体重的平均值 1 → ∑ X i P n i =1 自然想到把样本体重的平均值作为总体平均 体重的一个估计. X= 用样本体重的均值 X估计 , 类似地,用样本体重的方差 S 2估计 σ 2 . 1 n 1 n 2 X = ∑ Xi, S = ∑ ( X i X )2 n 1 i =1 n i =1
(一)矩估计法
基本思想:用样本矩估计总体矩
(二)最大似然估计法
基本思想:
15
16
最大似然估计法 (最大似然法)
它首先是由德国数学家 高斯在1821年提出的 , 然而,这个方法常归功于 英国统计学家费希尔(Fisher) . 费希尔在1922年重新发现了 这一方法,并首先研究了这 种 方法的一些性质 . Fisher
1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
(一) 矩估计法(简称"矩法")
它是基于一种简单的"替换"思想 建立起来的一种估计方法 . 英国统计学家 K. 皮尔逊 最早提出的 . 基本思想: 用样本矩估计总体矩 . 理论依据: 大数定律
Ak = 1 n k P ∑ X i → k = E ( X k ) n i =1
4
在参数估计问题中,假定总体分布 形式已知,未知的仅仅是一个或几个 参数.
概率论第七章参数估计
概率论第七章参数估计参数估计是概率论中的一个重要概念，用于根据样本数据推断总体参数的未知值。
本文将介绍参数估计的概念、常见的估计方法以及对估计结果的评估。
一、参数估计的概念参数估计是指根据样本数据来推断总体参数的未知值。
总体是指要研究的对象的全体，参数是总体分布的特征数值，例如总体均值、总体方差等。
参数估计可以分为点估计和区间估计两种。
点估计是根据样本数据得到一个参数值的估计方法。
常见的点估计方法有最大似然估计法和矩估计法。
最大似然估计法是根据已知的样本数据，选择使得基于样本数据构建的似然函数取得最大值的参数值作为参数的估计值。
矩估计法是根据已知的样本数据，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
区间估计是指根据样本数据得到参数的一个区间估计，给出了参数取值范围的上下限。
常见的区间估计方法有置信区间法和预测区间法。
置信区间法是根据样本数据，给出参数估计值的上下限，使得该参数值落在这个区间的概率达到预先规定的置信水平。
预测区间法是根据样本数据，给出新观测值的一个区间估计，使得新观测值落在这个区间的概率达到预先规定的置信水平。
二、常见的估计方法最大似然估计法是参数估计中最常用的方法。
它是在已知样本数据的情况下，选择使得样本数据出现的概率最大的参数值作为参数的估计值。
最大似然估计法的优点是估计结果具有良好的渐进性质，但是对样本数据的要求较高，需要满足一定的充分统计条件。
矩估计法是一种简单的参数估计方法。
它是在已知样本数据的情况下，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
矩估计法的优点是计算简单，但是在一些情况下可能存在多个参数估计值。
置信区间法是一种常用的区间估计方法。
它是在已知样本数据的情况下，给出一个区间，使得参数的真值落在这个区间的概率达到预先规定的置信水平。
置信区间法的优点是提供了参数取值范围的上下限，对参数的估计结果具有一定的可信度。
预测区间法是一种用于预测新观测值的区间估计方法。
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
概率论与数理统计第七章参数估计
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而 称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
概率论与数理统计第七章
组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
概率论第7章
注： 估计量 θˆ 是一个随机变量,是样本的函数,即 是一个统计量,对不同的样本值, 的估计值 一般是 不同的.
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第七章 参数估计
§7.1 点估计 一. 问题的提法:
设总体X的分布函数F (x; θ)的形式为已知,
是待估参数，X1, X 2, , X n是X的一个样本，
x1 , x2 , , xn是相应的一个样本观测值。 点 估 计 问 题 就 是 要 构 造一 个 适 当 的 统 计 量
ˆ( X1, X 2 , X n )，用它的观察值ˆ(x1, x2 , , xn ) 来估计未知参数，我们称ˆ( X1, X 2 , , X n )为 的估计量，称 ˆ(x1,x2, ,xn )为参数的估计值。
例6.已知X1, X2,L , Xn为来自总体e()的样本， 求的极大似然估计。
例7.设总体X ~ N ( , 2 ),其中, 2均未知,
设X1, X 2 , X n是来自该总体的一组样本,
求, 2的极大似然估计.
例8.设总体X服从[0 , ]区间上的均匀分布, 求的极大似然估计。
例9.设总体X服从[θ,θ+1]区间上的均匀分布,
EX r =r (1,2,K ,k )为总体的r阶原点矩；假设EX k存在；
1
Ar = n
n i1
Xir为样本的r阶原点矩, r
1, 2,L
, k。
方程组
r (1,2,K ,k ) Ar , r 1, 2,L , k 的解ˆr (X1, X 2,L , X n )为r (r 1, 2,L , k)的矩估计量。
根据经验, 概率大的事件比概率小的事件
理 论
容易发生, x1, x2, , xn是一组样本值, 它是
依 据
已经发生的随机事件, 可以认为取到这组值
的概率比较大, 即似然函数的值比较大。
对似然函数而言, x1 , x2 , , xn是常数,它是参数
1,2 , ,k的函数,因而是参 数值使得L较大,我
们就将使得L取到最大值的参数值 ˆ1,ˆ2 , ,ˆk
称为1,2 ,
,
的极大似然估计值。
k
定义 : 如果似然函数 L(1,2 , ,k )在ˆi (x1, x 2 , , xn )
处取最大值,
则称ˆi为
的极大似然估计值，而相
i
应的统计量 ˆi ( X1, X 2 , , X n ) (i 1, 2, , k)称为参
二、矩估计法:
由辛钦大数定理可知：样本的原点矩依概 率收敛到总体的原点矩，即
Ak
1 n
n i 1
X
k i
P
EX k
αk
据此，得到参数的矩估计法。
定义：设 总 体X的 分 布 函 数 为F ( x; θ1, θ2 , θk )，
（ 其 中θ1, θ2 , θk为 未 知 参 数 ）
X 1, X 2 , X n 是 来 自X的 样 本 ，
（ 或 称 为 达 到 方 差 下 界的 无 偏 估 计 ）.
1
若
lim
n
nI ( )
D(ˆ)
1, 则称ˆ为的渐近有效估计。
例4.总体X ~ f (x; p) px (1 p)1x , x 0 , 1， X1, X 2 ,L , X n为来自X的样本，证明： pˆ X是参数p的有效估计。
,
Xn}
都是θ的无偏估计。
2、有效性:
定 义 : 若Eˆ1 Eˆ2 ， 若 有D(ˆ1) D(ˆ2 )， 则 称ˆ1比ˆ2有 效.
所有无偏估计中方差最小的无偏估计称为 最小方差无偏估计，或称为有效估计。
例3.对任何总体X，EX=μ，DX=σ2 ,
X1 ,X2, … ,Xn 是来自X 的样本，
其中
f
( x,
2)
x
2
e
x2
2 2
,
x
0
0 , x 0
求 2的矩估计。
例4.设总体X ~ f (x, ) 1 e|x|， x 2
( X1, X 2 , , X n )是来自总体X的样本，
求的矩估计。
三、极大似然估计方法:
定 义 ： 总 体X ~ f (x; 1, 2 , k ), 其 中1, 2 , k 是
数i的极大似然估计量。
极大似然估计的求解方法: 1.求解对数似然方程：
ln L(1,2 ,L ,k ) 0. (i 1, 2,L , k) i
若驻点唯一，即为极大似然估计。
2.直接根据定义计算。
例5.设X ~ f (x, p) px (1 p)1x，x 0,1； ( X1, X 2 , , X n )是来自X的样本， 求参数p的极大似然估计。
n
n
ˆ1 X , ˆ2
i
X
i
.(
为常数,
i
i 1)
i 1
i 1
证明：ˆ1 比 ˆ2有效。
定理：总体X ~ f (x; )，若Eˆ ， 则 D(ˆ) 1 （G R下界） nI ( )
其中I ( ) E[ ln f ( X , )]2 称为Fisher信息数。
若D(ˆ) 1 ， 则 称ˆ为的 有 效 估 计 ， nI ( )
例1.设总体X的均值及方差 2都存在，但, 2均未知， 又设X1, X 2 , X n是一个样本，求, 2的矩估计。
例2.已知X1, X2,L , Xn为来自总体U (1 ,2)的样本， 求1 ,2的矩估计。
例3.设( X1, X 2 , , X n )是来自总体X ~ f (x, 2 )的样本，
定义：若估计量ˆ ˆ( X1, X 2 , , X n )的数学期望E(ˆ) 存在, 且对于 , 有E(ˆ) , 则称ˆ是的无偏
估计量。
若lim Eˆ ，则称ˆ为的渐近无偏估计。 n
例2.X1,X2,…,Xn是来自X~U(0,θ)的样本，
证明：
ˆ1
2X
, ˆ2
n
n
1
max{X1,
X 2,
待 估 计 的 参 数, X1, X 2 , X n是X的 一 个 样 本,
n
L( 1, 2 , k ) f ( X i ; 1, 2, k ) i 1
称为样本的似然函数.
说明
1 似然函数是参数 1,2,
,
的
k
函
数.
2 X为 离 散 型 随 机 变 量 时 ，f (x)为 分 布 律 ；
X为 连 续 型 随 机 变 量 时 ，f (x)为 密 度 函 数 。
求的极大似然估计。
极大似然估计的性质:
设的函数u u( ), 具有单值反函数 (u), u ,ˆ是参数的极大似然估计, 则uˆ u(ˆ)是u( )的极大似然估计。
例如，例8中参数θ的方差DX的极大似然估计来自为：DX2
12
ˆ2
12
1 12
max{X
i
}2
§7.2. 估计量的评选标准 估计的三个常用标准是 : 无偏性, 有效性和一致性. 1、无偏性:
§7.1 点估计 一. 问题的提法:
设总体X的分布函数F (x; θ)的形式为已知,
是待估参数，X1, X 2, , X n是X的一个样本，
x1 , x2 , , xn是相应的一个样本观测值。 点 估 计 问 题 就 是 要 构 造一 个 适 当 的 统 计 量
ˆ( X1, X 2 , X n )，用它的观察值ˆ(x1, x2 , , xn ) 来估计未知参数，我们称ˆ( X1, X 2 , , X n )为 的估计量，称 ˆ(x1,x2, ,xn )为参数的估计值。
例6.已知X1, X2,L , Xn为来自总体e()的样本， 求的极大似然估计。
例7.设总体X ~ N ( , 2 ),其中, 2均未知,
设X1, X 2 , X n是来自该总体的一组样本,
求, 2的极大似然估计.
例8.设总体X服从[0 , ]区间上的均匀分布, 求的极大似然估计。
例9.设总体X服从[θ,θ+1]区间上的均匀分布,
EX r =r (1,2,K ,k )为总体的r阶原点矩；假设EX k存在；
1
Ar = n
n i1
Xir为样本的r阶原点矩, r
1, 2,L
, k。
方程组
r (1,2,K ,k ) Ar , r 1, 2,L , k 的解ˆr (X1, X 2,L , X n )为r (r 1, 2,L , k)的矩估计量。
根据经验, 概率大的事件比概率小的事件
理 论
容易发生, x1, x2, , xn是一组样本值, 它是
依 据
已经发生的随机事件, 可以认为取到这组值
的概率比较大, 即似然函数的值比较大。
对似然函数而言, x1 , x2 , , xn是常数,它是参数
1,2 , ,k的函数,因而是参 数值使得L较大,我
们就将使得L取到最大值的参数值 ˆ1,ˆ2 , ,ˆk
称为1,2 ,
,
的极大似然估计值。
k
定义 : 如果似然函数 L(1,2 , ,k )在ˆi (x1, x 2 , , xn )
处取最大值,
则称ˆi为
的极大似然估计值，而相
i
应的统计量 ˆi ( X1, X 2 , , X n ) (i 1, 2, , k)称为参
二、矩估计法:
由辛钦大数定理可知：样本的原点矩依概 率收敛到总体的原点矩，即
Ak
1 n
n i 1
X
k i
P
EX k
αk
据此，得到参数的矩估计法。
定义：设 总 体X的 分 布 函 数 为F ( x; θ1, θ2 , θk )，
（ 其 中θ1, θ2 , θk为 未 知 参 数 ）
X 1, X 2 , X n 是 来 自X的 样 本 ，
（ 或 称 为 达 到 方 差 下 界的 无 偏 估 计 ）.
1
若
lim
n
nI ( )
D(ˆ)
1, 则称ˆ为的渐近有效估计。
例4.总体X ~ f (x; p) px (1 p)1x , x 0 , 1， X1, X 2 ,L , X n为来自X的样本，证明： pˆ X是参数p的有效估计。
,
Xn}
都是θ的无偏估计。
2、有效性:
定 义 : 若Eˆ1 Eˆ2 ， 若 有D(ˆ1) D(ˆ2 )， 则 称ˆ1比ˆ2有 效.
所有无偏估计中方差最小的无偏估计称为 最小方差无偏估计，或称为有效估计。
例3.对任何总体X，EX=μ，DX=σ2 ,
X1 ,X2, … ,Xn 是来自X 的样本，
其中
f
( x,
2)
x
2
e
x2
2 2
,
x
0
0 , x 0
求 2的矩估计。
例4.设总体X ~ f (x, ) 1 e|x|， x 2
( X1, X 2 , , X n )是来自总体X的样本，
求的矩估计。
三、极大似然估计方法:
定 义 ： 总 体X ~ f (x; 1, 2 , k ), 其 中1, 2 , k 是
数i的极大似然估计量。
极大似然估计的求解方法: 1.求解对数似然方程：
ln L(1,2 ,L ,k ) 0. (i 1, 2,L , k) i
若驻点唯一，即为极大似然估计。
2.直接根据定义计算。
例5.设X ~ f (x, p) px (1 p)1x，x 0,1； ( X1, X 2 , , X n )是来自X的样本， 求参数p的极大似然估计。
n
n
ˆ1 X , ˆ2
i
X
i
.(
为常数,
i
i 1)
i 1
i 1
证明：ˆ1 比 ˆ2有效。
定理：总体X ~ f (x; )，若Eˆ ， 则 D(ˆ) 1 （G R下界） nI ( )
其中I ( ) E[ ln f ( X , )]2 称为Fisher信息数。
若D(ˆ) 1 ， 则 称ˆ为的 有 效 估 计 ， nI ( )
例1.设总体X的均值及方差 2都存在，但, 2均未知， 又设X1, X 2 , X n是一个样本，求, 2的矩估计。
例2.已知X1, X2,L , Xn为来自总体U (1 ,2)的样本， 求1 ,2的矩估计。
例3.设( X1, X 2 , , X n )是来自总体X ~ f (x, 2 )的样本，
定义：若估计量ˆ ˆ( X1, X 2 , , X n )的数学期望E(ˆ) 存在, 且对于 , 有E(ˆ) , 则称ˆ是的无偏
估计量。
若lim Eˆ ，则称ˆ为的渐近无偏估计。 n
例2.X1,X2,…,Xn是来自X~U(0,θ)的样本，
证明：
ˆ1
2X
, ˆ2
n
n
1
max{X1,
X 2,
待 估 计 的 参 数, X1, X 2 , X n是X的 一 个 样 本,
n
L( 1, 2 , k ) f ( X i ; 1, 2, k ) i 1
称为样本的似然函数.
说明
1 似然函数是参数 1,2,
,
的
k
函
数.
2 X为 离 散 型 随 机 变 量 时 ，f (x)为 分 布 律 ；
X为 连 续 型 随 机 变 量 时 ，f (x)为 密 度 函 数 。
求的极大似然估计。
极大似然估计的性质:
设的函数u u( ), 具有单值反函数 (u), u ,ˆ是参数的极大似然估计, 则uˆ u(ˆ)是u( )的极大似然估计。
例如，例8中参数θ的方差DX的极大似然估计来自为：DX2
12
ˆ2
12
1 12
max{X
i
}2
§7.2. 估计量的评选标准 估计的三个常用标准是 : 无偏性, 有效性和一致性. 1、无偏性: