概率论7参数估计
概率论第七章 第1节
根据样本概率最大原则，m的估计值为3。
最大似然估计法原理
一般地，不仿设总体X是离散型分布X～p(x,θ)，如果 X1,X2,…,Xn是来自这个总体的一个随机样本，x1,x2,…,xn 是这个随机样本的样本值，则这个样本发生的概率为：
记这个概率为θ的函数：
16
最大似然估计法原理
如果在一次抽样中样本值x1,x2,…,xn出现了，我们就认为 它之所以出现是因为它发生的概率最大导致的。因此我们 就选择能使这个概率最大的那个θ作为θ的估计值，这就 是极大似然估计法。 “样本值概率最大原则”
矩估计法理论依据
命题2：设总体X的l=1,2,…,k阶矩存在即E(Xl)=μk,则l阶样 本矩A1,A2,…,Ak的连续函数g(A1,A2,…,Ak)也依概率收敛于总 体矩的连续函数即
根据这两个命题，我们使用如下方法来进行矩估计： (1)用样本矩A1,A2,…,Ak来估计总体矩； (2)用样本矩的连续函数g(A1,A2,…,Ak)来估计总体矩的连续 函数g(μ1,μ2,…,μk)。
砍掉充分小的dxi,记这 个概率为θ的函数：
30
连续型总体中参数 θ的似然函数!
最大似然估计值 最大似然估计量
怎样求最大值点？
基于此通常先取对数，再求最大值点。
化成求 对数似 然函数 的最大 值点!
如果对数似然函数二阶可导，并且概率 密度函数是单峰函数，则驻点就是最大 值点!通过求一阶导数能得驻点：
第七章 参数估计
1、什么是参数估计？ 当总体的分布类型已知，但其中仍有未知参数。比如总体 X服从参数μ,σ2的正态分布，但μ,σ2未知。但是我们 能根据来自总体X的一个简单随机样本X1,X2,…,Xn通过适 当的方法对这些未知参数进行估计，得到它的一个近似值 或近似区间。 2、参数估计有哪些形式？ (1)点估计：矩估计法、极大似然估计法。 (2)区间估计：正态总体下区间估计法。
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论 第七章 参数估计
L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本
第7章参数估计
x 1 0
f P 1－p
x
xf f
1 p 0 (1 p) p (1 p)
p
2 (x x)2 f (1 p)2 p (0 p)2 (1 p)
f
p (1 p)
似然函数常简记为L或 L 1,2, ,k
未知参数的函数。
38
若有 ˆi (x1, x2,..., xn ) i 1, 2, k 使得
L x1, x2,..., xn;ˆ1, ˆ 2,
, ˆ k
max L (1 ,2 , ,k )
x1, x2,..., xn; 1, 2,
, k
则 ˆi (X1, X2,..., Xn) 为参数θi的极大似然估计量。
中选出一个使样本观察值出现的概率为最大的 ˆ 作
为θ的估计量。
称 ˆ 为θ 的极大似然估计量。
37
2.似然函数的数学表达式
设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度 (连续型）或联合分布律 (离散型)为 :
f (x; 1，2 , , k )
定义似然函数为：
n
L L x1,..., xn; 1, 2, , k f xi; 1, 2, , k i 1 x1, x2 ,..., xn 给定的样本观察值
§7.1.4抽样误差
1.误差：调查结果与实际值之间的差异 抽样调查中的误差
登记性误差(非抽样误差) 误差代表性误差随系机统误误差差（（抽非样抽误样差误）差）
2.抽样误差—由于抽样的随机性而产生的 样本指标对总体指标的代表性误差。抽样误 差可以计算并加以控制，但不可以避免。
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
自考概率论课件_第七章_参数估计.ppt1
2 2 例3 设总体 X 的均值 及方差 都存在, 且有 0, 2 但 , 均为未知, 又设 X1 , X 2 ,, X n 是来自 X 的样 2 本, 试求 , 的矩估计量. 解 1 E ( X ) , 总体一阶原点矩 2 2 2 2 总体二阶 2 E ( X ) D( X ) [ E ( X )] ,
x ˆ 1 . x 1
为求的极大似然估计,先 易求得似然函数为
L( ) ( xi
i 1 n ( 1)
) xi i 1
n n
( 1)
,
ln L( ) n ln ( 1) xi ,
d ln L( ) n n xi 0. d i 1
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
2 1
n
n 3 2 2 ˆ b A1 3( A2 A1 ) X (Xi X ) . n i 1
§7.1
参数的点估计
一、点估计的一般定义及步骤
设总体X～F(x,θ),θ是未知参数,(X1,X2,…,Xn)是 取自总体X的样本,适当选取一个统计量
ˆ 去估计参数θ, 称 ˆ为θ的估计量或把 ˆ 用 叫做 θ的点估计.
ˆ =ˆ(X1,X2,…,Xn)
二、获取点估计的两种方法
1.矩估计法 2.极大似然估计法
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
概率论第七章参数估计2区间估计
2 / 2 ( n 1)
即
置信区间：
标准差σ的一个置信水平为 1 的置信区间
2 (n 1) S , 2 (n 1) 2
(n 1) S 2 1 (n 1) 2
2
注意：在密度函数不对称时，如 2分布和F 分布，
置信度 1 下，来确定 的置信区间[ , ]
⑴ 已知方差 ，估计均值μ
2
n 1 2 设已知方差 2 0 ，且 X X i 是 的 n i 1 一个无偏点估计，
又
X ~ N (0 , 1) 0 / n
且 对于给定的置信度 查正态分布表，找出
临界值
使得：
2 1 2 2
一个无偏估计， 因为X与Y 相互独立,所以
X Y ~ N ( 1 2 ,
X Y ( 1 2 )
2 1
n1
2 2
n2
)
2 1
n1 n2 所以 1 2 的置信水平为1-α的置信区间为
2 2
~ N (0,1)
( X Y z / 2
已知
由样本值算得：
查表 t0.025 (6) 2.447
得区间：
对某种型号飞机的飞行速度进行15次试验, 测 例 5： 得最大飞行速度(单位: 米/秒)为 422.2, 417.2, 425.6 420.3, 425.8, 423.1, 418.7, 438.3, 434.0, 412.3, 431.5 413.5, 441.3, 423.0, 428.2, 根据长期经验, 可以认为 最大飞行速度服从正态分布. 求飞机最大飞行速度
第三节 区间估计 譬如，在估计湖中鱼数的问题中，若 我们根据一个实际样本，得到鱼数 N 的极 大似然估计为1000条.
浙大版概率论与数理统计答案---第七章
第七章 参数估计注意： 这是第一稿（存在一些错误）1、解 由θθθμθ2),()(01===⎰d x xf X E ，204103)(2221θθθ=-==X D v ，可得θ的矩估计量为X 2^=θ，这时θθ==)(2)(^X E E ，nnX D D 5204)2()(22^θθθ=⋅==。
3、解 由)1(2)1(2)1(2)(21θθθθμ-=-+-==X E ，得θ的矩估计量为：3262121^=-=-=X θ。
建立关于θ的似然函数：482232)1(4)1())1(2()()(θθθθθθθ-=--=L令0148))1ln(4ln 8()(ln =--=∂-+∂=∂∂θθθθθθθL ，得到θ的极大似然估计值：32^=θ 4、解：矩估计：()1012122μθλθλθλ=⋅+⋅+⋅--=--，()()()()2222222121νθλθθλλθλθλ=--++-++--, 11A =,234B =, 故()()()()222ˆˆ221,3ˆˆˆˆˆˆˆˆˆˆ222121.4θλθλθθλλθλθλ⎧--=⎪⎨--++-++--=⎪⎩解得1ˆ,43ˆ.8λθ⎧=⎪⎪⎨⎪=⎪⎩为所求矩估计。
极大似然估计：(){}()33214526837,0,2,11L P X X X X X X X X θλθλθλ==========--，()()(),ln ,3ln 2ln 3ln 1l L θλθλθλθλ==++--，()(),330,1,230.1l l θλθθθλθλλλθλ∂⎧=-=⎪⎪∂--⎨∂⎪=-=⎪∂--⎩解得3ˆ,81ˆ.4θλ⎧=⎪⎪⎨⎪=⎪⎩即为所求。
5、解 由33)1(3)1(3)(222+-=-+-+=p p p p p p X E ，所以得到p 的矩估计量为^394(3)34322X X p -----==建立关于p 的似然函数：3210)1()2)1(3()()2)1(()(22n n n n p p p p p p p L ---= 令0)(ln =∂∂pp L ，求得到θ的极大似然估计值：n n n n p 22210^++=6、解：(1)()1112EX x x dx θθθθ+=+=+⎰， 由ˆ1ˆ2X θθ+=+得21ˆ1X X θ-=-为θ的矩估计量。
概率论与数理统计第七章参数估计习题答案
æ çè
x
±
ua
/
2
s n
ö ÷ø
=
(14.95
±
0.1´1.96)
=
(14.754,15.146)
大学数学云课堂
3028709.总体X ~ N (m,s 2 ),s 2已知,问需抽取容量n多大的样本，
才能使m的置信概率为1 -a,且置信区间的长度不大于L？
解：由s
2已知可知m的置信度为1
-
a的置信区间为
64 69 49 92 55 97 41 84 88 99 84 66 100 98 72 74 87 84 48 81 （1）求m的置信概率为0.95的置信区 间.
（2）求s 2的置信概率为0.95的置信区间.
解：x = 76.6, s = 18.14,a = 1- 0.95 = 0.05, n = 20,
大学数学云课堂
3028706.设X1,X 2,L,X n是取自总体X的样本,E（X）= m,D（X）= s 2,
n -1
å sˆ 2 = ( X i+1 - X i )2 ,问k为何值时sˆ 2为s 2的无偏估计. i =1 解：令 Yi = X i+1 - X i , i = 1, 2,¼, n -1, 则E(Yi ) = E( X i+1) - E( X i ) = m - m = 0, D(Yi ) = 2s 2 , n -1 å 于是Esˆ 2 = E[k ( Yi2 )] = k(n -1)EY12 = 2s 2 (n -1)k, i =1 那么当E(sˆ 2 ) = s 2 ,即2s 2 (n -1)k = s 2时, 有k = 1 . 2(n -1)
的密度函数为f
(x,q
概率论与数理统计课件第7章参数估计
一、矩估计
4
A B
一、矩估计 例1
5
01
OPTION
02
OPTION
一、矩估计 解
6
一、矩估计
7
一、矩估计
8
解（1）
一、矩估计
9
解（2）
一、矩估计 例3
10
一、矩估计 解
11
一、矩估计
12
关于矩估计量有下列结论:
一、矩估计
13
例4
解
一、矩估计
14
01
OPTION
02
OPTION
一、无偏性 定义1
51
ˆ lim E θ 如果 n+ X1 ,
, X n θ
一、无偏性
52
例1
试求 1 3 2
解
(1)由矩估计定义可知
一、无偏性
53
故
一、无偏性
54
一、无偏性 例2
55
一、无偏性
56
解
一、无偏性 定理 1
57
则有
因此, 样本均值是总体均值的无偏估计, 样本
二、极大似然估计
48
极大似然估计求解
似然函数 对数似然求导法
直接法
49
目录/Contents
7.1 7.2
点估计 点估计的优良性评判标 准 置信区间 单正态总体下未知参数的置信区间 两个正态总体下未知参数的置信区间
7.3
7.4 7.5
50
目录/Contents
7.2
点估计的优良性评判标准 一、无偏性 二、有效性 三、相合性
置信区间
69
置信区间
70
置信区间
概率论与数理统计（第三版）课后答案习题7
第七章 参数估计1. 解 )1()(,)(),,(~p np X D np X E p n B X -==∴⎩⎨⎧=-=⎩⎨⎧==22)1(,)()(B p np X np B X D X X E 即由解之，得n,p 的矩估计量为XB p B X X n 2221,-=⎥⎥⎦⎤⎢⎢⎣⎡-=∧∧注：“[ ]”表示取整。
2. 解 因为：220)(22)(1)1()(1)()(λλθλλθλθλθλ++=⋅=+=⋅==⎰⎰⎰∞+--∞+--∞+∞-dx e x x E dx e x dx x xf x E x x所以，由矩估计法得方程组： ⎪⎩⎪⎨⎧++=+=2221)1(1λλθλθA X 解得λθ,的矩估计量为 ⎪⎩⎪⎨⎧=-=∧∧221B B X λθ3. 解 (1) 由于 222)]([)()(X E X E X D -==σ令 ∑===n i iX n A X E 12221)( 又已知 μ=)(X E故 2σ的矩估计值为 ∑∑==∧-=-=-=n i i n i i X n X n A 12122222)(11μμμσ(2) μ已知时，似然函数为:⎭⎬⎫⎩⎨⎧--⋅=∑=-ni in x L 122222)(21exp )2()(μσπσσ因此∑=---=ni ixn L 12222)(21)2ln(2)(ln μσπσσ令 0)(2112)(ln 124222=-+-=∑=ni ixn L d dμσσσσ解得2σ的极大似然估计为: ∑=∧-=n i i X n 122)(1μσ4. 解 矩估计：λλ=∴=)()(X E X E 令X X E =)(故X =∧λ为所求矩估计量。
注意到 λ=)(X D 若令 2)(B X D =, 可得: 2B =∧λ似然估计：因为λλ-==e k k X P k!)(所以，λ的似然函数为∏=-=ni i xe x L i1!)(λλλ取对数λλλn x x L ni i ni i --=∑∑==11)!ln(ln )(ln令ln 1=-=∑=n xd d ni iλλλ, 解得∑=∧=ni ix n 11λ故,λ极大似然估计量为 X =∧λ5. 解 矩估计：21)1()()(11++=+==⎰⎰+∞+∞-θθθθdx x dx x xf X E令 X X E =)(, 即 X=++21θθ; 解之X X --=∧112θ 似然估计: 似然函数为⎪⎩⎪⎨⎧<<+=⎪⎩⎪⎨⎧<<+=∏∏==其它其它,010,)()1(,010,)1()(11i ni i ni n i i x x x x L θθθθθ 只需求10,)()1()(11<<+=∏=i ni i nx x L θθθ的驻点即可.又∑=++=ni ix n L 11ln )1ln()(ln θθθ令∑=++=ni ix n L d d 11ln 1)(ln θθθ; 解之∑=∧--=ni ixn1ln 1θ6. 解：似然函数为∑===---=-=---∏∏ni i i xn i i n ni x i ex ex L 12222)(l n 21112212)(l n 12)()2(21),(μσσμπσσπσμ取对数得 ∑----===∏n i ini i x x n L 122122)(l n 21)l n ()2l n (2),(ln μσπσσμ由 0)(l n 2112),(ln 0)1()(ln 221),(ln 124222122=∑-+⋅-=∂∂=∑-⋅--=∂∂==n i i n i i x n L x L μσσσμσμσσμμ联立解之，2,σμ的极大似然估计值为 ∑∑-=∑===∧=∧n i n i i in i i x n x n x n 12121)ln 1(ln 1,ln 1σμ7. 解：似然函数为 n i x x e ax L i i n i x a i ai ,,2,1;0,00,)(11 =⎪⎩⎪⎨⎧≤>=∏=--λλλ只需求∑⋅===--==--∏∏ni ai ai x a n i n n ni x a i ex a eax L 111111)()(λλλλλ的最值点。
概率论与数理统计第7章参数估计习题及答案
概率论与数理统计第7章参数估计习题及答案第7章参数估计 ----点估计⼀、填空题1、设总体X 服从⼆项分布),(p N B ，10<计量=pXN. 2、设总体)p ,1(B ~X，其中未知参数 01<则 p 的矩估计为_∑=n 1i i X n 1_，样本的似然函数为_ii X 1n1i X )p 1(p -=-∏__。
3、设 12,,,n X X X 是来⾃总体 ),(N ~X 2σµ的样本，则有关于 µ及σ2的似然函数212(,,;,)n L X X X µσ=_2i 2)X (21n1i e21µ-σ-=∏σπ__。
⼆、计算题1、设总体X 具有分布密度(;)(1),01f x x x ααα=+<<，其中1->α是未知参数，n X X X ,,21为⼀个样本，试求参数α的矩估计和极⼤似然估计.解：因?++=+=101α2α1α102++=++=+|a x 令2α1α++==??)(X X EXX --=∴112α为α的矩估计因似然函数1212(,,;)(1)()n n n L x x x x x x ααα=+∑=++=∴ni i X n L 1α1αln )ln(ln ，由∑==++=??ni i X nL 101ααln ln 得，α的极⼤似量估计量为)ln (?∑=+-=ni iXn11α2、设总体X 服从指数分布 ,0()0,x e x f x λλ-?>=??其他，n X X X ,,21是来⾃X 的样本，（1）求未知参数λ的矩估计；（2）求λ的极⼤似然估计.解：（1）由于1()E X λ=，令11X Xλλ=?=i x nn L x x x eλλ=-∑=111ln ln ln 0nii ni ni ii L n x d L n n x d xλλλλλ====-=-=?=∑∑∑故λ的极⼤似然估计仍为1X。
概率论第七章参数估计
概率论第七章参数估计参数估计是概率论中的一个重要概念，用于根据样本数据推断总体参数的未知值。
本文将介绍参数估计的概念、常见的估计方法以及对估计结果的评估。
一、参数估计的概念参数估计是指根据样本数据来推断总体参数的未知值。
总体是指要研究的对象的全体，参数是总体分布的特征数值，例如总体均值、总体方差等。
参数估计可以分为点估计和区间估计两种。
点估计是根据样本数据得到一个参数值的估计方法。
常见的点估计方法有最大似然估计法和矩估计法。
最大似然估计法是根据已知的样本数据，选择使得基于样本数据构建的似然函数取得最大值的参数值作为参数的估计值。
矩估计法是根据已知的样本数据，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
区间估计是指根据样本数据得到参数的一个区间估计，给出了参数取值范围的上下限。
常见的区间估计方法有置信区间法和预测区间法。
置信区间法是根据样本数据，给出参数估计值的上下限，使得该参数值落在这个区间的概率达到预先规定的置信水平。
预测区间法是根据样本数据，给出新观测值的一个区间估计，使得新观测值落在这个区间的概率达到预先规定的置信水平。
二、常见的估计方法最大似然估计法是参数估计中最常用的方法。
它是在已知样本数据的情况下，选择使得样本数据出现的概率最大的参数值作为参数的估计值。
最大似然估计法的优点是估计结果具有良好的渐进性质，但是对样本数据的要求较高，需要满足一定的充分统计条件。
矩估计法是一种简单的参数估计方法。
它是在已知样本数据的情况下，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
矩估计法的优点是计算简单，但是在一些情况下可能存在多个参数估计值。
置信区间法是一种常用的区间估计方法。
它是在已知样本数据的情况下，给出一个区间，使得参数的真值落在这个区间的概率达到预先规定的置信水平。
置信区间法的优点是提供了参数取值范围的上下限，对参数的估计结果具有一定的可信度。
预测区间法是一种用于预测新观测值的区间估计方法。
《概率论与数理统计》课件第七章 参数估计
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
概率论与数理统计第七章参数估计
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
概率论与数理统计第七章
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
概率论第7章
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
欧启通主编. 概率论与第数2理页统/共计5.2浙页江大学出版社, 2014. 2
2
第7章 参数估计
在参数估计问题中，假定总体分布形式已知， 未知的仅仅是一个或几个参数.
参数估计问题是利用从总体抽样得到的样本来 估计总体的某些参数或者参数的函数.
点估计
参数估计 区间估计
欧启通主编. 概率论与第数3页理统/共计5.2浙页江大学出版社, 2014.2
3
§7.1 点估计
设总体X的分布函数F ( x, )含有未知参数，抽取容量 为n的样本X1, X2 ,L , Xn构造一个统计量ˆ ˆ( X1, X2 ,L , Xn )， 用它的观测值ˆ( x1,x2,,xn )来估计未知参数，称ˆ( X1, X2 ,L , Xn )为的估计量，ˆ( x1,x2,,xn )称为的估计值.
欧启通主编. 概率论与第数5理页统/共计5.2浙页江大学出版社, 2014. 2
5
例1 已知总体X 在[0, ]服从均匀分布，其中 ( 0)为
未知参数，X1, X2 ,L , Xn是总体X的一个样本.
(1) 求的矩估计量ˆ；
(2) 若9.58 , 9.50 , 9.70 , 10.00 , 9.93 , 9.99 , 10.60 , 10.49
理论根据：只要总体的l 阶矩存在,样本的l 阶矩依 概率1收敛于总体的l 阶矩。
总体矩
总体矩的估计值
样本矩
k E( X k )
ˆk
Ak
1 n
n i1
X
k i
k E[ X E( X )]k
ˆk
Bk
1 n
n
(Xi
i1
X )k
显然欧，启通ˆ主1 编. 概A率1论与数X理,统ˆ计2. 浙江B大2学出版n社n, 20114s.22 , 通常取ˆ52 s2。
9
练习2 设总体X服从参数为的泊松分布，即
P { X
k}
k
k!
e
(k 0,1, 2；0 )
试求的矩估计量.
解 由于E( X ) , 据矩估计法有 ˆ X
又由于 D( X ) , 故可得的另一个矩估计量为ˆ S2
由此可见一个参数的矩估计量是不唯一的.
欧启通主编. 概率论第与数10理页统/共计5. 浙2页江大学出版社, 2014. 2
参数的点估计(方法)：指用样本统计量的值估计未知 参数的值。
矩估计法
点估计 极大似然估计法
欧启通主编. 概率论与第数4理页统/共计5.2浙页江大学出版社, 2014. 2
4
7.1.1 矩估计法 ——英国统计学家皮尔逊(K.Pearson)
矩估计法：是用样本矩估计相应的总体矩，用样本 矩函数估计总体矩的同一函数的一种估计方法。
欧启通主编. 概率论与第数6理页统/共计5.2浙页江大学出版社, 2014. 2
6
例1 已知总体X 在[0, ]服从均匀分布，其中 ( 0)为
未知参数，X1, X2 ,L , Xn是总体X的一个样本.
(1) 求的矩估计量ˆ；
(2) 若9.58 , 9.50 , 9.70 , 10.00 , 9.93 , 9.99 , 10.60 , 10.49
第11页/共52页
7.1.2 最大（极大）似然估计法
极大似然估计法是求估计值的另一种方法，最 早由高斯(R.A,Gauss)提出，后来为费歇尔（Fisher) 在1921年重新提出，并证明该方法的一些性质．它 是建立在极大似然原理基础上的一个统计方法．
极大似然原理：一个随机试验有若干种可能的结果A ， B， C ， …．若在一次试验中，结果A出现，则一般 认为试验条件对A出现有利，也即A出现的概率很大。
10
矩法的优点是简单易行，并不需要事先知 道总体是什么分布 .
缺点是，当总体类型已知时，没有充分 利用分布提供的信息 . 一般场合下，矩估计量 不具有唯一性 .
其主要原因在于建立矩法方程时，选取那 些总体矩用相应样本矩代替带有一定的随意性 . 在一般情况下，通常采取的原则是：能用低阶 矩处理的就不用高阶矩．
第7章 参数估计
§7.1 点估计 §7.2 点估计的优良标准 §7.3 区间估计
欧启通主编. 概率论与第数1理页统/共计5.2浙页江大学出版社, 2014. 2
1
第7章 参数估计
先看一看统计推断的大体思路: 总体
随机抽样
作出推断 样本
描述
统计推断的基本问题分为两大类:
统计量
1、估计问题（本章）
2、假设检验问题（第八章）
欧启通主编. 概率论第与数12理页统/共计5. 浙2页江大学出版社, 2014. 2
12
引例 设有外形完全相同的两个箱子，甲箱有99个 白球1个黑球，乙箱有1个白球99个黑球，今随机地 取出一箱，再从取出的一箱中抽取一球，结果取得 白球，问这球是从哪一个箱子中取出的？
8
练习1 设总体X ~ U[1，2]，试求1,2的矩估计量。
解
由于E(
X
)
1 2
(1
2
),
D(
X
)
1 12
(2
-1
)2
,
据矩估计法有 m1 A1 c2 B2
即
1 2
(1
1 (
12
2) 2 1 )2
X B2
解得1，
的矩估计量为：
2
ˆ1 X 3B2 , ˆ2 X 3B2
欧启通主编. 概率论与第数9理页统/共计5.2浙页江大学出版社, 2014. 2
为一组样本观察值，求的矩估计值.
解 (2)代入样本观察值，求得样本均值
x
1 8
8 i 1
xi
9.974
则得的估计值 : ˆ 2x 19.95
欧启通主编. 概率论与第数7理页统/共计5.2浙页江大学出版社, 2014. 2
7
例2 设总体X ~ N (, 2 ),试求, 2的矩估计量。
解 由于E( X ) , D( X ) 2, 据矩估计法有
考虑总体X的一、二阶原点矩
21((XX))
E( X ) E(X 2)
X
1
2
1 n
n i 1
Xi
2 2 1
n
,
n i 1
X
2 i
.
解得
1
n
n i 1
X
2 i
X
1
n
n i 1
(Xi
X
)2
即, 2的矩计量分别为：
ˆ X , ˆ
1 n
n i 1
( xi
x)2
欧启通主编. 概率论与第数8理页统/共计5.2浙页江观率察密值度，函求数的f矩( x估) 计值1 ., 0 x ,
0,
其他.
考虑总体X的一阶原点矩即总体的期望
用样本 1的(2X一) n1阶iEn原1(XX点i),矩得 V1的x估fn1(计xin)1量 dXx：i作ˆ为0xn2d1的xin1估X计2i 量2：X