数理统计与随机过程ch7

Xi2.
即
X, 2 2
1
n
n i1
Xi2.
求解，得
ˆ X,
ˆ2
1
n
n i1
(Xi
X)2.
故，均值,方差2的矩估计为
ˆˆ2X1n,in1（Xi X)2
即
n 1 S2. n
如：正态总体N(, 2) 中和2的矩估计为
ˆ X,
ˆ 2
1
n
n
（Xi
i1
X)2.
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
是不连续的，所以我们不能用似然方程组来求 极大似然估计，而必须从极大似然估计的定义 出发，求L(a,b)的最大值。
为使 L(a, b)达到最大，b-a应该尽量地小。
但b不能小于 max{x1,x2,…,xn}。否则，L(a,b) = 0。类似地，a不能大于min{x1,x2,…,xn}。
因此，a和 b 的极大似然估计为
步骤三：令
a1(1,2,,k ) A1,
a2
(1,2,,k
)
A2,
(1)
aL(1,2,,k ) AL.
得到关于1,2,…,k 的方程组(L≥k)。
一般要求方程组(1)中有 k 个独立方程。
步骤四：解方程组(1), 并记其解为
ˆ m ˆ m ( X 1 ,X 2 , ,X n ) ， m 1 ,2 , ,k .
a ˆm 1 i n{x ii} n,b ˆm 1 i n{ a xi}x .
例5：设 X1, X2,…,Xn 是抽自总体X的一个样 本，X 有如下概率密度函数
f(x,) x1,
0,
0x1, 其. 他
其中θ >0为未知常数。求θ的极大似然估计。 解：似然函数为
L() i n1xi1, xi(0,1),i12, , ,n,
似然估计(注: 我们把2看作一个参数)。
解：似然函数为
n
L(,2)
i1
1
e(x2i 2)2
2
(2 ) e , 2
n 2
212
n i1
(xi )2
对数似然函数为
lL n (,2 ) n 2 l2 n) ( n 2 ln 2 2 1 2 i n 1 (x i)2 ,
似然方程组为
2lnlL nL ((,,2)2)122 i nn1(2xi21)4 i n10(,xi )20.
0, 其.他
也可写成
L( ) ni n1xi1, 0m 1in{ixin }m 1in{ axi} x1,
0,
其. 他
当 0m 1in{ ixni}m 1ina{xx i}1时对 ， n 数似然函
ln L()nln (1)lnxi,
求导并令其导数等于零，得 i1
dld nL ()n i n1lnxi 0.
又是最大值点。
换成ˆ
1nin1xi x.
换成 X
得 的极大似然估计 ˆ X.
例 4：设X∼U(a, b)，求 a, b 的极大似然估计。
解：因
f
(x,a,b)
b
1, a
x[a,b],
0, x[a,b],
所以
n
L(a,b) f (xi,a,b)
i1
(b
1 a)n
,
0,
xi [a,b], i 1, 2,, n, 其他.
X1, X2 , … , Xn . 依样本对参数θ做出估计，或估计参数θ的某 个已知函数 g(θ) 。 这类问题称为参数估计。
参数估计包括：点估计和区间估计。
为估计参数 µ，需要构造适当的统计量 T(X1, X2 , … , Xn )，
一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为µ的估计， 称该计算 值为 µ的一个点估计。
寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 … 我们仅介绍前面的两种参数估计法 。
§7.1 矩估计
矩估计是基于“替换”思想建立起来的 一种参数估计方法 。最早由英国统计学家 K. 皮尔逊 提出。
其思想是: 用同阶、同类 的样本矩来估计总体矩。
总k体 阶原a 点 kE(矩 Xk),
III. 下面举例说明如何求参数的MLE
例1: 设X1, X2, …, Xn是取自总体 X~B(1, p) 的 一个样本，求参数 p 的极大似然估计。
解：似然函数为
n
L(p)f (xi, p)
i1
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1 ,
对数似然函数为：
n
n
ln L (p ) xiln p ) ((n xi)ln 1(p ),
L(a,
b)
(b
1 a)n
,
0,
(b
1 a)n
,
0,
xi [a,b], i 1, 2,, n, 其他
a m1iinn{xi} m1ianx{xi} b, 其他.
L(a,b) (b 1a)n, am 1in{ ixin }m 1in{ axi} xb, 0, 其.他
由上式看到：L(a,b)作为a和b的二元函数
即，如果
L(ˆ)maLx().
θ可能变化空间,
称为参数空间。
称ˆ 为θ的极大似然估计 (MLE)。
II. 求极大似然估计(MLE)的一般步骤 (1). 由总体分布导出样本的联合概率函数(连 (2) 续型时为联合概率密度, 离散型时为联
合
(3) (2).
把样概本率的分联布合)；概率函数中的自变量看成
ˆ
1 n
ni1
Xi2
nX2
1 n
ni1(Xi
X)2,
ˆ X 1nin1(Xi X)2 .
ˆ, ˆ为参数 ,的矩估计。
例3：设总体X的均值为，方差为2，求和 2 的矩估计。
解：由 aa12((,,22))E E((X X)2) 2,2.
列出方程组:
a1( ,2) a2( ,2)
X,
1
n
n i1
解：列出方程组
E(X ) ˆ,
D(
X
)
ˆ
2.
其ˆ中 X , ˆ21 ni n （ 1 X iX )2.
因 E (X)ab, D (X)(ba)2.
2
12
得
ab 2
(b a)2
X,
ˆ
2
.
12
解上述方程组，得到 a,b 的矩估计:
a ˆX 3 ˆ, b ˆX 3 ˆ.
其中ˆ 1nin（ 1 Xi X)2 .
解上述方程，得
n
n
lnxi .
i1
所以ˆ， n
n
lnXi
为的极大似然估计
i1
§7.3 估计量的优良性准则
从前面两节的讨论中可以看到:
● 同一参数可以有几种不同的估计，这时就需 要判断采用哪一种估计为好的问题。
I. 极大似然估计原理
设总体 X 的分布 (连续型时为概率密度，
离散型时为概率分布)为 f(x,θ) , X1,X2,…, Xn 是抽自总体 X 的简单样本。于是，样本的联合
概率函数 (连续型时为联合概率密度，离散型
时为联合概率分布) 为
n
L(x1,x2, ,xn,) f(xi,).
i1
视为变量
被看作固定， 但未知的参数
解: 先求总体的均值和2阶原点矩。
E(X)x1e(x)dx 0(θy)eydy
θ.
E(X2)x21e(x)dx
0
(
θ
y
)2ey
d
y
(θ 2 0
y 2 2
y 2)ey d
y
2θ 2 2 2
θ 2 (θ )2,
令2
X,
()2
1 n
ni1
Xi2.
用样本矩 估计总体矩
得
由第一个方程，得到
ˆ
1 n
n
xi
i1
x；
代入第二方程，得到
ˆ2 1nin1(xi x)2.
下面验证：似然方程组的唯一解是似然
函数的最大值点。
由 L (,
2) (2
) e , n 2
212i n 1(xi)2
及 微 积知 分 lim L 知 (,2识 )0, ，
lim L(,2)0, lim L(,2)0.
2
2 0
从而 ˆX,ˆ21 ni n1(XiX)2是L(,2)的最
大值点，即 和 2 的极大似然估计。
例3：设总体X服从泊松分布 P()，求参数
的极大似然估计。
解：由 X 的概率分布函数为
f(x,)xe, x0,1,2, ,
x!
得 的似然函数
n
L( ) f(xi,
i 1
n
)
e xi
n
L(x1,x2, ,xn,)f(xi,)
i1
视为固定值
视为变量
将上式简记为 L(θ)，即
n
L()f (xi,),
i1
称 L(θ)为θ的似然函数。
假定我们观测到一组样本X1, X2, …, Xn， 要去估计未知参数θ 。
一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得这组样本出现的可能性 (概率) 最大，就用那个参数(或哪组参数) 作 为参数的估计。 这就是极大似然估计原理。
矩估计的优点是：简单易行, 不需要事 先知道总体是什么分布。
缺点是：当总体的分布类型已知时，未 充分利用分布所提供的信息；此外，一般情 形下，矩估计不具有唯一性 。
§7.2 极大似然估计
极大似然估计法是在总体的分布类型来自百度文库 知前提下，使用的一种参数估计法 。
该方法首先由德国数学家高斯于 1821年 提出，其后英国统计学家费歇于 1922年发现 了这一方法，研究了方法的一些性质，并给 出了求参数极大似然估计一般方法——极大 似然估计原理 。
i 1
i 1
对 p 求导，并令其等于零，得
dld n L (p p )1 p i n 1xi1 1p(n i n 1xi)0.
nx 上式等价于
x 1 x . p 1 p
x 1 x . p 1 p
解上述方程，得 px.
换成 pˆ
换成 X
得pˆ X 为p的极大似然估计。
例2：求正态总体 N(, 2) 参数 和2的极大
数理统计与随机过程ch7
此处添加副标题内容
数理统计与随机过程 第七章
主讲教师：李学京 北京工业大学应用数理学院
第七章: 参数估计
数理统计的任务： ● 总体分布类型的判断； ● 总体分布中未知参数的推断(参数估计与 假设检验)。
参数估计问题的一般提法 设总体X的分布函数为F( x,θ)，其中θ为 未知参数或参数向量，现从该总体中抽样,得 到样本
已知常数, 参数θ看成自变量, 得到似然
函数 L(θ)；
(3). 求似然函数 L(θ) 的最大值点 (常常转化 为求ln L(θ)的最大值点) ，即θ的MLE;
(4). 在最大值点的表达式中，代入样本值，
就得参数θ的极大似然估计。
两点说明：
● 求似然函数L(θ)的最大值点，可应用微积 分中的技巧。由于 ln(x) 是x的增函数，所 以ln L(θ)与L(θ)在θ的同一点处达到各自的 最大值。假定θ是一实数, ln L(θ)是θ的一个 可微函数。通过求解似然方程
则 ˆ(ˆ1,ˆ2, ,ˆk)就是 (1,2, ,k)
的矩估计。
这种参数估计法称为参数的矩估计法， 简称矩法。
例1：设总体 X 的概率密度为
(1)x, 0x1,
f(x) 0,
其他 .
其α 中 1为未知 求 参 的数 矩。 估计
解：先求总体的期望
E(X)0 1x(1)xdx
(
1) x1 1 0
m =1,2,…,k. 一般地, am (m=1, 2,…, K) 是总体分布
中参数或参数向量 (1,2,…,k) 的函数。故, am (m=1, 2, …, k) 应记成:
am(1,2,…,k), m =1, 2, …, k.
步骤二：算出样本的 m 阶原点矩
A m1 ni n1Xim , m1,2, ,k.
d
x
1. 2
由矩法，令
X 1
样本矩
2
总体矩
解得
ˆ 2X 1
1 X
为α 的矩估计。
注意：要在参数上边加上“^”， 表示参数的估计。它是统计量。
例2：设X1,X2,…Xn 是取自总体X的简单样本, X 有概率密度函数
f(x)1e(x), x,
0,
其 他 .
其 中, 为 未 知 参数0。 ， 求, 的 矩 估 计 。
样k本 阶原A 点 k1 n i距 n1Xik,
总 k阶 体中 b k 心 E （ [X 矩 E） k X ],
样k阶 本中B k心 1 n i n 1 （ 距 X iX ） k,
矩估计就是用相应的样本矩去估计总体矩。
设总体 X 的分布函数中含 k 个未知参数
1,2 ,k.
步骤一：记总体X的m阶原点矩 E(Xm)为am ,
i 1 xi!
n
xi
e n
i1
n
,
xi!
i1
对数似然函数为
ln L () n(ln ) nxi nln xi!(),
i 1
i 1
似然方程为
dd lnL()n 1 i n1xi 0.
其解为
1nin1xi x.
因 22ln L()12i n1xi 0,
知x是lnL() 的唯一极大值点，。 它所以
dlnL() 0, d
可以得到θ的MLE。
若θ是向量，上述似然方程需用似然方程组
代替 。
ln
ln
L ( 1 , 2 , 1
L ( 1 , 2 ,
, k ) , k )
0, 0,
2
ln
L ( 1 , 2 ,
, k )
0
k
● 用上述方法求参数的极大似然估计有时行 不通，这时要用极大似然原理来求 。