课件-数理统计与多元统计 第二章 参数估计 2.1点估计

率密度为
e x f ( x; )
0
x0 0
x0
试求参数的极大似然估计量.
解：i)已知x1, x2,L ,xn,建立似然函数:
n
L( x1, x2 ,L , xn; ) f ( xi ; )
ii)两边取对数
i 1
n
n
e e xi
xi
n
i 1
i 1
n
ln L( x1, x2 ,L , xn; ) n ln xi
7
注2 若总体分布F ( x;1, 2 , , r )中含有r个
不 同 的 未 知 参 数, 则 须 由 样 本X 1 ,
X 2 ,
,
X
建
n
立r个统计量Ti ( X1, X2 , , Xn ),(1 i r)来作
为相应参数i (1 i r)的点估计。
例如正总体N ( , 2 )有两个未知参数及 2
15
例2.1.4
设X 1 ,
X 2 ,
,
X
为来自
n
总
体X的
样
本,
总体分布为
(1)正态分布N ( , 2 )；
(2)指数分布Z( )；
(3)均匀分布U(a, b)； (4)二项分布 B(N , p)；
(5)泊松分布 ( )。
试求总体未知参数的矩估计。
16
三 极大似然估计
1 极大似然估计概念
定义2.1.4 设总体X的分布函数F ( x; )的形式已知,
19
2 求极大似然估计的步骤
(1) 利用求导法求极大然估计步骤
i)已知x1, x2 ,L ,xn ,建立似然函数:
n
L( x1 , x2 , , xn;1 , 2 ,..., r ) f ( xi ;1 , 2 , , r ) i 1
ii)两边取对数
n
ln L( x1, x2 , , xn;1, 2 , , r ) ln f ( xi ;1, 2 , , r ) i 1
i 1
25
iii )对 求导数, 并令其值为0
d
ln L( ) d
n
n i 1
xi
令
0
iv)由上述等式中解出的ˆ即为的极大似然估计值:
ˆ =ˆ ( x1, x2 ,L , xn )
n1
n
= xi x
的极大似然估计量为: i1
ˆ =ˆ ( X1, X2 ,L , Xn )
n1
n
= Xi X
ln xi
i 1
23
的极大似然估计量为: ˆ =ˆ ( X1 , X 2 ,L , X n ) n n 1
ln Xi
i 1
v)由已知样本值得: n
ln xi 4.95388 i 1
于是得的一个极大似然估计值为: ˆ 6 1=0.21117
4.95388
24
例2.1.6 设总体X服从参数为的指数分布Z( ),其概
Vk (1, 2 , , r ) E( X k ) (1 k r ) (1.1)
令它等于k阶样本原点矩
Xk
1 n
n i 1
X
k i
(1.2)
9
即令
E(X
k)
1 n
n i 1
X
k i
从(1.3)式解出r个值
(1 k r)
(1.3)
k k ( X1, X2 ,L , Xn ) (1 k r)
C xi m
)
xi ln (mn
xi )ln(1 )
i 1
i 1
i 1
29
iii )对 求导数, 并令其值为0
n
n
d
ln L( )
i 1
xi
mn
i 1
xi
令
0
d
1
iv)由上述等式中解出的 即为的极大似然估计值:
ˆ=ˆ( x1, x2 ,L
, xn )
1 mn
n i 1
xi
的极大似然估计量为:
ˆ=ˆ( X1, X2 ,L
, Xn)
1 mn
n i 1
Xi
30
例2.1.9 设总体X的分布试离散型，其分布律为：
X
1
2

3
P
θ2 2θ(1-θ) (1-θ) 2
其中参数 未知(0
1)，X 1 ,
X 2 ,L
,
X
为取自
n
总体X的样本, 样本观测值为x1, x2 ,L , xn ,求的极
大似然估计.
ii)两边取对数
i1 n
i 1
exi xi !
n
(
i 1
xi !)1
n
xi e i1
n
n
n
ln L( ) ln( xi !) xi ln n
i 1
i 1
27
iii )对 求导数, 并令其值为0
n
d ln L( )
i 1
xi
令
n0
d
iv )由上述等式中解出的ˆ即为的极大似然估计值:
3
一 点估计的概念
1.总体参数概念 定义2.1.1 总体 X的分布参数,理论概率分布参数,
统称为总体参数.
总体参数, 狭义指总体分布之数学表达式中所含的参数
例如正态分布N (, 2 ),参数为, 2;二项分布B(n, p) 的参数为n, p;泊松分布 ( )的参数为 等等.
4
广 义 来 讲, 总 体 参 数 可 指 总 体 或 理论 分 布 的 数 字 特 征, 其 中 包 括 狭 义 总 体 参 数, 例 如, 总 体 的 原 点 矩,中 心 矩 协 方 差, 相 关 系 数, 偏 度 峰 度 以 及 事 件 的 概 率 ， 或 总 体 具有 某 种 特 征A的 个 体 的 比 率 等 等.
为未知参数, 为的可能取值范围, x1, x2 ,L , xn
为X的一个样本值,
若存在 ( x1, x2 , , xn ), 使得似然函数
L( x1,
x2 ,
,
xn;
)
max
L(
x1
,
x2 ,
,
xn;
)
则称 ( x1, x2 , , xn )为 的极大似然估计值,
17
( X1, X2 , , Xn )为 的极大似然估计量,
i 1
22
ii )两边取对数
n
ln L( x1, x2 ,L , xn; ) n ln( 1) ln( xi ) i 1
iii )对 求导数, 并令其值为0
d ln L( ) n
n
令
d
ln( 1
i 1
xi ) 0
iv )由上述等式中解出的ˆ即为的极大似然估计值:
ˆ=ˆ( x1, x2 ,L , xn ) n n 1
20
iii)求偏导数(1 i r), 并令其值为0
i
ln
L( x1 ,
,
xn;1 ,
, r )
i
n ln i1
f
( xi ;1,
, r
)
令
0
iv)由上述r个等式中解出的
i
(1
i
r
)即为
的
i
极大似然估计。
21
例2.1.5 设总体X的概率密度为
( 1)x
f (x) 0
0 x 1 1
Sn2
14
所 以 不 论X服 从 什 么 分 布, 样 本 均 值X总 是 总 体 期
望的矩估计量, Sn2总是总体方差D( X )的矩估计量。
注2
若
为
的矩估计量, g( )为
的连续函数,
亦称g( )为g( )的矩估计量。
例如Sn2为总体方差D( X )的矩估计量,则Sn Sn2 为标准差 D( X )的矩估计量。
而E( X ) , D( X ) 2 ,可分别用
样本均值T1 X与样本方差T2 S 2加以估计.
8
二 矩估计
定义2.1.3 设 总 体X的 分 布 函 数F ( x;1, 2 , , r ) 中 有r个 未 知 参 数1, 2 , , r , 假 定 总 体X的k阶
原 点 矩E( X k )(1 k r)存 在,记 作
其它
0.1, 0.2, 0.9, 0.8, 0.7, 0.7为某一个样本值,试求的极大
似然估计值与极大似然估计量.
解：i)已知x1, x2,L ,xn,建立似然函数: n
L( x1, x2 ,L , xn; ) f ( xi; )
n i1
n
( 1)xi ( 1)n ( xi )
i 1
ˆ=ˆ( x1, x2 ,L
, xn )
1 n
n i 1
xi =x
的极大似然估计量为:
ˆ=ˆ( X1, X2 ,L
, Xn)
1 n
n i 1
Xi
X
28
例2.1.8 设总体X服从参数为m,的二项分布B(m, ),
其概率分布为 P{ X x;m, } Cmx x (1 )m x , x 0,1,L , m, 设m已知，试求参数的极大似然
,
r时,
则
的
i
极
大
似
然
估
计
i
满足
L(x1, , xn; 1, , r ) max L(x1, , xn;1, ,r )
注2 若 为 的极大似然估计, g( )为 的函数,且
具有单值反函数,则g( )是g( )的极大似然估计。
例 如X为 参 数的 极 大 似 然 估 计 ， 则 函数e 的
极 大 似 然 估 计 为e X。