第七章 参数估计

是 可 靠 度 ， 即 区 间[ˆ（1 x1 , , xn ),ˆ（2 x1 , , xn )]能 包 含 未 知 参 数的 可 能 性 多 大 ， 即P{ˆ（1 x1 , , xn ) ˆ（2 x1 , , xn )}， 它 称 为 区 间 估 计[ˆ1，ˆ2 ]的 置 信 系 数 ；
另 一 方 面 是 精 度 ， 区 间越 短 ， 精 度 越 高 。 我 们希 望 找 到 这 样 的 区 间 估 计 ， 其置 信 系 数 尽 量 接 近1， 而 区 间 长 度尽可能小。
k个 未 知 参 数1 , 2 ,
,
的
k
联
立
方
程
组
，
从
中
解出
1
,
2
,
,
，
k
则 这 组 解ˆ1 ,ˆ2 ,
,ˆk就 作 为1 , 2 ,
,
的
k
矩
估
计
量
，
其
观
察
值
称为矩估计值。
什么是极大似然估计法
以 总 体X的 样 本 的 似 然 函数L( )的 解 ( X1, X 2 , , X n )来 估 计 参 数 真 值 的方 法 。ˆ( x1, x2 , , xn )称的 最 大 似 然 估 计值 ， ˆ( X1 , X 2 , , X n )称的 最 大 似 然 估 计量 。
t
，
n
称
为
完
全
样
本
。
二
截尾
样
本
， (1)定
时
截
尾 样 本 ， 假 设 将 随 机 抽取 的n个 产 品 在 时 间t 0时 同 时 投 入
试 验 ， 试 验 进 行 到 实 现规 定 的 截 尾 时 间t0停 止 ， 停 止 时 共 有 m个 产 品 失 效 ， 得 到 样 本t1 , t2 , , tm (0 t1 t2 tm t0 )， 称 为 定 时 截 尾 样 本(。 2)定 数 截 尾 样 本 ， 假 设 将随 机 抽 取 的n
P( x;
p)
n x
pxqn x , 其中q
1
p。
假定n=3，则p的取值应为多少？
解 由已知条件可知，p仅可能取1/4和3/4两种值，为此先算 出抽样的可能结果x在两种可能值p值之下的概率。
X P(x;3/4) P(x;1/4)
0 1/64 27/64
1 9/64 27/64
2 27/64 9/64
等等。 判 断 估 计 量 好 坏 的 标 准不 同 ， 对 估 计 量 的 评
价也就不同。
区间估计
区 间 估 计 是 用 一 个 区 间作 为 未 知 参 数 的 估 计 值。
在 统 计 上 ， 区 间 估 计 就是 构 造 样 本X1 ,
X 2 ,
,
X
的
n
两
个 统 计 量ˆ1((X1 , X 2 , , X n )和ˆ2 ((X1 , X 2 , , X n ),且
或X为 离 散 型 随 机 变 量 ， 其分 布 律 为P{ X x} p( x;1 , 2 , , n )，
其 中1 , 2 ,
,
为
n
待
估
参
数
，X
1
,
X 2 ,
,
X
是
n
来
自
总
体X的
样
本
，
假 设 总 体X的 前k阶 原 点 矩
l E( X l )
xl
f ( x;1 , 2 ,
, n )dx
1 n
n i 1
X i是 总 体 均 值E( X )
的
无 偏 估 计 量 与 一 致 估 计量 。
样本方差S 2
1 n1
n i 1
(Xi
X )2是 总体 方 差D( X )的 无
偏 估 计 量 与 一 致 估 计 量。
基于截尾样本的最大似然估计
产 品 寿 命T是 一 个 随 机 变 量 ， 它 的分 布 称 为 寿 命 分 布 。
个 产 品 在 时 间t 0时 同 时 投 入 试 验 ， 试 验进 行 到 有m（ 事 先
规 定 的 截 尾 数m n） 个 产 品 失 效 时 停 止 ，得 到 样 本t1 , t2 , , tm (0 t1 t2 tm )， 称 为 定 数 截 尾 样 本 。
基于截尾样本的最大似然估计
3 27/64 1/64
则定义估计量如下：
pˆ (
Leabharlann Baidu
x
)
1
4 3
, ,
4
当x 0,1 当x 2,3
它 是 对 每 个x， 选 取pˆ ( x)使 得
P( x, pˆ ( x)) P( x; P)
其 中p是 不 同 于pˆ ( x)的 另 一 值 。 这 就 是 最 大似 然 估 计 的 基 本 思
m
其 中s(t0 ) t1 t2 tm (n m)t0
参数的区间估计
区间估计的基本概念 正态总体均值与方差的区间估计 (0-1)分布参数的区间估计
0未 知 。 设 有n个 产 品 投 入 定 时 截 尾 试验 ， 截 尾 时 间 为t0， 得 定 时
截 尾 样 本0 t1 t2 tm t0。 故 似 然 函 数 为
1 1
[t1
t2
tm
(
n
m
)t0
]
L( ) e m
令 d ln L( ) 0， 解 得 d
ˆ s(t0 )
设 产 品 的 寿 命 分 布 是 指数 分 布 ， 其 概 率 密 度 为
f
(t
)
1
et
/
,
t 0
0, t 0
0未 知 。 设 有n个 产 品 投 入 定 数 截 尾 试验 ， 截 尾 数 为m， 得 定 数
截 尾 样 本0 t1
t2
t
。
m
故
似
然
函
数为
1
1
[
t1
t2
tm
(nm
)tm
或 l E( X l ) xl p( x;1 , 2 , , n ) xRX
l 1,2, , k
（X连 续 型 ） （X离 散 型 ）
（ 其 中RX是X的 可 能 取 值 范 围 ） 存 在。 它 们 是1 , 2 ,
,
的
n
函
数
。
其 样 本X ( X1 , X 2 , , X n )的 前k阶 原 点 矩
例1 假设有某位同学与一位老战士一同进行实弹射击，两人 同打一个靶子，每人各打一发，结果仅中一发，试问认为这 一发是谁打中的较为合理？为什么？
例2 假设在一个罐中放着许多白球和黑球，并假定已经知道 两种球的数目之比是1：3，但不知道哪种颜色的球多，如果 用有放回抽样法从罐中任意抽取n个球，则其中黑球的个数 为x的概率为
ˆ((X1 , X 2 , , X n )为的 估 计 量 ， 称
ˆ((x1 , x2 , , xn )为的 估 计 值 。 如 我 们 用 样本 均 值X
作 为 正 态 分 布N ( , 2 )中指 数 分 布 中的 估 计 量 。
点估计的优良性
如 问X与 总 体 均 值 的 误 差 不 超过1的 概 率 有 多
量，若有
D(ˆ1 ) D(ˆ2 ) 成 立 ， 则 称ˆ1比ˆ2有 效 。
一致性（相合性）
设ˆ ˆ( X1 , X 2 , , X n ),若 对 任 给 的 0， 有
lim
n
P{
|ˆ
(
X
1
,
X 2 ,
,
Xn )
|
}1
则 称ˆ是的 一 致 估 计 量 。
练习
试 证 样 本 均 值X
形 式 ： 点 估 计 和 区 间 估计 。
点估计
点 估 计 是 用 一 个 数 值 作为 未 知 参 数 的 估 计 值 。
在 统 计 上 ， 点 估 计 就 是构 造 样 本X1 , X 2 ,
,
X
的
n
一
个
统 计 量ˆ((X1 , X 2 , , X n ),用 它 的 观 察 值
ˆ((x1 , x2 , , xn )作 为 未 知 参 数的 近 似 值 ， 我 们 称
含 有 未 知 参 数， 从 总 体 中 随 机 抽 样 ，得 样 本
x1 , x2 , , xn , 通 过 样 本 去 获 得 对 未 知参 数的 了 解 。
包 括 估 计 问 题 和 检 验 问题 。 由 于 估 计 的 对 象 是参
数 ， 所 以 又 称 为 参 数 估计 。 参 数 估 计 有 两 种 基本
Al
1 n
n i 1
X il，l
1,2,
,k
矩估计法的基本思想
由辛钦定理，可知Al
p
，
l
再由依概率
收敛的性质
可知，g( A1 , A2 , , Ak ) p g(1 , 2 , , k )，其中g为连续
函数，因此考虑可用样本矩作为相应的总体矩的估计量。
矩估计法的具体作法
令总体 矩l A（l 样本矩 ），l 1,2, , k，得到一 个包含
d
d
即 可 得ˆ ˆ( X1 , X 2 , , X n )。
极大似然估计法的具体作法
有k个参数时，似然函数L(1， 2， ， k )为多元函数，解 解L(1， 2， ， k )或 ln L(1， 2， ， k )的偏导数方程组即可 得解ˆi ˆi ( X1 , X 2 , , X n ), i 1,2, , k。
ˆ1 ˆ2， 用 观 察 值[ˆ1((x1 , x2 , , xn )，ˆ1((x1 , x2 , , xn )]
作 为 未 知 参 数的 估 计 值 ， 用[ˆ1((X1 , X 2 , , X n )，
ˆ2 ((X1 , X 2 , , X n )]作 为的 估 计 量 。
区间估计的优良性
区 间 估 计 的 优 良 性 可 分两 个 方 面 去 考 察 ， 一 方面
估计量的评选标准
(1)无 偏 性
设ˆ ˆ( X1 , X 2 , , X n ), E(ˆ)存 在 且 E(ˆ)
则 称ˆ是的 无 偏 估 计 量 ， 否 则 称有 偏 估 计 量 。
(2)有 效 性
设ˆ1 ( X1 , X 2 , , X n )和ˆ2 ( X1 , X 2 , , X n )都 是的 无 偏 估 计
统计学推断概述
统计推断是数理统计理论的主要部分。现行 的统计推断理论，是建立在概率论的基础上的。
所谓统计推断，就是根据从总体中抽出的样 本，去推断总体的性质（概率分布）。
只有在总体未知或总体分布已知，但含有未 知参数时，统计推断才有意义。
例如，假定在一大群人中，身高服从正态分 布N(,2)，其中,2是未知参数，即推断的对象。
又如，大批生产的一种电子元件，在一定条 件下，我们假定元件寿命的概率分布为指数分布， 其概率密度为
统计学推断概述
f
(
x)
1
e
x
0
x0 其它
参 数〉0为 未 知 参 数 ， 是 统 计 推断 的 对 象 。
这 样 ， 我 们 就 可 以 一 般的 把 统 计 推 断 问 题
抽 象 为 如 下 的 数 学 模 型： 总 体 的 概 率 分 布F ( x; )
本章小结 习题
参数估计
点估计 区间估计
退出 返回
参数的点估计
矩估计法 极大似然估计法 估计量的评选标准
继续 返回
什么是矩估计法
以样本矩估计相应总体矩来求出估计量的方 法，称为矩估计法，又称数字特征法。
矩估计法的基本思想
设X为 连 续 型 随 机 变 量 ， 其概 率 密 度 为f ( x;1 , 2 , , n )，
想。
极大似然估计法的基本思想
在 已 知 总 体X概 率 分 布 时 ， 对 总 体 进行n次 观 测 ， 得 到 一 个
样 本 ， 选 取 概 率 最 大 的值ˆ作 为 未 知 参 数的 真 值 的 估 计 是 最
合理的。
极大似然估计法的具体作法
(1)X是 离 散 型 随 机 变 量 ，P{ X x} P( x; )， 则 似 然 函 数
大 ？ 即 要 求 在 正 态 分 布的 假 定 下P{| X | 1}， 在 指 数 分 布 的 假 定 下 算出P{| X | 1}， 等 等 。
或 问 方 差 的 大 小 ？ 即 要求 在 正 态 分 布 的 假 定
下E( X )2， 在 指 数 分 布 的 假 定 下算 出E( X )2，
为 了 对 寿 命 分 布 进 行 统计 推 断 ， 则 需 通 过 寿 命试 验 ， 取 得
寿命数据。
实 验 方 法 ： 一 完 全 样 本， 将 随 机 抽 取 的n个 产 品 在 时 间
t 0时 ， 同 时 投 入 试 验 ， 直到 每 个 产 品 都 失 效 ， 得到 样 本
0 t1
t2
]
L( ) e m
令 d ln L( ) 0， 解 得 d
ˆ s(tm )
m 其 中s(tm ) t1 t2 tm (n m)tm
基于截尾样本的最大似然估计
设 产 品 的 寿 命 分 布 是 指数 分 布 ， 其 概 率 密 度 为
f
(t
)
1
e
t
/
,
t 0
0, t 0
解方程
n
L( ) P( xi ; ) i 1
dL 0或 d ln L 0
d
d
即 可 得ˆ ˆ( X1 , X 2 , , X n )。
(2)X是 连 续 型 随 机 变 量 ， 概率 密 度 为f ( x; )， 则 似 然 函 数
解方程
n
L( ) f ( xi ; ) i 1
dL 0或 d ln L 0