基于充分完备统计量的无偏估计一定是估计
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n i 1
的一个估计量是 X X i n ,由 中 心 极 限 定 理
L n( X ) N 0 , (1 ) 对 任 一 参 数g ( ) , 若 g ( ) 存 在 ，
L 则 有 n g ( X ) g ( ) N 0 , [ g ( )]2 (1 )
定理 2.1.1
CAN估计一定是相合估计。
（证明见教材P54）
2 - 14
2.2 无偏估计的方差下界
当样本容量 n 1 时 ， 可 估 参 数 的 无 偏计 估不 唯 一 ， 设g( )为 可 估 参 数 ， 可 以 找 一 到个 无 偏 估 计 ， 其 方比 差 任 意 其 他 无 偏 估 计 的差 方都 一 致 地 小 ， 则 这估 个计 就 称 为 方 差 一 致 最 小 无 偏 估， 计简 称 为 UMVU估 计 。 例 5. 设 X 1 , , X n 是 来 自U (0 , ) 的 一 个 样 本由 ，
ˆ 去 估 计 的 真 值 ， 则 ˆ 就 称 为 的 一 个 点 估 计 。 如 果 用 ˆ 的值就称为 当 给 定样 本 的 值 时 ， 的估计值。
2 - 2
即
设 X 1, , X n 是 总 体 的 一 个 样 本 ，
其分布函数为 F(X ; )。 其 中 为 未 知 参 数 ， 为 参 数 空 间 ， 若统计量 g( X 1, , X n )可 作 为 的 一 个 估 计 ， 则 称其为 的一个估计量， ˆ g( X , , X ). 记为
g ( X ) 是 g ( ) 的 渐 进 正 态 估 计 。 如 取 g ( )
西 南 科 技 大 学 网 络 教 育 课 程
1
2 ， 则 g ( ) （1 ） ，
X 是 的渐近正态估计， 1 X 1 其渐近方差是 , 且 g(X) 也 是 g ( ) 的 相 合 估 计 。 3 n(1 )
2 - 4
例 1. 例 1 ：设总体 X的k阶 矩 k E( X k )
(k 1)存 在 ， 又 设 X1 , X 2 ,...,X n 是 总 体 X的 一 个 样 本 ， 试 证 明 论 不总 体 服 从 什 么 分 布k ， 阶 1 n k 样本矩 Ak Xi n i 1 是k阶 总 体 矩 的无偏估计。
而 E( X ) E( X ) ,
西 南 科 技 大 学 网 络 教 育 课 程
n i 1
Var( X ) Var( X ) n ,
E[ ( X i X ) 2 ] ( n 1)Var( X ) E ( S 2 ) Var( X ) , S 2 是 Var( X ) 的 无 偏 估 计 量 。
点估计的基本思想是：
总体 X～F ( x ; ) 或 f ( x ; )
抽 取
去 估 计 构造
样本 X 1 ， ， Xn
ˆ( X ， 统计量 Xn ) 1 ，
2.1.1 点估计的定义
西 南 科 技 大 学 网 络 教 育 课 程
定义2.1.1 设 为 总 体 分 布 的 （ 1维 或 多 维 ） 未 知 参 数 ， ˆ 为一统计量，与 有相同的维数与取值范 围。
ˆ 称为待估参数 的相合估计， 定义 2.1.4 估 计 量 n
西 南 科 技 大 学 网 络 教 育 课 程
若对给定 样本分布族中的任一分 布， ˆ 依概率收敛到 当n 时 ， .
n
2 - 10
相 合 估 计 又 译 作 “ 一估 致计 ” 。 根 据 依 概 率敛 收 的 定 义 ， 相 合 估 计 满： 足 对 任 意 0 有 ˆ 0 limP n n p ˆ ˆ 是 的弱相合估计。 当 n 时 ， ,称 n ˆ ˆ 是 的强相合估计。 当 n 时 ， a .s , 称
西 南 科 技 大 学 网 络 教 育 课 程
定义2.1.3 设 为 一 个 一 维 未 知 参 数 , ˆ 为 的 一 个 估 计 ， ˆ 的均方误差定义为
ˆ , ) E ( ˆ )2 MSE(
2 - 8
ˆ E ( ˆ) 2E ˆ E ( ˆ ) E ( ˆ) E ˆ) E ( ˆ E ( ˆ ) E ( ˆ) 2E ˆ ) E ( ˆ ) E ( ˆ) 0 2 E ( ˆ , ) Var( ˆ ) E ( ˆ) MSE(
1 1 ˆ 以 就 可 化 为 无 偏 估 计 ， 即 为 的 无 偏 估 计 量 。 C C
西 南 科 技 大 学 网 络 教 育 课 程
注:
(1) 无 偏估 计不 一定 总存 。 在 （2） 对 可估 参数 无偏 估计 般 一 不唯 一。 （3） 无 偏估 计不 一定 是 好 估 计。
2 - 7
1 n
若
西 南 科 技 大 学 网 络 教 育 课 程
x 1 , , x n 是 样 本 的 一 个 观 察 值 。 ˆ g( x , , x )称 为 的 估 计 值 ,
1 n
注： F ( X ; )也可用分布律或密度函数代替.
2 - 3
2.1.2 无偏估计量
对同一参数可以构造多个不同的点估计量去估计， 如何评价估计量的优劣，需要建立评价估计量优劣的标 准。估计量是随机变量，对于不同的样本值就会得到不 同的估计值，希望估计值在未知参数真值左右徘徊，即 使它的数学期望等于未知参数的真值,这就导致了无偏 性这个标准。
2.1.3 均方误差准则
ˆ 估 计 ， 评 价 该 估 计 好 坏 的 个 假 设 用 一自 然 度 量 ˆ , 由 于 是 未 知 的 ， 样 本 又 具 随 是 有机性， 直 接 使 用 这 种 自 然 度在 量实 际 中 是 不 可 行 的 ， 为排除样本随机性的影 响，可以对它求期望， 由于数学处理上的方便 考虑，最常用的标准 是由下式给出的均方误 差。
n
在统计研究中一般所指的相合性均是指弱相 合性，不满足相合性要求的估计一般不予考虑。
例3. 例 3： 设 X 1 , , X n 是 来 自 U (0 , )的 一 个 样 本 ，
最大次序统计量来自百度文库X nn 是 的 常 用 估 计 ， 则 X nn 的密度函数为 p( t ; ) nt n 1 n , 0 t
n
至少为多少。
2 - 12
事 实 上 ， 相 合 估 计 可不 以止 一 个 ， 它 们 之 间 是 有 差 异 的 。 这 种 差 异往 可 以 由 估 计 量 的 渐 进 分 布 的 渐 进 方 差映 反出 来 。 最 常 用 的 渐 进 分 布 是态 正分 布 。
定义 2.1.5 估 计 量ˆn 称 为 的 相 合 渐 进 正 态 估 计 ，
ˆ ˆ ( X , , X )为 的 估 计 量 定义2.1.2 设 , 1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ ) , , 则 称 ˆ 是 的无偏估计量 若 E ( . ˆ) 称 为 估 计 的 系 统 误 差 ( E ( )
即 估计量的数学期望等于被估计的参数。
1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ（x , , x ） ˆ（X , , X ） 值 来 估 计 未 知 参 数 。 称 1 n 1 n ˆ（x , , x ） 为 的 估 计 量 、 为 的 估 计 值 。
1 n
ˆ。 统称为估计，简记为
2 - 1
证 ：X 1 , X 2 ,...,X n 与X同 分 布 ， 故 有
k E( X k ) E ( X ) k , i
i 1,2,...,n. 证毕。
即有
西 南 科 技 大 学 网 络 教 育 课 程
1 n E( A k ) E( X k i ) k , n i 1
特别，不论总体 X服从什么分布， X总是E( X)的 无偏估计。
第 2 章 点 估 计 法
2.1 基本概念
问题的一般提出: 设 总 体 X 的 分 布 函 数F ( x ; ) 为 已 知 ， 是
待估计的参数， X1 , , X n 是 X 的一个样本 ， x1 , , x n 是 相 应 的 一 个 样 本 值 点 。估计问题就是 ˆ（X , , X ） 要构造一个 适当的统量 计 ，用它的观察
ˆ E ( ˆ ) E ( ˆ) E
2 2 2 2
西 南 科 技 大 学 网 络 教 育 课 程
ˆ , ) E ( ˆ )2 MSE(
ˆ , ) 是由两个量迭加而成 MSE( , 一个是估计量的方差， ˆ 是 的无偏估计， 另一个是估计的偏差的 平 方.如 果 ˆ , ) Var( ˆ) 则后一项为 0 .则 有 MSE(
2 - 9
2.1.4 相合估计及相合渐近正态估计
估 计 量 是 与 样 本 容 量关 有 的, 假 设 用 ˆ ˆ ( X , , X ) 估 计 , 就 不 可 能 做 到 对
n n 1 n
ˆ ) 对 所 有 任 意 小 某 一 n, MSE( , n 但 当 n 时 通 常 可 以 做 到 这 一,点 这就是相合性概念 .
2 - 6
n1 Var( X ) 知 ， 如 果 用 B2 作 为Var( X ) 的 n n 估 使 其 变 为偏 无估 计 ， 只 需 要 用计 量 ， 乘要 以B 2即 可 ， 这 种 方 法 称 n n1 用无 偏 化 乘以 B2 即可。这种方法称为无偏化。 为 。 n1 ˆ 是的 估 计 量 ， 且 有 ˆ ) C, 一般地，若 E( ˆ乘 (C 0为 常 数 )， 要 将 其 化 为 无 偏 估 时 计只 需 将 又 由 E ( B2 )
若存在一串 n 0 ,满 足
西 南 科 技 大 学 网 络 教 育 课 程
lim n n ,
n
ˆn 其 中0 , 使 得 N (0 , 1) (d ) . n
相合渐进正态估计简称为CAN估计
2 - 13
例 4.设
X 1 , , X n 是 来 自B(1 , ) 的 一 个 样 本 ，
2 - 11
西 南 科 技 大 学 网 络 教 育 课 程
易 求 出E ( X nn ) n ( n 1) , 因 此 X nn 不 是 的 无 偏 估 计 ， 但 它 是 的 渐进无偏估计 , 另外由于对任意的 0,
根 据 依 概 率 收 敛 的 定， 义
n 1
P X nn P ( X nn ) P ( X nn )
2 - 5
2 例2. 证明 S 是 Var( X ) 的无偏估计量。
证 明 ： E[ ( X i X ) ] E[ X i2 nX 2 ]
2 i 1 i 1
n
n
E ( X i2 ) nE ( X 2 )
i 1
n
n[Var( X ) E 2 ( X )] n[Var( X ) E 2 ( X )] ,
dt 0 ( n ) n 0 因 此, X nn 是 的 相 合 估 计 。 nt
西 南 科 技 大 学 网 络 教 育 课 程
n
必须指出相合性只是映 反 了 当n 时 估 计 量 的性质，而对任意有的 限 n ，相合性是没有意义， 的 ˆ 达到一定精度， 相合性本身不能说明使 为 n 必须
的一个估计量是 X X i n ,由 中 心 极 限 定 理
L n( X ) N 0 , (1 ) 对 任 一 参 数g ( ) , 若 g ( ) 存 在 ，
L 则 有 n g ( X ) g ( ) N 0 , [ g ( )]2 (1 )
定理 2.1.1
CAN估计一定是相合估计。
（证明见教材P54）
2 - 14
2.2 无偏估计的方差下界
当样本容量 n 1 时 ， 可 估 参 数 的 无 偏计 估不 唯 一 ， 设g( )为 可 估 参 数 ， 可 以 找 一 到个 无 偏 估 计 ， 其 方比 差 任 意 其 他 无 偏 估 计 的差 方都 一 致 地 小 ， 则 这估 个计 就 称 为 方 差 一 致 最 小 无 偏 估， 计简 称 为 UMVU估 计 。 例 5. 设 X 1 , , X n 是 来 自U (0 , ) 的 一 个 样 本由 ，
ˆ 去 估 计 的 真 值 ， 则 ˆ 就 称 为 的 一 个 点 估 计 。 如 果 用 ˆ 的值就称为 当 给 定样 本 的 值 时 ， 的估计值。
2 - 2
即
设 X 1, , X n 是 总 体 的 一 个 样 本 ，
其分布函数为 F(X ; )。 其 中 为 未 知 参 数 ， 为 参 数 空 间 ， 若统计量 g( X 1, , X n )可 作 为 的 一 个 估 计 ， 则 称其为 的一个估计量， ˆ g( X , , X ). 记为
g ( X ) 是 g ( ) 的 渐 进 正 态 估 计 。 如 取 g ( )
西 南 科 技 大 学 网 络 教 育 课 程
1
2 ， 则 g ( ) （1 ） ，
X 是 的渐近正态估计， 1 X 1 其渐近方差是 , 且 g(X) 也 是 g ( ) 的 相 合 估 计 。 3 n(1 )
2 - 4
例 1. 例 1 ：设总体 X的k阶 矩 k E( X k )
(k 1)存 在 ， 又 设 X1 , X 2 ,...,X n 是 总 体 X的 一 个 样 本 ， 试 证 明 论 不总 体 服 从 什 么 分 布k ， 阶 1 n k 样本矩 Ak Xi n i 1 是k阶 总 体 矩 的无偏估计。
而 E( X ) E( X ) ,
西 南 科 技 大 学 网 络 教 育 课 程
n i 1
Var( X ) Var( X ) n ,
E[ ( X i X ) 2 ] ( n 1)Var( X ) E ( S 2 ) Var( X ) , S 2 是 Var( X ) 的 无 偏 估 计 量 。
点估计的基本思想是：
总体 X～F ( x ; ) 或 f ( x ; )
抽 取
去 估 计 构造
样本 X 1 ， ， Xn
ˆ( X ， 统计量 Xn ) 1 ，
2.1.1 点估计的定义
西 南 科 技 大 学 网 络 教 育 课 程
定义2.1.1 设 为 总 体 分 布 的 （ 1维 或 多 维 ） 未 知 参 数 ， ˆ 为一统计量，与 有相同的维数与取值范 围。
ˆ 称为待估参数 的相合估计， 定义 2.1.4 估 计 量 n
西 南 科 技 大 学 网 络 教 育 课 程
若对给定 样本分布族中的任一分 布， ˆ 依概率收敛到 当n 时 ， .
n
2 - 10
相 合 估 计 又 译 作 “ 一估 致计 ” 。 根 据 依 概 率敛 收 的 定 义 ， 相 合 估 计 满： 足 对 任 意 0 有 ˆ 0 limP n n p ˆ ˆ 是 的弱相合估计。 当 n 时 ， ,称 n ˆ ˆ 是 的强相合估计。 当 n 时 ， a .s , 称
西 南 科 技 大 学 网 络 教 育 课 程
定义2.1.3 设 为 一 个 一 维 未 知 参 数 , ˆ 为 的 一 个 估 计 ， ˆ 的均方误差定义为
ˆ , ) E ( ˆ )2 MSE(
2 - 8
ˆ E ( ˆ) 2E ˆ E ( ˆ ) E ( ˆ) E ˆ) E ( ˆ E ( ˆ ) E ( ˆ) 2E ˆ ) E ( ˆ ) E ( ˆ) 0 2 E ( ˆ , ) Var( ˆ ) E ( ˆ) MSE(
1 1 ˆ 以 就 可 化 为 无 偏 估 计 ， 即 为 的 无 偏 估 计 量 。 C C
西 南 科 技 大 学 网 络 教 育 课 程
注:
(1) 无 偏估 计不 一定 总存 。 在 （2） 对 可估 参数 无偏 估计 般 一 不唯 一。 （3） 无 偏估 计不 一定 是 好 估 计。
2 - 7
1 n
若
西 南 科 技 大 学 网 络 教 育 课 程
x 1 , , x n 是 样 本 的 一 个 观 察 值 。 ˆ g( x , , x )称 为 的 估 计 值 ,
1 n
注： F ( X ; )也可用分布律或密度函数代替.
2 - 3
2.1.2 无偏估计量
对同一参数可以构造多个不同的点估计量去估计， 如何评价估计量的优劣，需要建立评价估计量优劣的标 准。估计量是随机变量，对于不同的样本值就会得到不 同的估计值，希望估计值在未知参数真值左右徘徊，即 使它的数学期望等于未知参数的真值,这就导致了无偏 性这个标准。
2.1.3 均方误差准则
ˆ 估 计 ， 评 价 该 估 计 好 坏 的 个 假 设 用 一自 然 度 量 ˆ , 由 于 是 未 知 的 ， 样 本 又 具 随 是 有机性， 直 接 使 用 这 种 自 然 度在 量实 际 中 是 不 可 行 的 ， 为排除样本随机性的影 响，可以对它求期望， 由于数学处理上的方便 考虑，最常用的标准 是由下式给出的均方误 差。
n
在统计研究中一般所指的相合性均是指弱相 合性，不满足相合性要求的估计一般不予考虑。
例3. 例 3： 设 X 1 , , X n 是 来 自 U (0 , )的 一 个 样 本 ，
最大次序统计量来自百度文库X nn 是 的 常 用 估 计 ， 则 X nn 的密度函数为 p( t ; ) nt n 1 n , 0 t
n
至少为多少。
2 - 12
事 实 上 ， 相 合 估 计 可不 以止 一 个 ， 它 们 之 间 是 有 差 异 的 。 这 种 差 异往 可 以 由 估 计 量 的 渐 进 分 布 的 渐 进 方 差映 反出 来 。 最 常 用 的 渐 进 分 布 是态 正分 布 。
定义 2.1.5 估 计 量ˆn 称 为 的 相 合 渐 进 正 态 估 计 ，
ˆ ˆ ( X , , X )为 的 估 计 量 定义2.1.2 设 , 1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ ) , , 则 称 ˆ 是 的无偏估计量 若 E ( . ˆ) 称 为 估 计 的 系 统 误 差 ( E ( )
即 估计量的数学期望等于被估计的参数。
1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ（x , , x ） ˆ（X , , X ） 值 来 估 计 未 知 参 数 。 称 1 n 1 n ˆ（x , , x ） 为 的 估 计 量 、 为 的 估 计 值 。
1 n
ˆ。 统称为估计，简记为
2 - 1
证 ：X 1 , X 2 ,...,X n 与X同 分 布 ， 故 有
k E( X k ) E ( X ) k , i
i 1,2,...,n. 证毕。
即有
西 南 科 技 大 学 网 络 教 育 课 程
1 n E( A k ) E( X k i ) k , n i 1
特别，不论总体 X服从什么分布， X总是E( X)的 无偏估计。
第 2 章 点 估 计 法
2.1 基本概念
问题的一般提出: 设 总 体 X 的 分 布 函 数F ( x ; ) 为 已 知 ， 是
待估计的参数， X1 , , X n 是 X 的一个样本 ， x1 , , x n 是 相 应 的 一 个 样 本 值 点 。估计问题就是 ˆ（X , , X ） 要构造一个 适当的统量 计 ，用它的观察
ˆ E ( ˆ ) E ( ˆ) E
2 2 2 2
西 南 科 技 大 学 网 络 教 育 课 程
ˆ , ) E ( ˆ )2 MSE(
ˆ , ) 是由两个量迭加而成 MSE( , 一个是估计量的方差， ˆ 是 的无偏估计， 另一个是估计的偏差的 平 方.如 果 ˆ , ) Var( ˆ) 则后一项为 0 .则 有 MSE(
2 - 9
2.1.4 相合估计及相合渐近正态估计
估 计 量 是 与 样 本 容 量关 有 的, 假 设 用 ˆ ˆ ( X , , X ) 估 计 , 就 不 可 能 做 到 对
n n 1 n
ˆ ) 对 所 有 任 意 小 某 一 n, MSE( , n 但 当 n 时 通 常 可 以 做 到 这 一,点 这就是相合性概念 .
2 - 6
n1 Var( X ) 知 ， 如 果 用 B2 作 为Var( X ) 的 n n 估 使 其 变 为偏 无估 计 ， 只 需 要 用计 量 ， 乘要 以B 2即 可 ， 这 种 方 法 称 n n1 用无 偏 化 乘以 B2 即可。这种方法称为无偏化。 为 。 n1 ˆ 是的 估 计 量 ， 且 有 ˆ ) C, 一般地，若 E( ˆ乘 (C 0为 常 数 )， 要 将 其 化 为 无 偏 估 时 计只 需 将 又 由 E ( B2 )
若存在一串 n 0 ,满 足
西 南 科 技 大 学 网 络 教 育 课 程
lim n n ,
n
ˆn 其 中0 , 使 得 N (0 , 1) (d ) . n
相合渐进正态估计简称为CAN估计
2 - 13
例 4.设
X 1 , , X n 是 来 自B(1 , ) 的 一 个 样 本 ，
2 - 11
西 南 科 技 大 学 网 络 教 育 课 程
易 求 出E ( X nn ) n ( n 1) , 因 此 X nn 不 是 的 无 偏 估 计 ， 但 它 是 的 渐进无偏估计 , 另外由于对任意的 0,
根 据 依 概 率 收 敛 的 定， 义
n 1
P X nn P ( X nn ) P ( X nn )
2 - 5
2 例2. 证明 S 是 Var( X ) 的无偏估计量。
证 明 ： E[ ( X i X ) ] E[ X i2 nX 2 ]
2 i 1 i 1
n
n
E ( X i2 ) nE ( X 2 )
i 1
n
n[Var( X ) E 2 ( X )] n[Var( X ) E 2 ( X )] ,
dt 0 ( n ) n 0 因 此, X nn 是 的 相 合 估 计 。 nt
西 南 科 技 大 学 网 络 教 育 课 程
n
必须指出相合性只是映 反 了 当n 时 估 计 量 的性质，而对任意有的 限 n ，相合性是没有意义， 的 ˆ 达到一定精度， 相合性本身不能说明使 为 n 必须