概率统计 第8章 参数估计

第八章 参数估计
§8.1点估计 点估计
2010-10-21
1
估计量
定义8.1 设总体X的分布函数为 定义 设总体 的分布函数为
F ( x , θ)
从总体X中抽取样本 从总体 中抽取样本 X 1 , X 2 ,..., X n 其观测 值为 x1 , x 2 ,..., x n 构造某个统计量
θ( X 1 , X 2 ,..., X n ) 用它的观测值 θ( x1 , x 2 ,..., x n ) 来估计未知参数 θ ，则
,σ
2
的矩估计量。 的矩估计量。
解：因为有两个参数，故将总体前二阶矩表 因为有两个参数， 为参数的函数， 为参数的函数，即
m1 = E ( X ) = 2 2 2 m2 = E ( X ) = σ +
2010-10-21 9
例8.2
反解得
= m1 2 2 σ = m 2 m1
再用2阶样本原点矩替代对应的总体矩得 再用 阶样本原点矩替代对应的总体矩得
= X 2 σ = A2 X2 = B2
2010-10-21
10
参数函数的矩估计
若 η = g ( θ )为未知参数 θ 的连续函数 , 则 η 也是一个未知参数
^ ^ ^
, 容易证明 : η 的矩估计
量为 η = g ( θ ), θ 为 θ 的矩估计量 .
例 8 .3 .总体 X ~ B ( N , p ), N 为已知 , Ｘ１, X 2 , , X n 为样本 . (1)求参数 p 的矩估计量 ; ( 2 )求总体方差 σ 的矩估计量并将其表示
x 总体的分布律或者密度函数已知， 总体的分布律或者密度函数已知， 1 , x 2 ,..., x n 为一组样本观测值， 为一组样本观测值，若存在θ 的一个值
θ ( x1 , x 2 ,..., x n ) = θ
使得 L(θ ) = max L(θ )
则称 θ ( x1 , x 2 ,..., x n ) 是 θ 的极大似然估计值， 的极大似然估计值，
2010-10-21 15
练习
设 X 1 , X 2 , , X n 是来自均匀分布总体 U ( θ , θ + 1 )( θ > 0 ) 上的一个样本，则 θ 上的一个样本， 的矩估计是 _______ .
2θ + 1 解： m 1 = E ( X ) = ， 2
^
2θ + 1 X 令： ＝ 2 1 故矩估计量为： 故矩估计量为： θ = X 2 2010-10-21
2010-10-21
一般地设总体X有分布函数 F ( x , θ ) ，若 一般地设总体 有分布函数
7
多个未知参数时的矩估计 反解出θ1 ,θ 2 ,...,θ k为m1 , m2 ,...,mk 的函数 n
再用 r 则得到矩估计量
1 r 阶样本原点矩 Ar = ∑ X i 替代 m r n i =1
x2 2θ
例8.1
解：（1）先求总体期望。 ：（ ）先求总体期望。
m = E( X) = ∫ xf ( x, θ)dx
0
+∞
=∫
+∞
0
x x e θ
x2 2θ
dx =
2π θ
∫
+∞
0
x
2
1 e 2π θ
x2 2θ
dx
4
2010-10-21
例8.1
= 2π θ = θ 2 2π θ 2
注意： 注意：这里用到一个结 果： 当X ~ N(0, σ 2 )时, E( X 2 ) = D( X) = σ 2
+∞ 1 2σ 2 e dx 2π σ x2 x2
而 E( X 2 ) = = 2∫
+∞
∫
∞
x2
0
x
2
1 2 2σ 2 e dx = σ 2π σ
5
2010-10-21
例8.1
反解θ 得到
用 X 替换 ，得 θ 的矩估计量θ 替换m，
2 2 θ= m π
=
2
( 2 )若 3.5,4.2,5.3,2.1,4.4,7.5,6.2,4.1,5.4作为 一组样本观测值， 一组样本观测值，求 θ 的矩估计值 .
1 9 x 解： = ∑ x i = 4.74, 9 i =1 2 2 2 = x = × 4.74 2 = 14.34 θ π 3.14
^
π
X
2
2010-10-21
6
多个未知参数时的矩估计
θ = (θ 1 , θ 2 ,...,θ k ) 为 k 维未知参数，且 维未知参数， X的直到 k 阶原点矩存在，则有 的直到 阶原点矩存在， m1 = E ( X ) = m1 (θ 1 ,...,θ n ) 2 m 2 = E ( X ) = m 2 (θ 1 ,...,θ n ) m = E ( X k ) = m (θ ,...,θ ) k 1 n k
X
10次的结果为 次的结果为
(数据 样本观测值 数据,样本观测值 数据 样本观测值)
( x1 , x 2 ,..., x10 ) = (1,0,1,0,0,0,1,0,0,0)
2010-10-21 19
极大似然估计引例
次摸球的所有可能的结果有多少个? 问:10次摸球的所有可能的结果有多少个 次摸球的所有可能的结果有多少个
极大似然估计的思想是：一随机试验有若干 极大似然估计的思想是： 个可能的结果，如果在一次试验中某一结果出 个可能的结果， 现了， 现了，我们便认为这一结果是所有可能出现的 结果中，出现概率最大的一个。 结果中，出现概率最大的一个。因此 p 应该 达到最大的估计。 是使 L( p ) 达到最大的估计。
2010-10-21 12
例8.3
的矩估计量为： 则σ = V (m )的矩估计量为：
2
2 = V( X) = X X . σ N
^
2
例 8.4.总体 X服从均匀分布 U ( θ 1 , θ 2 ), 其中 θ 1 , θ 2 为两个未知参数 , X 1 , X 2 , , X n 为样 本，求 θ 1， θ 2的矩估计量 .
而统计量 θ ( X 1 , X 2 ,..., X n ) 称为 θ 的极大似 然估计量。 然估计量。
2010-10-21 23
极大释然估计求解
(1)写出似然函数； L(θ ) = 写出似然函数； 写出似然函数
∏ f ( x ,θ ).
i =1 n i
n
(2)对似然函数求对数； 对似然函数求对数； 对似然函数求对数
令d ( L( p )) / dp = 0 p = 0.3
2010-10-21 21
总体为连续型时的似然函数
设总体X是连续型随机变量，密度函数为 设总体 是连续型随机变量， 是连续型随机变量 f ( x , θ) 若取得样本观测值 x1 , x 2 ,..., x n 则因为随机变量 X i 落在点 x i 的邻域内 的概率近似于 f ( x i , θ ) x i 则似然函数 n 可写为 f ( x , θ ) x
或 = ∏ p ( xi ,θ ).
i= i =1
(3)对求对数后的似然函数求导； 对求对数后的似然函数求导； 对求对数后的似然函数求导 (4)令导数为 ；解方程 令导数为0； 令导数为
d ln L(θ ) = 0. dθ
14
2010-10-21
例8.4
代入 m及σ 的矩估计量 X及B 2 , 得θ1 , θ 2
2
的矩估计量
θ 1 = X 3B 2 , ^ θ 2 = X + 3B 2
^
: 矩估计的特点和缺陷
总体的分布从例 ( 矩估计一般不要求知道 8.2可以看出 使用起来简单但它未充分 ), , , 故有时精度较差 . 利用到已知分布的信息
∏
i =1
i
i
因为x i 与 θ 无关，故只要使 无关，
n i =1
L(θ ) = ∏ f ( x i , θ ) 达到极大即可。 达到极大即可。
22
2010-10-21
Maximum Likelihood Estimation
定义8.2 设总体X仅含一个未知参数，并且 定义 设总体 仅含一个未知参数， 仅含一个未知参数
^
16
§8.1.2 极大似然法
设总体X是离散型随机变量，分布律为 设总体 是离散型随机变量， 是离散型随机变量 的概率为
P ( X = x ) = p( x , θ )则样本取某组观测值
P {X 1 = x1 , X 2 = x 2 ,..., X n = x n }
n
= P{ X 1 = x1 }P { X 2 = x 2 } P { X n = x n } = ∏ p( x i ,θ ) = L(θ )
2
为 X的函数 .
2010-10-21 11
例8.3
解：二项分布 B( N, p )服从自然指数分布 族分布 .
N 2 ( 2)要将总体方差 σ 表示为 m的函数 , 即
m m = E( X) = Np, 故p = , 于是p的 N ^ X 矩估计量为： 矩估计量为： =
p
m2 2 2 σ = D( X) = Np(1 p ) = Np Np = m N
m = E ( X ) 一般是 θ 的函数，即 的函数，
m = m (θ) 由此反解出 θ = g(m ) θ
再由样本均值
X
代替
m ，就得到 θ
P
的一个估计量 θ = g ( X )
注：A k → m k , X → m = = E( X)
P
2010-10-21 3
x e ,x>0 设总体X的密度为 设总体 的密度为 f ( x , θ ) = θ 未知， 的矩估计量。 θ 未知分布，其中 分布， 则X服从 服从 分布