应用数理统计第二章参数估计(1)点估计

又设 x1, x2 , …,xn为样本 X1, X2 , …,Xn的观察值,称
L( ) L( x1, x2 , xn ; ) p( xi ; ) ,
为样本的似然函数.
i 1
n
(2)如果总体X是连续型随机变量，其概率密度为f(x;),
样本的似然函数为:
L( ) L( x1, x 2 , x n ; )

，其中 事先给定。
ˆ ˆ } 1 P{ 1 2
3
2.1 点估计
设总体X的分布函数的形式为已知,为总体的待估计的参 数. X1, X2 ,..,Xn是X的一个样本,x1, x2, …,xn是相应的样本值. 点估计问题就是用样本X1, X2 , …,Xn构造一个适当的统 计量 (X1, X2 , …,Xn),用它的观察值 (x1, x2, …,xn)作为 未知参数 的近似值. 称 (X , X , …,X ) 为 的估计量.
2.1.1．矩法估计
样本矩是描述随机变量的最简单的数字特征，它在 一定程度上反映总体的特征．这种用样本(原点)矩作为 总体(原点)矩的估计量的方法称为矩估计法．

依据（原理）： 柯尔莫哥洛夫强大数定理： 如果 E( X ) , X 1 , X 2 ,..., X n 为相互独立且与X 同分布，则 1 n X i , (a.s.) n i 1
1
认为 p=1/4 15
似然函数
(1)设总体X是离散型随机变量，其分布律P{X=x}=p(x;)的 形式为已知, 为待估参数, 是可能取值的范围。设 X1, X2 , …,Xn是来自X的样本，则 (X1, X2 , …,Xn )的联合分布 n 律为 p( x i , ) ,

i 1
1 2 称 (x1, x2, …,xn) 为的 估计值. n
在不致混淆的情况下,估计量和估计值统称估为估计,
并都简记为 .
参数 的估计量 是样本X1, X2 ,..,Xn的函数.
点估计常用方法: 矩估计法; 极大似然估计法.
4
通过总体的一个样本来估计总体未知参数的值 的问题称为参数的点估计问题。．
a1 , 由矩估计法,令 2 2 a2
ˆ A1 X 2 2 ˆ A2 A1
ˆ X, 2 1 n 2 2 ˆ ( X X ) s i n i 1
9
上述结果表明，总体均值与方差的矩估计量的表达式不 因不同的总体分布而不同．
2
S X ˆ ˆ 1 p ,N X X S2
11

【例2.5】 设总体的密度函数为
2 1 2 x exp( x ), x 0 (1 1 ) f ( x,1 , 2 ) 2 x0 0, 1 1 , 2 0
例2．1 （P30） 若是总体的原点矩，则相应的样本矩是其矩估计量。
8
例2.2 设总体X的均值E(X)=, 方差D(X)=2 都存在, 且2>0.但 ,2均为未知. X1, X2 , …,Xn为来自总体X的 样本, 求,2的矩估计量. 解 a E ( X ) 1 2 2 2 2 a E ( X ) D ( X ) [ E ( X )] 2
由矩估计法,得
ˆ A 3( A A 2 ) 1 2 1 1 ˆ A 3( A A 2 ) 1 2 1 2
ˆ X 3S, 1 ˆ X 3S 2
10
【例2.4】 贝努利试验
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
例2.3 设总体X服从[θ1,θ2]上的均匀分布，θ1,θ2未知 ，X1, X2 , …,Xn为来自总体X的样本,试求θ1,θ2的矩估 计量． 解 a E ( X ) 1 2 , 1
2 2 2 ( ) ( ) a2 E ( X 2 ) D( X ) [ E ( X )]2 2 1 1 2 12 4
18
参数取这一数值时,观测结果出现的可能性为最大.

词义：最像什么就取什么。 原理（概率论）：在一次试验中，已经发生（产 生），则其事件发生的概率应该很大！ 小概率原理：小概率事件，在一次试验中（几乎） 不可能发生。如乘飞机旅行。
14
引例 设在罐中放有许多白球和黑球,已知两种球的数目之比 为1:3, 但不知哪种颜色的球多, 若采用有放回方式从罐中 取3个球, 发现有一只黑球,问在此情况下应估计哪种颜色的 球多?
6

若 E( X k ) ak（X的k阶矩存在），也有
a.e. 1 n k X i ak n i 1
亦即，当n较大时，样本原点矩与总体矩非常接 近。据此可得：

矩估计法：若总体X中含有m个参数
1 , 2 ,..., m
X的真实k阶矩 (k m) 存在，且为 ak ， ak ak (1 ,2 ,...,m ), k 1,2,...,m为θ的函数。 显然，
回 顾

数理统计：由部分信息（带有随机性的数据） 推断出合理的结果——统计推断。
样本与总体


总体的分布——统计模型，统计建模的目的即 确定X的分布、参数等
参数与参数空间



直方图与经验分布函数
统计量及其分布 三种重要的抽样分布
1
参数估计与非参数估计
参数估计：先假定研究的问题具有某种数学模型， 如正态分布，二项分布，再用已知类别的学 习样本估计里面的参数。如:
5
注：随机序列的收敛定义

X n X , 是指
a.e.
P{lim X n ， X} 1
n
（以概率1收敛，或几乎处处收敛a.s）；

P X n X,
是指依概率P收敛；
n
0, lim P{| X n X | } 1

W 还有依分布F收敛 X n X , （弱收敛） 以概率1收敛一定依概率收敛，但反之不一定成 立。
1 2 n
ˆ( X , X , , X )为 的极大似然估计量. 称 1 2 n 如何求 L( )的最大值? 由于L( )与 lnL( )在上有相同的最大值点,所以 求L( ) 与 lnL( )的最大值点可以改为求 lnL( )的 最大值点. 当lnL( )关于 可微时,必满足方程:
罐中黑球数 解：设 p=黑球所占比例= 罐中全部球的数目
则 p=1/4或 p=3/4 又设X=“取出的3只球中黑球的数目” 则
X ~ b(3, p)
1 3 2 27 P{ X 1, p 1 / 4} C3 ( ) 4 4 64 9 1 3 1 2 P{ X 1, p 3 / 4} C3 ( ) 4 4 64
ln L( )d ln L( ) 0, ( i 1,2 ,..., k) -----对数似然方程 组 0 i d
17
例2.8 设总体X~N(,2),,2均未知，又设X1, X2,...,Xn 为总体X 的样本, x1, x2 ,…, xn为X的一组样本观测值， 试求,2 的极大似然估计值量. 1 ( x )2 2 exp 解 f ( x; , ) 2
似然函数为
2 ( x ) L( , 2 ) exp i 2 2 2 i 1 n 1 1 2 exp ( xi ) 2 n ( 2 ) 2 i 1 2

n
（1）方法基于n趋于无穷大时的情形； （2）只用到了总体的数字特征的信息，而分布形 式未用到（如例2.2），较粗糙。
13
2.1.2 极大似然估计法（MLE）
极大似然法的原理: 例如有一个事件,若知道它出 现的概率只能是0.01或0.99,而在一次观测中,此事件 出现,此时自然会说它的概率应为0.99,因此,极大似 然法是要选取这样的值来作为参数的估计值,使得当
7
k价样本矩
1 Ak n

i 1
n
X ik
ak E ( X k )
设总体X的分布函数为F(x; 1, 2, ...,m),其中 1, 2,... m为待估参数,如果 ak=E(X k) (k=1,2,..,m)存在, ak为 1, 2 , …, k的函数,记ak= ak( 1, 2 , …, k) (k=1,2,..,m), X1, X2 , …,Xn为总体X的样本,用Ak来估计E(X k),建立m个方程: 用 i 作为 i的估计量------矩估计量. A1= a1( 1, 2 , …, m) 1= 1(A1, A2 , …, A m) A2= a2( 1, 2 , …, m) 2= 2(A1, A2 , …, A m) ……………. ……………. Am= am( 1, 2 , …, m) m = m(A1, A2 , …, A m)
得不到解析解，求数值解。

【例2．6】 柯西分布，
f ( x, ) 1 , x 2 (1 ( x ) )
各阶矩不存在，不能用矩估计法。
12
评述：
点估计的矩法是由皮尔逊提出的，它直观、简 便，特别对总体期望合方差进行估计时不需要知 道总体的分布。但它要求总体原点矩存在，而有 些随机变量的原点矩不存在，就不能用此法进行 参数估计。此外，矩估计有时不唯一；再者它没 有利用总体分布函数所提供的信息，因此很难保 证它有优良的性质。
设 总体X 是 服从 参数 为 的指数分布，其中参数 未知， 0．
我们的任务是根据样本 ，来估计 的取值，从 而估计总体的分布．
非参数估计：不假定数学模型，直接用已知类别
的学习样本的先验知识直接估计数学模型。