应用数理统计第二章参数估计(1)点估计

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

由矩估计法,得
ˆ A 3( A A 2 ) 1 2 1 1 ˆ A 3( A A 2 ) 1 2 1 2
ˆ X 3S, 1 ˆ X 3S 2
10
【例2.4】 贝努利试验
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
6

若 E( X k ) ak(X的k阶矩存在),也有
a.e. 1 n k X i ak n i 1
亦即,当n较大时,样本原点矩与总体矩非常接 近。据此可得:

矩估计法:若总体X中含有m个参数
1 , 2 ,..., m
X的真实k阶矩 (k m) 存在,且为 ak , ak ak (1 ,2 ,...,m ), k 1,2,...,m为θ的函数。 显然,
2
S X ˆ ˆ 1 p ,N X X S2
11

【例2.5】 设总体的密度函数为
2 1 2 x exp( x ), x 0 (1 1 ) f ( x,1 , 2 ) 2 x0 0, 1 1 , 2 0
例2.3 设总体X服从[θ1,θ2]上的均匀分布,θ1,θ2未知 ,X1, X2 , …,Xn为来自总体X的样本,试求θ1,θ2的矩估 计量. 解 a E ( X ) 1 2 , 1
2 2 2 ( ) ( ) a2 E ( X 2 ) D( X ) [ E ( X )]2 2 1 1 2 12 4
1
认为 p=1/4 15
似然函数
(1)设总体X是离散型随机变量,其分布律P{X=x}=p(x;)的 形式为已知, 为待估参数, 是可能取值的范围。设 X1, X2 , …,Xn是来自X的样本,则 (X1, X2 , …,Xn )的联合分布 n 律为 p( x i , ) ,

i 1
f ( x ; ) ,
i i 1
n

16
定义 若有 ˆ ,使得 L(ˆ ) max L( ) ,即 L( x 1 , x 2 , , x n ;ˆ ) max L( x 1 , x 2 , , x n ; ) ˆ( x , x , , x ) 为 的极大似然估计值, 则称
设 总体X 是 服从 参数 为 的指数分布,其中参数 未知, 0.
我们的任务是根据样本 ,来估计 的取值,从 而估计总体的分布.
非参数估计:不假定数学模型,直接用已知类别
的学习样本的先验知识直接估计数学模型。
2
第二章 参数估计
总体X的分布形式已知,但含有未知参数。 由样本来推断(估计)其中的未知参数——参数 估计。 点估计: ( X 1 , X 2 ,..., X n ),这是一个统计量,此 处称为估计量,而 ( x1 , x2 ,...,xn ) 称为估计值。 ˆ ˆ 区间估计:由两个统计量 1 1 ( X 1 , X 2 ,..., X n ) ˆ ˆ ( X , X ,..., X ) 构成一个区间,使 和 2 2 1 2 n
a1 E( X ) p
a1 E( X ) Np
ˆ A1 X p
(2)若总体X~b(N, p), 则未知参数p ,N的矩估计量为
a2 E( X ) D( X ) [ E( X )] Np(1 p) N p
2 2 2
2
ˆp ˆ X, N
2
ˆp ˆ (1 p ˆ ) S2 N
18
2.1.1.矩法估计
样本矩是描述随机变量的最简单的数字特征,它在 一定程度上反映总体的特征.这种用样本(原点)矩作为 总体(原点)矩的估计量的方法称为矩估计法.

依据(原理): 柯尔莫哥洛夫强大数定理: 如果 E( X ) , X 1 , X 2 ,..., X n 为相互独立且与X 同分布,则 1 n X i , (a.s.) n i 1
参数取这一数值时,观测结果出现的可能性为最大.

词义:最像什么就取什么。 原理(概率论):在一次试验中,已经发生(产 生),则其事件发生的概率应该很大! 小概率原理:小概率事件,在一次试验中(几乎) 不可能发生。如乘飞机旅行。
14
引例 设在罐中放有许多白球和黑球,已知两种球的数目之比 为1:3, 但不知哪种颜色的球多, 若采用有放回方式从罐中 取3个球, 发现有一只黑球,问在此情况下应估计哪种颜色的 球多?
7
k价样本矩
1 Ak n

i 1
n
X ik
ak E ( X k )
设总体X的分布函数为F(x; 1, 2, ...,m),其中 1, 2,... m为待估参数,如果 ak=E(X k) (k=1,2,..,m)存在, ak为 1, 2 , …, k的函数,记ak= ak( 1, 2 , …, k) (k=1,2,..,m), X1, X2 , …,Xn为总体X的样本,用Ak来估计E(X k),建立m个方程: 用 i 作为 i的估计量------矩估计量. A1= a1( 1, 2 , …, m) 1= 1(A1, A2 , …, A m) A2= a2( 1, 2 , …, m) 2= 2(A1, A2 , …, A m) ……………. ……………. Am= am( 1, 2 , …, m) m = m(A1, A2 , …, A m)
例2.1 (P30) 若是总体的原点矩,则相应的样本矩是其矩估计量。
8
例2.2 设总体X的均值E(X)=, 方差D(X)=2 都存在, 且2>0.但 ,2均为未知. X1, X2 , …,Xn为来自总体X的 样本, 求,2的矩估计量. 解 a E ( X ) 1 2 2 2 2 a E ( X ) D ( X ) [ E ( X )] 2
2 1
似然方程为

n 1 ( xi ) 0 L( , 2 ) 2 i 1 n 1 n 2 2 ( xi ) 2 0 2 L( , ) 4 2 i 1 2


ˆ X, 2 1 n 2 ˆ n ( X i X ) i 1
又设 x1, x2 , …,xn为样本 X1, X2 , …,Xn的观察值,称
L( ) L( x1, x2 , xn ; ) p( xi ; ) ,
为样本的似然函数.
i 1
n
(2)如果总体X是连续型随机变量,其概率密度为f(x;),
样本的似然函数为:
L( ) L( x1, x 2 , x n ; )
罐中黑球数 解:设 p=黑球所占比例= 罐中全部球的数目
则 p=1/4或 p=3/4 又设X=“取出的3只球中黑球的数目” 则
X ~ b(3, p)
1 3 2 27 P{ X 1, p 1 / 4} C3 ( ) 4 4 64 9 1 3 1 2 P{ X 1, p 3 / 4} C3 ( ) 4 4 64
得不到解析解,求数值解。

【例2.6】 柯西分布,
f ( x, ) 1 , x 2 (1 ( x ) )
各阶矩不存在,不能用矩估计法。
12
评述:
点估计的矩法是由皮尔逊提出的,它直观、简 便,特别对总体期望合方差进行估计时不需要知 道总体的分布。但它要求总体原点矩存在,而有 些随机变量的原点矩不存在,就不能用此法进行 参数估计。此外,矩估计有时不唯一;再者它没 有利用总体分布函数所提供的信息,因此很难保 证它有优良的性质。
1 2 称 (x1, x2, …,xn) 为的 估计值. n
在不致混淆的情况下,估计量和估计值统称估为估计,
并都简记为 .
参数 的估计量 是样本X1, X2 ,..,Xn的函数.
点估计常用方法: 矩估计法; 极大似然估计法.
4
通过总体的一个样本来估计总体未知参数的值 的问题称为参数的点估计问题。.
1 2 n
ˆ( X , X , , X )为 的极大似然估计量. 称 1 2 n 如何求 L( )的最大值? 由于L( )与 lnL( )在上有相同的最大值点,所以 求L( ) 与 lnL( )的最大值点可以改为求 lnL( )的 最大值点. 当lnL( )关于 可微时,必满足方程:
a1 , 由矩估计法,令 2 2 a2
ˆ A1 X 2 2 ˆ A2 A1
ˆ X, 2 1 n 2 2 ˆ ( X X ) s i n i 1
9
上述结果表明,总体均值与方差的矩估计量的表达式不 因不同的总体分布而不同.
回 顾

数理统计:由部分信息(带有随机性的数据) 推断出合理的结果——统计推断。
样本与总体


总体的分布——统计模型,统计建模的目的即 确定X的分布、参数等
参数与参数空间



直方图与经验分布函数
统计量及其分布 三种重要的抽样分布
1
参数估计与非参数估计
参数估计:先假定研究的问题具有某种数学模型, 如正态分布,二项分布,再用已知类别的学 习样本估计里面的参数。如:
ln L( )d ln L( ) 0, ( i 1,2 ,..., k) -----对数似然方程 组 0 i d
17
例2.8 设总体X~N(,2),,2均未知,又设X1, X2,...,Xn 为总体X 的样本, x1, x2 ,…, xn为X的一组样本观测值, 试求,2 的极大似然估计值量. 1 ( x )2 2 exp 解 f ( x; , ) 2
5
注:随机序列的收敛定义

X n X , 是指
a.e.
P{lim X n , X} 1
n
(以概率1收敛,或几乎处处收敛a.s);

P X n X,
是指依概率P收敛;
n
0, lim P{| Βιβλιοθήκη Baidu n X | } 1

W 还有依分布F收敛 X n X , (弱收敛) 以概率1收敛一定依概率收敛,但反之不一定成 立。

,其中 事先给定。
ˆ ˆ } 1 P{ 1 2
3
2.1 点估计
设总体X的分布函数的形式为已知,为总体的待估计的参 数. X1, X2 ,..,Xn是X的一个样本,x1, x2, …,xn是相应的样本值. 点估计问题就是用样本X1, X2 , …,Xn构造一个适当的统 计量 (X1, X2 , …,Xn),用它的观察值 (x1, x2, …,xn)作为 未知参数 的近似值. 称 (X , X , …,X ) 为 的估计量.
(1)方法基于n趋于无穷大时的情形; (2)只用到了总体的数字特征的信息,而分布形 式未用到(如例2.2),较粗糙。
13
2.1.2 极大似然估计法(MLE)
极大似然法的原理: 例如有一个事件,若知道它出 现的概率只能是0.01或0.99,而在一次观测中,此事件 出现,此时自然会说它的概率应为0.99,因此,极大似 然法是要选取这样的值来作为参数的估计值,使得当
似然函数为
2 ( x ) L( , 2 ) exp i 2 2 2 i 1 n 1 1 2 exp ( xi ) 2 n ( 2 ) 2 i 1 2

n
相关文档
最新文档