ch7第七章参数估计
《CH参数估计》PPT课件
§7.1 参数的点估计概念 §7.2 估计量的评选标准 §7.3 参数的区间估计
1
§7.1 参数的点估计概念
定义 设总体X的分布函数的形式已知,它的一个或多个参数未知,根据 总体X的一个样本X1,X2,…, Xn来估计总体未知参数的真值称为参数的点 估计。
定义 设总体X 的分布函数F(x, )中含有未知参数,X1,X2,…, Xn为总体X
X
2A1
12(A2
3 n
n i 1
(Xi
A12 )
X )2
b A1
3( A2 A12 ) X
3 n
n i 1
(Xi
X )2
6
一般地, 不论总体服从什么分布,若总体的期望与方差 2 均存在, 则它们的矩估计量分别为
ˆ
1 n
n i1
Xi
X
样本均值
ˆ 2
1 n
n i1
(Xi
X )2
§7.3 参数的区间估计
上一节中,我们讨论了参数的点估计,它是由样本算得的一个值去估 计未知参数。但是,即使是无偏估计量也会由于样本的随机性使得估计值 带有偏差,所以点估计值仅仅是未知参数的一个近似值,它没有反映出近 似值的误差范围,而有时我们又需要对此偏差作出衡量,知道近似值的精 确程度。
本节的区间估计正好弥补了点估计的缺陷,它是通过寻找一个区间, 并利用此区间包含未知参数真值的可信程度来估计未知参数的方法。
i1
X
i
)2
)
2
(
n)
2
2 1 2
(
n)
-2
•
(n) 2 2
4
1
2
•
6
第七章参数估计内容提要
i =1
i =1
d ln L = 0 ,求得似然函数 L 的极大值θˆ ,即为未知参数θ 的极大似然估计.其思 dθ
想是:在已知总体 X 概率分布时,对总体进行 n 次观测,得到一个样本,选取概
率最大的θ 值θˆ 作为未知参数θ 的真值的估计是最合理的.
(4)估计量的优劣标准
1)无偏性.设θˆ = θˆ( X1, X 2 ,Λ , X n ), E(θˆ) 存在,且 E(θˆ) = θ ,则称值θˆ 是 θ 的无偏估计量.否则称为有偏估计量.
计量.
2、参数的区间估计
设总体 X 的分布 F (x;θ ) 中含有未知参数θ ,若存在样本的两个函数
θ ( X1, X 2 ,Λ , X n ) 和θ ( X 1, X 2 ,Λ , X n ) ,使对于给定的α (0 < α < 1) ,有
P{θ < θ < θ} = 1 − α ,则随机区间(θ ,θ )称为参数θ 的置信度为1 − α 的双侧
~
F (n1 −1, n2
− 1) , σ 12
σ
2 2
的
置信度为1 − α 的置信区间为:
⎜⎛ ⎜ ⎝
S
2 2
⋅
Fα
2
S12 (n1 − 1, n2
− 1)
,
S
2 2
⋅
F1− α 2
S12 (n1 − 1, n2
−
1)
⎟⎞ ⎟ ⎠
.
5
解:由α = 0.02 ,查表得:
F0.01 (24,7)
=
6.07, F0.99 (24,7)
【例 3】某厂生产的钢丝.其抗拉强度 X ~ N (µ,σ 2 ) ,其中 µ,σ 2 均未知,从中
chap7参数估计.ppt
若p的可供选择的估计值有许多,仍应选择发生概率最大的 p
作为p的估计,这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x; ) (或概率分布函数族为
P(X=x)=p(x ; ) ),。
设 (x1,x2, ,xn ) 为任一组样本观察值(一组抽象的数),则
求的矩估计值和极大似然估计值。
说明:1. 本题中因 P(X= xi )无一般表达式,故不能先求极大
似然估计量,再将样本观察值代入求极大似然估计值。
2. 本题处理思想在解决实际问题时很有用。
极大似然估计的性质:若 为总体X中未知参数的极大似
然估计量,u=u( ) 有单值反函数 = (u),则u( )是u( ) 的
k
k次着n火k天数 75 90 54 22
6
2
1 =
250
1) 试用矩估计法估计参数; 2) 试用极大似然估计法估计参数; 3) 试求P(X=0)的极大似然估计值。
例2(2002年数学三考研试题填空题)
设总体X的概率密度为 f (x;
)
e
, ( x ) 0,
若x 若x
, .
而 X1,X 2, ,X n 是来自总体X的简单随机样本,则未知
大似然估计值。
求L()的极大值 :
通过
d
ln
L(
)
0,求出
。
d
说明:1. 因为L()是样本观察值的函数(此时样本观察值不变),
故求出的 一般也是样本观察值的函数。
2. 由于 d ln L( ) 0 只是lnL()取极值的必要条件,从理论上
d
来说,还应验证lnL( ) lnL(), 对所有样本观察值都
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知,其中θ 是待估计的参数,点估计问题就是利用样本 (X1, X 2,, X n ) ,构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ,我们称ˆ(X1, X2,, Xn )为θ的点估计量,它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) , 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ,这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ,则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率论与数理统计 第七章 参数估计
设X1,…Xn是取自 N (, 2 )的样本,
求参数 2 的置信度为 1的置信区间.
确定分位数 12 / 2 (n 1), 2 / 2 (n 1) 使
二、有效性
设 ˆ1 ˆ1(X1,, X n )和 ˆ2 ˆ2( X1,, Xn)
都是参数 的无偏估计量,若有
D(ˆ1) D(ˆ2 ) 则称 ˆ1 较 ˆ2 有效 .
如果对固定的n, D(ˆ1) min(D(ˆ)) 则称ˆ1是ˆ的有效估计。
例1:设X1,X2, X3是来自某总体X的样本,且 E(X)=μ,讨论μ的以下估计量的无偏性和一致性。
缺点是,当总体类型已知时,没有 充分利用分布提供的信息 .
极大似然估计
例: 设一箱中装有若干个白色和黑色的球, 已知两种球的数目之比为3:1或1:3,现有放回 地任取3个球,有两个白球,问:白球所占的 比例p是多少?
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
(4) 结论
区间(ˆ1,ˆ2 )就是的一个 置信度为1的置信区间.
方差未知,求期望的区间估计
例2:随机地从一批服从正态分布N(μ, σ2)的零件 16个,分别测得其长度为: 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ,并求μ的置信区间 (α=0.05)
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn,求p的极大似然估计量。 若抽取100件产品,发现10件次品,试估计p.
Ch7 参数估计(精)
iid
^
试求 ˆ L和
2 ˆ L.
ˆL . 例 设X 1 , , X n ~ U (a , b ), 试求a ˆ L和 b
iid
Stop
极大似然估计有性质: ˆ 1 ,, ˆ m )是(1 ,, m )的极大似然估计 , 若( 而 g(1 ,, m )具有单值反函数 . 则 ˆ 1 , , ˆ m )是g (1 ,, m )的极大似然估计 , g( ˆ 1 , , ˆm). ˆg ˆ (1 ,, m ) g ( 即
(1) 1, 2未知
令 F
2 S1 2 S2 2 1 2 2
~ F (n1 1, n2 1)
n1 n2 1 1 2 2 2 2 其中S1 ( X X ) , S ( Y Y ) i 2 n1 1 i 1 n2 1 i 1 i
可得
2 1
2 2 2 S2 S1 S2 ( , ) F / 2 ( n1 1, n2 1) F1-/2 ( n1 1, n2 1)
ˆ 1 ,, ˆ m ) max L(1 , , m ). L( L L
j
L
Stop
例 设X 1 , , X n ~ P ( ), 0,试求 L 例 设X 1 , , X n ~ N ( , 2 ), , 0,
Stop
2. 单正态总体方差的置信区间
设X 1, , X n ~ N (, 2 ) ,给定x1, , xn, 2 求出(或 )的置信区间。 (1) 未知 2 ( n 1) S 2 2 令 ~ ( n 1) 2 即得 2的置信度为1- 的置信区间为
iid
( n - 1)s ( 2 , /2 ( n 1)
ch7参数估计
问题是:
使用什么样的统计量去估计 µ ?
可以用样本均值;
可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种方法 .
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊 最早提出来的 . 由辛钦定理 ,
( ) μ2 = E = X 2 D( X ) + [E( X )]2
(b − a)2 =
+ (a + b)2
12
4
即
a + b =2μ1
b= − a
12( μ2 − μ12 )
解得
a = μ1 − 3( μ2 − μ12 ) b = μ1 + 3( μ2 − μ12 )
于是 a , b 的矩估计量为
而全部信息就由这100个数组成 .
据此,我们应如何估计 µ 和 σ 呢 ?
为估计µ :
我们需要构造出适当的样本的函数 T(X1,X2,…Xn) , 每当有了样本,就代入该函数中算出一个值,用来
作为 µ 的估计值 .
T(X1,X2,…Xn) 称为参数 µ 的点估计量, 把样本值代入T(X1,X2,…Xn) 中,得到 µ 的一个点
基本思想:最大似然原理
若一试验有若干个可能结果, 现做一试验, 若事件A 发生了,而导致A发生的原因很多,在 分析导致结果A的原因时,使结果A发生的概率最 大的原因,推断为导致结果A发生的真实原因。
最大似然估计 就是在一次抽样中,若得到观测值
则选取 使得当
作为 的估计值, 时,样本出现的概率最大。
解:设
x(1)
m= in( x1 ,, xn ), x(n)
统计学(西财版) 第7章参数估计
设总体X的分布的函数的形式为已知(如正态分布、泊松 分布等),但它的一个或多个参数未知,借助总体X的一 个样本来估计总体未知参数的值的问题,称为参数的 点估计问题。
统计学-ch7 suyl 6
如何寻找样本统计量?
有很多方法都可以用来构造样本统 计量,比如矩估计法、极大似然估计法、 最小二乘估计法、顺序统计量法…… 这里,我们主要介绍矩估计法和极 大似然估计法。
X
i 1
n
k
i
8
矩估计法的基本思想就是:
把样本矩作为相应的总体矩的估计量 样本均值
X
X
i 1
n
i
是一阶样本矩,
n 总体均值E(X)是一阶 总体矩。
将 X 作为E(X)的估计量的做法, 就是把一阶样本矩
作为一阶总体矩的估计量. 推广这种做法,把二阶样本矩作为二阶总体矩的估计量,
把三阶样本矩作为三阶总体矩的估计量,…… .
x / n 1310 1207 ... 1462 =1345.63(小时) u i 80 i 1 2 2
n
ˆ S
2
2
1010 1345.63
...... 1462 1345.63 =15388.85 80
统计学-ch7
则
S 2 124.05 (小时)
X ik / n去估计总体的K阶原点矩,即 分别用样本的k阶原点矩i 1
n
1 n k k 1 , 2 ..., k X i n i 1
统计学-ch7
i 1, 2, k
suyl 10
上式确定了包含个未知参数的个方程式,即有下列方程 组 1 n E( X ) n X i i 1 (6.2)
ch7参数估计
不随意更换样本单位
3、搜集样本数据
按规定的项目、表式、时间和方式进行,不遗漏
4、整理样本数据
审查、输入、分组汇总、计算样本指标(估计量)
5、推断总体指标并计算抽样误差
§7.1.4抽样误差
1.误差:调查结果与实际值之间的差异
抽样调查中的误差
登记性误差(非抽样误差) 误差 系统误差(非抽样误差) 代表性误差随机误差(抽样误差)
有若干个方差可选择时,选方差最大者 对于成数,方差最大即指成数最接近0.5,最 保守的估计是取P=0.5来计算
例7-1,随机抽取100名学生,测得他们的平均体重为 58公斤,标准差为50公斤,抽样误差为多少?。
解:
n=100
s sx n
S=50
50 5(公斤) 100
例 7-2 ,随机从 60000 桶罐头中抽取 300 桶调查,
总体指标--用来反映总体数量特征的指标。
总体指标的数值是客观存在的、确定的,但 又是未知的
在抽样估计中也称之为待估计的总体参数。
通常,所要估计的总体指标有总体平均数、 总体成数P、总体标准差或方差以及总体标 志总量(NX)或总体中具有某一属性的单位 总数(NP)等。
5
成数又称为是非比率,指总体中具有两种属性中的
ˆ X,
n n 1 1 ˆ 2 X i2 X 2 ( X i X ) 2 . n i 1 n i 1
29
【例7-2】设X1,X2,…Xn是来下列自均匀分布的样本, 试求θ 的矩估计量。
1 f ( x, ) 0
0 x 其它
发现有6桶不合格。问合格率的抽样误差为多大?
第7章参数估计
统计学STATISTICS(第二版)不像其他科学,统计从来不打算使自己完美无缺,统计意味着你永远不需要确定无疑。
Gudmund R.Iversen7 - 17 - 2 统计学STATISTICS(第二版) 第 7 章 参数估计 作者:中国人民大学统计学院贾俊平7 - 3 统计学STATISTICS (第二版) 统计应用 一次失败的民意调查在1936年的美国总统选举前,一份名为Literary Digest 杂志进行了一次民意调查。
调查的焦点是谁将成为下一届总统—是挑战者,堪萨斯州州长Alf Landon ,还是现任总统 Franklin Delano Roosevelt为了解选民意向,民意调查专家们根据电话簿和车辆登记簿上的名单给一大批人发了简单的调查表(电话和汽车在1936年并不像现在那样普及,但是这些名单却比较容易得到)。
尽管发出的调查表大约有一千万张,但收回的比例并不高。
在收回的调查表中, Alf Landon 非常受欢迎。
于是该杂志预测 Landon 将赢得选举。
但事实上是Franklin Roosevelt 赢得了这次选举调查失败的主要原因是抽样框出现了问题。
在经济大萧条时期由于电话和汽车并不普及,只是富裕阶层才会拥有,调查有电话和汽车的人们,并不能够反映全体选民的观点7 - 4统计学STATISTICS(第二版) 第 7 章 参数估计7.1 参数估计的一般问题7.2 一个总体参数的区间估计7.3 两个总体参数的区间估计7.4 样本容量的确定7 - 5 统计学STATISTICS(第二版) 学习目标1.估计量与估计值的概念 2.点估计与区间估计的区别 3.评价估计量优良性的标准 4.一个总体参数的区间估计方法 5.两个总体参数的区间估计方法 6.样本容量的确定方法7 - 6 统计学STATISTICS (第二版) 参数估计在统计方法中的地位 参数估计假设检验统计方法描述统计 推断统计7 - 7统计学STATISTICS(第二版)统计推断的过程样本总体样本统计量如:样本均值、比例、方差7 - 8统计学STATISTICS(第二版) 7.1 参数估计的一般问题7.1.1 估计量与估计值7.1.2 点估计与区间估计7.1.3 评价估计量的标准统计学STATISTICS(第二版)估计量与估计值7 - 97 - 10 统计学STATISTICS(第二版) 1.估计量:用于估计总体参数的随机变量⏹如样本均值,样本比例、样本方差等 ⏹例如: 样本均值就是总体均值μ 的一个估计量2.参数用θ 表示,估计量用 表示3.估计值:估计参数时计算出来的统计量的具体值⏹如果样本均值 ⎺x =80,则80就是μ的估计值 估计量与估计值 (estimator & estimated value)θˆ统计学STATISTICS(第二版)点估计与区间估计7 - 117 - 12 统计学STATISTICS(第二版)参数估计的方法矩估计法最小二乘法最大似然法顺序统计量法估 计 方 法点 估 计区间估计7 - 13统计学STATISTICS(第二版) 点估计 (point estimate)1.用样本的估计量的某个取值直接作为总体参数的估计值▪例如:用样本均值直接作为总体均值的估计;用两个样本均值之差直接作为总体均值之差的估计2.无法给出估计值接近总体参数程度的信息 ⏹虽然在重复抽样条件下,点估计的均值可望等于总体真值,但由于样本是随机的,抽出一个具体的样本得到的估计值很可能不同于总体真值⏹一个点估计量的可靠性是由它的抽样标准误差来衡量的,这表明一个具体的点估计值无法给出估计的可靠性的度量7 - 14 统计学STATISTICS(第二版) 区间估计 (interval estimate)1.在点估计的基础上,给出总体参数估计的一个区间范围,该区间由样本统计量加减估计误差而得到 2.根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量比如,某班级平均分数在75~85之间,置信水平是95%样本统计量(点估计)置信区间 置信下限 置信上限7 - 15 统计学STATISTICS(第二版) 区间估计的图示μ x95% 的样本μ -1.96 σx μ +1.96σx99% 的样本μ - 2.58σx μ +2.58σx 90%的样本μ -1.65 σx μ +1.65σx x σxz x σμα2±=7 - 16统计学STATISTICS(第二版) 1.将构造置信区间的步骤重复很多次,置信区间包含总体参数真值的次数所占的比例称为置信水平2.表示为 (1 - α)⏹α 为是总体参数未在区间内的比例3.常用的置信水平值有 99%, 95%, 90%⏹相应的 α 为0.01,0.05,0.10置信水平 (confidence level)7 - 17STATISTICS(第二版) 1.由样本统计量所构造的总体参数的估计区间称为置信区间2.统计学家在某种程度上确信这个区间会包含真正的总体参数,所以给它取名为置信区间3.用一个具体的样本所构造的区间是一个特定的区间,我们无法知道这个样本所产生的区间是否包含总体参数的真值⏹我们只能是希望这个区间是大量包含总体参数真值的区间中的一个,但它也可能是少数几个不包含参数真值的区间中的一个 ⏹总体参数以一定的概率落在这一区间的表述是错误的 (confidence interval)7 - 18STATISTICS(第二版)(95%的置信区间)重复构造出μ的20个置信区间μ点估计值7 - 19统计学STATISTICS(第二版) 置信区间与置信水平均值的抽样分布(1 - α) 区间包含了μ α 的区间未包含μμμ=x 1 – α α /2α /2 xσx7 - 20 统计学STATISTICS(第二版)影响区间宽度的因素1. 总体数据的离散程度,用 σ 来测度2.样本容量,3. 置信水平 (1 - α),影响 z 的大小 n x σσ=统计学STATISTICS(第二版)评价估计量的标准7 - 217 - 22统计学STATISTICS (第二版)无偏性(unbiasedness)无偏性:估计量抽样分布的数学期望等于被 估计的总体参数P ( )BA 无偏有偏θθˆθˆ7 - 23统计学STATISTICS (第二版)有效性(efficiency)有效性:对同一总体参数的两个无偏点估计 量,有更小标准差的估计量更有效AB的抽样分布 的抽样分布 1ˆθ2ˆθP () θθˆθˆ7 - 24统计学STATISTICS (第二版)一致性(consistency)一致性:随着样本容量的增大,估计量的 值越来越接近被估计的总体参数AB较小的样本容量较大的样本容量P ( )θθˆθˆ7 - 25统计学STATISTICS (第二版)7.2 一个总体参数的区间估计7.2.1 总体均值的区间估计 7.2.2 总体比例的区间估计 7.2.3 总体方差的区间估计7 - 26统计学STATISTICS (第二版)一个总体参数的区间估计总体参数符号表示样本统计量均值 比例方差2σx p2sπμ7 - 27统计学STATISTICS (第二版)总体均值的区间估计(结果的四舍五入法则)1.当用原始数据构建置信区间时,置信区间的计算结果应保留的小数点位数要比原始数据中使用的小数点多一位如,原始数据有一位小数,置信区间的结果应保留两位小数2.当不知道原始数据,只使用汇总统计量(n ,x ,s )时,置信区间的计算结果保留的小数点位数应与样本均值使用的小数点位数相同统计学STATISTICS(第二版)总体均值的区间估计(正态总体、 2已知,或非正态总体、大样本)7 - 287 - 29统计学STATISTICS (第二版)总体均值的区间估计(大样本)1. 假定条件⏹总体服从正态分布,且方差(σ2) 已知⏹如果不是正态分布,可由正态分布来近似 (n ≥ 30)2.使用正态分布统计量 z3.总体均值 μ 在1-α 置信水平下的置信区间为)1,0(~N nx z σμ-=)(22未知或σσααnsz x n z x ±±7 - 30统计学STATISTICS (第二版)总体均值的区间估计(例题分析)【 例 】一家食品生产企业以生产袋装食品为主,为对产量质量进行监测,企业质检部门经常要进行抽检,以分析每袋重量是否符合要求。
统计学贾俊平第7章 参数估计
7.1 7.2 7.3 7.4
参数估计
参数估计的一般问题 一个总体参数的区间估计 两个总体参数的区间估计 样本容量的确定
1
All rights reserved
1
引例
美国《华尔街日报》2011年4月21日发表题为《盖 洛普发现,中国民众生活艰难》
盖洛普民意调查所布的2010年全球幸福度调查结果表 明,只有12%的中国人认为自己“生活美满”。多达 71%的答问者说,他们生活”艰难”。17%的人说自己 的生活”苦不堪言” 与此相比,只有38%的美国人说自己生活艰难,有多达 59%的答问者认为自己生活美满。即便考虑到中国房价 失控和食品价格持续上涨的因素,仍无法理解为什么 将近四分之三的中国人认为自己生活艰难
5
All rights reserved
分类表
6
All rights reserved
进一步讨论
Results are based on face-to-face and telephone interviews with approximately 1,000 adults, aged 15 and older, conducted between 2005 and 2009 in 155 countries. For results based on the total samples, one can say with 95% confidence that the maximum margin of sampling error ranges from ±2.1 percentage points in China to ±5.8 percentage points in Zambia. The margin of error reflects the influence of data weighting. In addition to sampling error, question wording and practical difficulties in conducting surveys can introduce error or bias into the findings of public opinion polls.
概率论与数理统计第七章
第七章 参数估计1. 样本均值74.002X =样本方差822611() 6.8571081i i S X X -==-=⨯-∑ 样本二阶中心矩 822611()6108ii S X X -==-=⨯∑ 均值与方差的矩估计值分别为: 2674.002610μσ-= =⨯ 2.(1)矩估计(1)()1cccE X x c xdx c x dx θθθθθθθθ+∞+∞-+-===-⎰⎰ 令1c X θθ=-,得θ的估计量为 X X c θ=-,θ的估计值为 1111ni i ni i x n x c n θ===-∑∑ (2)极大似然估计(1)(1)(1)11()()()n n n L c x c x c x x θθθθθθθθθθ-+-+-+==1ln ()ln()(1)ln ni i L n c x θθθθ==-+∑令1ln ln ln 0ni i L n n c x θθ=∂=+-=∂∑得θ的估计值为 1ln ln nii nx n cθ==-∑,θ的估计量为 1ln ln nii nXn cθ==-∑3.(1) 矩估计121433X ++== 22()122(1)3(1)32E X θθθθθ=⨯+⨯-+⨯-=-令()E X X = 得θ的估计值为 56θ= 极大似然估计2256112233()()()()2(1)22L P X x P X x P X x θθθθθθθ=====⨯-⨯=-令ln 5101L θθθ∂=-=∂-,得θ的估计值为 56θ=(2)矩估计量11ni i X X n λ===∑极大似然估计1111211()()()...()...!!!...!inx x x nn n n n e e L P X x P X x P X x ex x x x λλλλλλλ---∑======令ln ()0i x L n λθλ∂=-+=∂∑,得λ的似然估计值为 i x nλ=∑, 从而λ的似然估计量为11ni i X X n λ===∑。
7.1 参数的点估计
总体矩,样本矩回顾:
设 X 是总体,X1,X2,…,Xn是来自 X 的一个样本:
则总体 X 的 k 阶原点矩,记作 k E(X k )
总体 X 的 k 阶中心矩,记作 Vk E[X E(X )]k
样本的 k 阶原点矩,记作
Ak
1 n
n i 1
Xik
样本的 k 阶中心矩,记作
ˆ max{ xi }
小结
两种点估计方法:
矩估计法 最大似然估计法
用矩估计法估计参数通常比较方便,便于实 际应用,但所得估计的优良性有时比较差。
最大似然估计法使用时常常要进行比较复杂 的计算,然而得到的估计在许多情况下具有优良 性,它是目前仍然得到广泛使用的一种方法。
7.1.3 点估计标准
要了解这批灯泡的质量就要估计μ 和σ2的值。
例子:某电话交换台在1小时内接到的呼叫次数为Y Y~P(λ ),但 λ 未知. 某人想知道该电话交换台在1小时内呼叫10次 的概率,必须先估计λ 的值。
问题产生背景
在总体分布类型已知的情况下,如何从样本估 计总体分布中的未知参数就成为数理统计的基 本问题之一。
aˆ X 3B2 , bˆ X 3B2
例7.1.4 设总体X的均值μ 及方差σ 2都存在,且 有σ 2 >0,但μ ,σ 2 均未知. X1,X2,…,Xn 是来自总 体X的样本,求μ,σ2的矩估计量.
解 先求总体的一阶和二阶原点矩:
1 E(X ) ,
2 E(X 2 ) D(X ) E(X )2 2 ,
无偏性表示 ˆ 围绕被估参数 而摆动,以 致平均误差为零,即用ˆ 估计 没有系统
性误差。
例7.1.10 若X ~ U [0 , θ], 证明:
概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程
估计 θ ,故称这种估计为点估计.
5 6
,σ 2未知,
… 随机抽查100个婴儿 得100个体重数据 10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成. 据此,我们应如何估计 和 σ 呢?
我们知道,服从正态分布N ( , σ 2 )的r.v. X , E ( X ) = , 由大数定律, 样本体重的平均值 1 → ∑ X i P n i =1 自然想到把样本体重的平均值作为总体平均 体重的一个估计. X= 用样本体重的均值 X估计 , 类似地,用样本体重的方差 S 2估计 σ 2 . 1 n 1 n 2 X = ∑ Xi, S = ∑ ( X i X )2 n 1 i =1 n i =1
(一)矩估计法
基本思想:用样本矩估计总体矩
(二)最大似然估计法
基本思想:
15
16
最大似然估计法 (最大似然法)
它首先是由德国数学家 高斯在1821年提出的 , 然而,这个方法常归功于 英国统计学家费希尔(Fisher) . 费希尔在1922年重新发现了 这一方法,并首先研究了这 种 方法的一些性质 . Fisher
1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
(一) 矩估计法(简称"矩法")
它是基于一种简单的"替换"思想 建立起来的一种估计方法 . 英国统计学家 K. 皮尔逊 最早提出的 . 基本思想: 用样本矩估计总体矩 . 理论依据: 大数定律
Ak = 1 n k P ∑ X i → k = E ( X k ) n i =1
4
在参数估计问题中,假定总体分布 形式已知,未知的仅仅是一个或几个 参数.
概率论与数理统计第七章 参数估计
第七章 参数估计参数估计是数理统计研究的主要问题之一. 假设总体X ~N (μ,σ2),μ,σ2是未知参数,X 1,X 2,…,X n 是来自X 的样本,样本值是x 1,x 2,…,x n ,我们要由样本值来确定μ和σ2的估计值,这就是参数估计问题,参数估计分为点估计(Point estimation )和区间估计(Interval estimation).第一节 点估计所谓点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上,故点估计又称为定值估计.定义7.1 设总体X 的分布函数为F (x ,θ),θ是未知参数,X 1,X 2,…,X n 是X 的一样本,样本值为x 1,x 2,…,x n ,构造一个统计量(X 1,X 2,…,X n ),用它的观察值 (x 1,x 2,…,x n )作为θ的估计值,这种问题称为点估计问题.习惯上称随机变量(X 1,X 2,…,X n )为θ的估计量,称(x 1,x 2,…,x n )为的估计值.构造估计量(X 1,X 2,…,X n )的方法很多,下面仅介绍矩法和极大似然估计法. 1.矩法矩法(Moment method of estimation )是一种古老的估计方法.它是由英国统计学家皮尔逊(K .Pearson )于1894年首创的.它虽然古老,但目前仍常用.矩法估计的一般原则是:用样本矩作为总体矩的估计,若不够良好,再作适当调整. 矩法的一般作法:设总体X ~F (X ;θ1,θ2,…,θl )其中θ1,θ2,…,θl 均未知. (1) 如果总体X 的k 阶矩μk =E (X k ) (1≤k ≤l)均存在,则μk =μk (θ1,θ2,…,θl ),(1≤k ≤l ).(2) 令⎪⎪⎩⎪⎪⎨⎧.),,,(,),,,(,),,,(2122121211l l l l l A A A θθθμθθθμθθθμ其中A k (1≤k ≤l )为样本k 阶矩.求出方程组的解,ˆ,,ˆ,ˆ21l θθθ 我们称),,,(ˆˆ21n k k X X X θθ=为参数θk (1≤k ≤l )的矩估计量, ),,,(ˆˆ21nk k x x x θθ=为参数θk 的矩估计值. 例7.1 设总体X 的密度函数为:f (x )=⎩⎨⎧-><<+.,0),1(,10,)1(其他αααx x其中α未知,样本为(X 1,X 2,…,X n ),求参数α的矩法估计.解 A 1=X .由μ1=A 1及μ1=E (X )=21)1()(1++=+=⎰⎰+∞∞-ααααx x x x x xf d d , 有21++=ααX ,得121ˆ--=X Xα.例7.2 设X ~N (μ,σ2),μ,σ2未知,试用矩法对μ,σ2进行估计. 解⎪⎪⎩⎪⎪⎨⎧======∑∑==.1)(,1)(12222111ni i ni i X n A X E X n A X E μμ 又 E (X )=μ, E (X 2)=D (X )+(EX )2=σ2+μ2,那么 .1ˆˆ,ˆ2222S nn A X -=-==μσμ. 例7.3 在某班期末数学考试成绩中随机抽取9人的成绩.结果如下:试求该班数学成绩的平均分数、标准差的矩估计值.解 设X 为该班数学成绩,μ=E (X ),σ2=D (X ))558994(919191+++==∑= i i x x =75;2/19122)(819898⎥⎦⎤⎢⎣⎡-⋅=∑=i i x x s =12.14.⎪⎪⎩⎪⎪⎨⎧======∑∑==.91)(,91)(9122229111i i i i X A X E X A X E μμ 由于E (X 2)=D (X )+(EX )2=σ2+μ2,那么,2222228ˆˆˆ,().9X A A x S μσμ==-=-= 所以,该班数学成绩的平均分数的矩估计值x =μˆ=75分,标准差的矩估计值298ˆs =σ=12.14. 作矩法估计时无需知道总体的概率分布,只要知道总体矩即可.但矩法估计量有时不惟一,如总体X 服从参数为λ的泊松分布时,X 和B 2都是参数λ的矩法估计.2.极(最)大似然估计法极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行,为了对它的思想有所了解,我们先看一个例子.例7.4 假定一个盒子里装有许多大小相同的黑球和白球,并且假定它们的数目之比为3∶1,但不知是白球多还是黑球多,现在有放回地从盒中抽了3个球,试根据所抽3个球中黑球的数目确定是白球多还是黑球多.解 设所抽3个球中黑球数为X ,摸到黑球的概率为p ,则X 服从二项分布P {X =k }=k 3C p k(1-p )3-k , k =0,1,2,3.问题是p =1/4还是p =3/4?现根据样本中黑球数,对未知参数p 进行估计.抽样后,共有4种可能结果,其概率如表7-1所示.假如某次抽样中,只出现一个黑球,即X =1,p =1/4时,P {X =1}=27/64;p =3/4时,P {X =1}=9/64,这时我们就会选择p =1/4,即黑球数比白球数为1∶3.因为在一次试验中,事件“1个黑球”发生了.我们认为它应有较大的概率27/64(27/64>9/64),而27/64对应着参数p =1/4,同样可以考虑X =0,2,3的情形,最后可得p =⎪⎩⎪⎨⎧==.3,2,43,1,0,41时当时当x x(1) 似然函数在极大似然估计法中,最关键的问题是如何求得似然函数(定义下文给出),有了似然函数,问题就简单了,下面分两种情形来介绍似然函数. (a ) 离散型总体设总体X 为离散型,P {X =x }=p (x ,θ),其中θ为待估计的未知参数,假定x 1,x 2,…,x n 为样本X 1,X 2,…,X n 的一组观测值.P {X 1=x 1,X 2=x 2,…,X n =x n }=P {X 1=x 1}P {X 2=x 2}…P {X n =x n }=p (x 1,θ)p (x 2,θ)…p (x n ,θ)=∏=ni ix p 1),(θ.将∏=ni ix p 1),(θ看作是参数θ的函数,记为L (θ),即 L (θ)=∏=ni ix p 1),(θ. (7.1)(b ) 连续型总体设总体X 为连续型,已知其分布密度函数为f (x ,θ),θ为待估计的未知参数,则样本(X 1,X 2,…,X n )的联合密度为:f (x 1,θ)f (x 2,θ)…f (x n ,θ)=∏=ni ix f 1),(θ.将它也看作是关于参数θ的函数,记为L (θ),即L (θ)=∏=ni ix f 1),(θ. (7.2)由此可见:不管是离散型总体,还是连续型总体,只要知道它的概率分布或密度函数,我们总可以得到一个关于参数θ的函数L (θ),称L (θ)为似然函数.(2) 极大似然估计极大似然估计法的主要思想是:如果随机抽样得到的样本观测值为x 1,x 2,…,x n ,则我们应当这样来选取未知参数θ的值,使得出现该样本值的可能性最大,即使得似然函数L (θ)取最大值,从而求参数θ的极大似然估计的问题,就转化为求似然函数L (θ)的极值点的问题,一般来说,这个问题可以通过求解下面的方程来解决0)(=θθd d L . (7.3)然而,L (θ)是n 个函数的连乘积,求导数比较复杂,由于ln L (θ)是L (θ)的单调增函数,所以L (θ)与ln L (θ)在θ的同一点处取得极大值.于是求解(7.3)可转化为求解0)(=θθd dln L .(7.4)称ln L (θ)为对数似然函数,方程(7.4)为对数似然方程,求解此方程就可得到参数θ的估计值.如果总体X 的分布中含有k 个未知参数:θ1,θ2,…,θk ,则极大似然估计法也适用.此时,所得的似然函数是关于θ1,θ2,…,θk 的多元函数L (θ1,θ2,…,θk ),解下列方程组,就可得到θ1,θ2,…,θk 的估计值,⎪⎪⎪⎩⎪⎪⎪⎨⎧=∂∂=∂∂=∂∂.0),,,(ln ,0),,,(ln ,0),,,(ln 21221121k k k k L L L θθθθθθθθθθθθ(7.5) 例7.5 在泊松总体中抽取样本,其样本值为:x 1,x 2,…,x n ,试对泊松分布的未知参数λ作极大似然估计.解 因泊松总体是离散型的,其概率分布为:P {X =x }=λλ-e !x x,故似然函数为:L (λ)=∏∏==∑--⋅⋅==ni ni i x nixx x ni ii11!1!1λλλλee. ln L (λ)=11ln ln (!)nniii i n x x λλ==-+-∑∏,∑=+-=ni i x n 11)ln(λλλd d . 令λλd d ln =0,得: ∑=+-ni i x n 11λ=0.所以x x n ni i L ==∑=11ˆλ,λ的极大似然估计量为X L=λˆ(为了和λ的矩法估计区别起见,我们将λ的极大似然估计记为Lλˆ). 例7.6 设一批产品含有次品,今从中随机抽出100件,发现其中有8件次品,试求次品率θ的极大似然估计值.解 用极大似然法时必须明确总体的分布,现在题目没有说明这一点,故应先来确定总体的分布.设 X i =,100,,2,1,0,1 =⎩⎨⎧i ,i ,i 次取正品第次取次品第则X i 服从两点分布:12100p (x i ,θ)=P {X i =x i }=θ xi (1-θ)1-xi ,x i =0,1,故似然函数为:L (θ)=∑-∑=-==-=-∏1001100110010011)1()1(i ii i iix x i x x θθθθ由题知:∑=1001i ix =8,所以 L (θ)=θ8(1-θ)92. 两边取对数得:ln L (θ)=8ln θ+92ln (1-θ).对数似然方程为:θθθθ--=1928)(ln d d L =0.解之得θ=8/100=0.08.所以Lθˆ=0.08. 例7.7 设x 1,x 2,…,x n 为来自正态总体N (μ,σ2)的观测值,试求总体未知参数μ,σ2的极大似然估计.解 因正态总体为连续型,其密度函数为f (x )=222)(21σμσ--x e π,所以似然函数为:L (μ,σ2)=⎭⎬⎫⎩⎨⎧--⎪⎭⎫ ⎝⎛=⎭⎬⎫⎩⎨⎧--∑∏==n i i nni i x x 122122)(21exp 212)(exp 21μσσσμσππ ln L (μ,σ2)=∑=----n i i x n n 1222)(21ln 22ln 2μσσπ. 故似然方程组为:⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==.0)(212),(ln ,0)(1),(ln 124222122ni i ni i x n L x L μσσσσμμσμσμ 解以上方程组得:⎪⎪⎩⎪⎪⎨⎧=-=-===∑∑∑===.ˆ)(1)(1,12121221B x x n x n x x n ni i n i i ni i μσμ 所以 ⎩⎨⎧==.ˆ,ˆ22B X L σμ例7.8 设总体X 服从[0,θ]上的均匀分布,X 1,X 2,…,X n 是来自X 的样本,求θ的矩法估计和极大似然估计.解 因为E (X )=θ/2,令X =E (X ),得.2ˆX =矩θ 又 f (x )=⎪⎩⎪⎨⎧≤≤.,0,0,1其他θθx所以L (θ)=n θ1,0≤x i ≤θ. 要L (θ)最大,θ必须尽可能小,又θ≥x i ,i =1,2,…,n ,所以{}ini L X ≤≤=1max ˆθ.第二节 估计量的评价标准设总体X 服从[0,θ]上的均匀分布,由上节例7可知ˆ2X θ=矩,{}1ˆmax L ii nX θ≤≤ 都是θ的估计,这两个估计哪一个好?下面我们首先讨论衡量估计量好坏的标准问题.1.无偏性定义7.2 若估计量(X 1,X 2,…,X n )的数学期望等于未知参数θ,即:ˆ()E θθ=, (7.6) 则称ˆθ为θ的无偏估计量(Non -deviation estimator ).估计量ˆθ的值不一定就是θ的真值,因为它是一个随机变量,若ˆθ是θ的无偏估计,则尽管ˆθ的值随样本值的不同而变化,但平均来说它会等于θ的真值.例7.9 设X 1,X 2,…,X n 为总体X 的一个样本,E (X )=μ,则样本平均数11nii X X n ==∑是μ的无偏估计量.证 因为E (X )=μ,所以E (X i )=μ,i =1,2,…,n ,于是1111()()n ni i i i E X E X E X n n ==⎛⎫== ⎪⎝⎭∑∑=μ.所以X 是μ的无偏估计量.例7.10 设有总体X ,E (X )=μ,D (X )=σ2,(X 1,X 2,…,X n )为从该总体中抽得的一个样本,样本方差S 2及二阶样本中心矩B 2=11()ni i X X n =-∑是否为总体方差σ2的无偏估计?解 因为E (S 2)=σ2,所以S 2是σ2的一个无偏估计,这也是我们称S 2为样本方差的理由.由于B 2=21n S n -, 那么 E (B 2)=2211()n n E S n nσ--=, 所以B 2不是σ2的一个无偏估计.还需指出:一般说来无偏估计量的函数并不是未知参数相应函数的无偏估计量.例如,当X ~N (μ,σ2)时,X 是μ的无偏估计量,但2X 不是μ2的无偏估计量,事实上:22222()()().E X D X E X nσμμ⎡⎤=+=+≠⎣⎦2.有效性对于未知参数θ,如果有两个无偏估计量1ˆθ与2ˆθ,即E (1ˆθ)=E (2ˆθ)=θ,那么在1ˆθ,2ˆθ中谁更好呢?此时我们自然希望对θ的平均偏差E (ˆθ-θ)2越小越好,即一个好的估计量应该有尽可能小的方差,这就是有效性.定义7.3 设1ˆθ和2ˆθ都是未知参数θ的无偏估计,若对任意的参数θ,有 D (1ˆθ)≤D (2ˆθ), (7.7)则称1ˆθ比2ˆθ有效. 如果1ˆθ比2ˆθ有效,则虽然1ˆθ还不是θ的真值,但1ˆθ在θ附近取值的密集程度较2ˆθ高,即用1ˆθ估计θ精度要高些. 例如,对正态总体N (μ,σ2),11ni i X X n ==∑,X i 和X 都是E (X )=μ的无偏估计量,但D (X )=2nσ≤D (X i )=σ2,故X 较个别观测值X i 有效.实际当中也是如此,比如要估计某个班学生的平均成绩,可用两种方法进行估计,一种是在该班任意抽一个同学,就以该同学的成绩作为全班的平均成绩;另一种方法是在该班抽取n 位同学,以这n 个同学的平均成绩作为全班的平均成绩,显然第二种方法比第一种方法好.3.一致性无偏性、有效性都是在样本容量n 一定的条件下进行讨论的,然而(X 1,X 2,…,X n )不仅与样本值有关,而且与样本容量n 有关,不妨记为n ,很自然,我们希望n 越大时,n 对θ的估计应该越精确.定义7.4 如果n 依概率收敛于θ,即∀ε>0,有{}ˆlim 1,nn P θθε→∞-<=,(7.8) 则称ˆnθ是θ的一致估计量(Uniform estimator ). 由辛钦大数定律可以证明:样本平均数X 是总体均值μ的一致估计量,样本的方差S 2及二阶样本中心矩B 2都是总体方差σ2的一致估计量.第三节 区间估计1.区间估计的概念上节我们介绍了参数的点估计,假设总体X ~N (μ,σ2),对于样本(X 1,X 2,…,X n ),ˆX μ=是参数μ的矩法估计和极大似然估计,并且满足无偏性和一致性.但实际上X =μ的可能性有多大呢?由于X 是一连续型随机变量,P {X =μ}=0,即ˆμ=μ的可能性为0,为此,我们希望给出μ的一个大致范围,使得μ有较高的概率在这个范围内,这就是区间估计问题.定义7.5 设1ˆθ(X 1,X 2,…,X n )及2ˆθ (X 1,X 2,…,X n )是两个统计量,如果对于给定的概率1-α(0<α<1),有:P {1ˆθ<θ<2ˆθ}=1-α, (7.9) 则称随机区间(1ˆθ,2ˆθ)为参数θ的置信区间(Confidence interval ),1ˆθ称为置信下限,2ˆθ称为置信上限,1-α叫置信概率或置信度(Confidence level).定义中的随机区间(1ˆθ,2ˆθ)的大小依赖于随机抽取的样本观测值,它可能包含θ,也可能不包含θ,(7.9)式的意义是指(1ˆθ,2ˆθ)以1-α的概率包含θ.例如,若取α=0.05,那么置信概率为1-α=0.95,这时,置信区间(1ˆθ,2ˆθ)的意义是指:在100次重复抽样中所得到的100个置信区间中,大约有95个区间包含参数真值θ,有5个区间不包含真值θ,亦即随机区间(1ˆθ,2ˆθ)包含参数θ真值的频率近似为0.95. 例7.11 设X ~N (μ,σ2),μ未知,σ2已知,样本X 1,X 2,…,X n 来自总体X ,求μ的置信区间,置信概率为1-α.解 因为X 1,X 2,…,X n 为来自X 的样本,而X ~N (μ,σ2),所以uX ~N (0,1),对于给定的α,查附录中表2可得上分位点2z α,使得2P z α⎫<⎬⎭=1-α,即22P X z X z ααμ⎧-<<+⎨⎩=1-α. 所以μ的置信概率为1-α的置信区间为X z X z αα⎛-+ ⎝. (7.10) 由(7.10)式可知置信区间的长度为22z α,若n 越大,置信区间就越短;若置信概率1-α越大,α就越小,2z α就越大,从而置信区间就越长.2.正态总体参数的区间估计由于在大多数情况下,我们所遇到的总体是服从正态分布的(有的是近似正态分布),故我们现在来重点讨论正态总体参数的区间估计问题.在下面的讨论中,总假定X ~N (μ,σ2),X 1,X 2,…,X n 为其样本. (1) 对μ的估计 分两种情况进行讨论. (a ) σ2已知此时就是例7.11的情形,结论是:μ的置信区间为22X z X z αα⎛-+ ⎝, 置信概率为1-α.(b ) σ2未知当σ2未知时,不能使用(7.10)式作为置信区间,因为(7.10)式中区间的端点与σ有关,考虑到S 2=211()1n ii X X n =--∑是σ2X σ换成S 得 TX ~t (n -1).对于给定的α,查附录中t 分布表4可得上分位点t σ/2(n -1),使得2(1)P t n α⎫<-⎬⎭=1-α,即22(1)(1)P X t n X t n ααμ⎧⎫-<<-⎨⎬⎩⎭=1-α.所以μ的置信概率为1-α的置信区间为22(1),(1)X t n X t n αα⎛⎫-- ⎪⎝⎭. (7.11)=,S 0,所以μ的置信区间也可写成22(1),(1)X t n X t n αα⎛⎫-+- ⎪⎝⎭.(7.12) 例7.12 某车间生产滚珠,已知其直径X ~N (μ,σ2),现从某一天生产的产品中随机地抽出6个,测得直径如下(单位:毫米)14.6 15.1 14.9 14.8 15.2 15.1试求滚珠直径X 的均值μ的置信概率为95%的置信区间.解 111(14.615.114.914.815.215.1)6n i i x x n ===+++++∑=14.95,s 0, t α/2(n -1)=t 0.025(5)=2.571,所以2(t n α-=2.571=0.24, 置信区间为(14.95-0.24,14.95+0.24),即(14.71,15.19),置信概率为95%.σ2的置信区间我们只考虑μ未知的情形.此时由于S 2=211()1n i i X X n =--∑是σ2的无偏估计,我们考虑22(1)n S σ-,由于222(1)~(1)n S n χσ--,所以,对于给定的α,2122222(1)(1)(1)n S P n n ααχχσ-⎧⎫--<<-⎨⎬⎩⎭=1-α. 即222221(1)(1)(1)(1)n S n S P n n αασχχ-⎧⎫--⎪⎪<<⎨⎬--⎪⎪⎩⎭=1-α.所以σ2的置信区间为2222221(1)(1),(1)(1)n S n S n n ααχχ-⎛⎫-- ⎪ ⎪--⎝⎭(7.13) 或222200221,(1)(1)nS nS n n ααχχ-⎛⎫ ⎪ ⎪--⎝⎭, 其中S 02=211()ni i X X n =-∑. 例7.13 某种钢丝的折断力服从正态分布,今从一批钢丝中任取10根,试验其折断力,得数据如下:572 570 578 568 596 576 584 572 580 566试求方差的置信概率为0.9的置信区间.解 因为111(572570566)10n i i x x n ===+++∑=576.2,s 02=2211n i i x x n =-∑=71.56, α=0.10,n -1=9,查附表得:2220.05(1)(9)n αχχ-==16.919,220.951(1)(9)n αχχ--==3.325,22021071.56(1)16.919ns n αχ⨯=-=42.30,220211071.56(1) 3.325ns n αχ-⨯=-=215.22.所以,σ2的置信概率为0.9的置信区间为(42.30,215.22).以上仅介绍了正态总体的均值和方差两个参数的区间估计方法.在有些问题中并不知道总体X 服从什么分布,要对E (X )=μ作区间估计,在这种情况下只要X 的方差σ2已知,并且样本容量n 很大,X 准正态分布N (0,1),因而μ的置信概率为1-α的近似置信区间为X z X z αα⎛-+ ⎝.小 结参数估计问题分为点估计和区间估计.设θ是总体X 的待估计参数.用统计量ˆθ=ˆθ(X 1,X 2,…,X n )来估计θ称ˆθ是θ的估计量,点估计只给出未知参数θ的单一估计.本章介绍了两种点估计的方法:矩估计法和极大似然估计法.矩法的做法:设总体X ~F (X ;θ1,θ2,…,θl )其中θk (1≤k ≤l )为未知参数. (1) 求总体X 的k (1≤k ≤l )阶矩E (x k ); (2) 求方程组112112(,,,)(),(,,,)().l l l l l E X A E X A μθθθμθθθ==⎧⎪⎨⎪==⎩的一组解1ˆθ,2ˆθ,…, ˆl θ,那么ˆk θ=ˆk θ (X 1,X 2,…,X n )(1≤k ≤l)为k 的矩估计量. ˆkθ(x 1,x 2,…,x n )为θk 的矩估计值. 极大似然估计法的思想是若已观察到样本值为(x 1,x 2,…,x n ),而取到这一样本值的概率为P =P (θ1,θ2,…,θl ),我们就取θk (1≤k ≤l )的估计值使概率P 达到最大,其一般做法如下: (1) 写出似然函数L =L (θ1,θ2,…,θl ) 当总体X 是离散型随机变量时,L =121(;,,,)nil i P x θθθ=∏,当总体X 是连续型随机变量时L =121(;,,,)nil i f x θθθ=∏,(2) 对L 取对数ln L =121ln (;,,,)nil i f x θθθ=∑,(3) 求出方程组ln kLθ∂∂=0, k =1,2,…,l . 的一组解ˆk θ=ˆk θ (x 1,…,x n ) (1≤k ≤l )即k 为未知参数θ的极大似然估计值,ˆkθ=(X 1,X 2,…,X n )为θk 的极大似然估计量.在统计问题中往往先使用极大似然估计法,在此法使用不方便时,再用矩估计法进行未知参数的点估计.对于一个未知参数可以提出不同的估计量,那么就需要给出评定估计量好坏的标准.本章介绍了三个标准:无偏性、有效性、一致性.重点是无偏性.点估计不能反映估计的精度,我们就引人区间估计.设θ是总体X 的未知参数,1ˆθ,2ˆθ均是样本X 1,X 2,…,X n 的统计量,若对给定值α(0<α<1)满足P (1ˆθ<θ<2ˆθ)=1-α,称1-α为置信度或置信概率,(1ˆθ,2ˆθ)为θ的置信度为1-α的置信区间.参数的区间估计中一个典型、重要的问题是正态总体X (X ~N (μ,σ2))中μ或σ2的区间估计,其置信区间如表7-3所示.表7-3 正态总体的均值、方差的置信度为(1-α)的置信区间区间估计给出了估计的精度与可靠度(1-α),其精度与可靠度是相互制约的即精度越高(置信区间长度越小),可靠度越低;反之亦然.在实际中,应先固定可靠度,再估计精度. 重要术语及主题矩估计量 极大似然估计量估计量的评选标准:无偏性、有效性、一致性, 参数θ的置信度为(1-α)的置信区间, 单个正态总体均值、方差的置信区间.习 题 七1.设总体X 服从二项分布b (n ,p ),n 已知,X 1,X 2,…,X n 为来自X 的样本,求参数p 的矩法估计.2.设总体X 的密度函数f (x ,θ)=22(),0,0,.x x θθθ⎧-<<⎪⎨⎪⎩其他X 1,X 2,…,X n 为其样本,试求参数θ的矩法估计.3.设总体X 的密度函数为f (x ,θ),X 1,X 2,…,X n 为其样本,求θ的极大似然估计.(1) f (x ,θ)=,0,0,0.e x x x θθ-⎧≥⎨<⎩(2) f (x ,θ)=1,01,0,.x x θθ-⎧<<⎨⎩其他5.随机变量X 服从[0,θ]上的均匀分布,今得X 的样本观测值:0.9,0.8,0.2,0.8,0.4,0.4,0.7,0.6,求θ的矩法估计和极大似然估计,它们是否为θ的无偏估计.6.设X 1,X 2,…,X n 是取自总体X 的样本,E (X )=μ,D (X )=σ2,2ˆσ=k 1211()n i ii XX -+=-∑,问k 为何值时2ˆσ为σ2的无偏估计. 7.设X 1,X 2是从正态总体N (μ,σ2)中抽取的样本112212312211311ˆˆˆ;;;334422X X X X X X μμμ=+=+=+ 试证123ˆˆˆ,,μμμ都是μ的无偏估计量,并求出每一估计量的方差. 8.某车间生产的螺钉,其直径X ~N (μ,σ2),由过去的经验知道σ2=0.06,今随机抽取6枚,测得其长度(单位mm )如下:14.7 15.0 14.8 14.9 15.1 15.2 试求μ的置信概率为0.95的置信区间.9.总体X ~N (μ,σ2),σ2已知,问需抽取容量n 多大的样本,才能使μ的置信概率为1-α,且置信区间的长度不大于L ? 10.设某种砖头的抗压强度X ~N (μ,σ2),今随机抽取20块砖头,测得数据如下(kg ·cm -2):64 69 49 92 55 97 41 84 88 99 84 66 100 98 72 74 87 84 48 81 (1) 求μ的置信概率为0.95的置信区间. (2) 求σ2的置信概率为0.95的置信区间. 11.设总体X ~f (x )=(1),01;10,.x x θθθ⎧+<<>-⎨⎩其中其他 X 1,X 2,…,X n 是X 的一个样本,求θ的矩估计量及极大似然估计量. (1997年研考)12.设总体X ~f (x )= 36(),0;0,.xx x θθθ⎧-<<⎪⎨⎪⎩其他X 1,X 2,…,X n 为总体X 的一个样本(1) 求θ的矩估计量;(2) 求ˆ()D θ. (1999研考) 13.设某种电子元件的使用寿命X 的概率密度函数为f (x ,θ)= 2()2,0;0,.e x x x θθ--⎧>⎨≤⎩其中θ(θ>0)为未知参数,又设x 1,x 2,…,x n 是总体X 的一组样本观察值,求θ的极大似然估计值. (2000研考)估计值和极大似然估计值. (2002研考)15.设总体X 的分布函数为F (x ,β)=1,,0,.x xx ββααα⎧->⎪⎨⎪<⎩其中未知参数β>1,α>0,设X 1,X 2,…,X n 为来自总体X 的样本(1) 当α=1时,求β的矩估计量;(2) 当α=1时,求β的极大似然估计量;(3) 当β=2时,求α的极大似然估计量. (2004研考) 16.从正态总体X ~N (3.4,62)中抽取容量为n 的样本,如果其样本均值位于区间(1.4,5.4)内的概率不小于0.95,问n 至少应取多大?2/2()d zt z t ϕ-=⎰(1998研考)17. 设总体X 的概率密度为f (x ,θ)=,01,1,12,0,.x x θθ<<⎧⎪-≤<⎨⎪⎩其他 其中θ是未知参数(0<θ<1),X 1,X 2,…,X n 为来自总体X 的简单随机样本,记N 的样本值x 1,x 2,…,x n 中小于1的个数.求: (1) θ的矩估计;(2) θ的最大似然估计. (2006研考)。
概率论与数理统计 第7章 参数估计
Y
2.75 2.45 3.28 3.7 3.47 3.31 3.39 3.35 3.26 3.6 3.54 2.75 3.91 3.19 3.1
7.1 参数的点估计
第二箱 1个白球 99个红球 现从两箱中任取一箱,并从箱中任取一球,结果 所取得的球是白球,试估计所取到的球来自哪一 箱?
答案是第一箱.因为第一箱更有利于白球的出 现.这种思考问题的方法,称为最大似然思想.
7.1.3 最大似然估计
那么,若X1,X2,…,Xn为总体X的一个样本, 当样本观测值x1, x2 ,…, xn出现时,若要估计总体X 中的未知参数θ,自然要选取使x1, x2,…, xn出现的 “概率”达到最大的 ˆ 作为θ的估计值了.
参数θ1,θ2,…,θm的情形.此时,只需要求出似然函
数
L(1,2,..., m ) L( x1, x2,..., xn;1,2,..., m )
或者对数似然函数
ln L(1,2,..., m ) ln L( x1, x2,..., xn;1,2,..., m )
的最大值点 (ˆ1,ˆ2,...,ˆm )可以了.
由于为E(X) = 10p的矩估计量,所以为p的矩估 计量,p的矩估计值为:
pˆ x / 10 x1 x2 ... x15 10 120 10 80%
15
15
7.1.2 矩估计
【例7.3】设总体X的概率密度为
f
(
x;ห้องสมุดไป่ตู้
)
(
1) x
,
0,
0 x1 其他
七参数估计
第七章 参数估计参数估计是这样一类问题, 即随机变量(总体)X 的分布类型(或说分布函数)已知, 但分布形式中含有未知参数, 如何通过X 的样本值来估计未知参数的值或它的取值范围以及该范围包含未知参数真值的可靠程度的问题.参数估计分为参数的点估计和参数的区间估计. 一、点估计1. 点估计的提法如下: 设已知总体X 的分布函数(;)F x θ(其中θ是未知参数)及X 的一个样本12,,,n X X X 和一组样本值12,,,n x x x , 建立统计量()12ˆ,,,n X X X θ, 用它的观察值()12ˆ,,,n x x x θ作为θ的近似值, 这称为参数的点估计. 观察值()12ˆ,,,n x x x θ称为θ的点估计值, 统计量()12ˆ,,,n X X X θ称为θ的点估计量.注意, 由于估计量是随机变量, 因此对于不同的样本值, 估计值一般是不同的.2. 估计方法 (1) 矩估计法矩估计法的思想: 第六章中曾指出11,1,2,n Pk k i k i A X k n μ==−−→=∑, 1212(,,,)(,,,)Pk k g A A A g μμμ−−→.因此, 我们可以以样本矩作为总体矩的估计得到一个方程组, 解该方程组便会得到未知参数的一个估计量——矩估计量.矩估计法的具体做法: 设12,,,n X X X 是来自总体X 的一个样本, 12,,,n x x x 是它的一组样本值.假设()()1,2,,iE Xi k =存在, 且都是总体X 分布中未知参数12,,,k θθθ的函数, 即()()12,,,, 1,2,,i i k E X A i k θθθ==,则令()()()1121221211211,,,,1,,,,1,,,.===⎧=⎪⎪⎪=⎪⎨⎪⎪⎪=⎪⎩∑∑∑nk i i n k i i n kk k i i A X n A X n A X n θθθθθθθθθ 解此方程组, 得12ˆˆˆk θθθ⎧=⎪=⎪⎨⎪⎪=⎩()()()11221212ˆ,,,,ˆ,,,,ˆ,,,.n n k nX X X X X X X X X θθθ 称1ˆθ=()112ˆ,,,n X X X θ, 2ˆθ=()212ˆ,,,,,n X X X θ ˆkθ=()12ˆ,,,k n X X X θ分别为12,,,kθθθ的矩估计量, 称()112ˆ,,,,n x x x θ()212ˆ,,,,,n x x x θ()12ˆ,,,k n x x x θ分别为12,,,k θθθ的矩估计值.例1 P178 例2 例2 P179 例3该例表明, 对任意总体X , 总体均值与总体方差的矩估计总为()2211ˆ,ni i X X X n μσ===-∑, 即它们不因不同的总体分布而有差异.(2) 最大似然估计法最大似然估计法的思想是: 设在总体变量X 的分布形式已知(含未知参数12,,,k θθθ)的情形下, 已观察到X 的样本12,,,n X X X 的一组样本值12,,,n x x x . 由于取到这组样本值的概率p (在总体变量是离散型的情况下), 或()12,,,n X X X 落在()12,,,n x x x 的邻域内的概率p (在总体变量是连续型的情况下)与参数12,,,k θθθ有关, 依据“实际推断原理”, 选取的12,,,k θθθ值(称为最大似然估计值)应该使p 达到最大.最大似然估计法的思想引出最大似然函数()1212,,,;,,,n n k L L x x x θθθ={}{}121121;,,,, ;,,,, ni k i n i k i X X P X x f x θθθθθθ==⎧=⎪⎪=⎨⎪⎪⎩∏∏当是离散型变量当是连续型变量. 最大似然估计法的具体做法: 设12,,,n X X X 是来自总体X 的一个样本, 12,,,n x x x 是它的一组样本值. 则①依总体变量X 的分布构造出最大似然函数()1212,,,;,,,n n k L x x x θθθ;②求解方程组0,1,2,,iLi k θ∂==∂或ln 0,1,2,,iLi k θ∂==∂.方程组的解()112ˆ,,,,n x x x θ()212ˆ,,,,,nx x x θ ()12ˆ,,,k nx x x θ称为12,,,k θθθ的最大似然估计值, 而相应的估计量1ˆθ=()112ˆ,,,nX X X θ,2ˆθ=()212ˆ,,,,,nX X X θ ˆkθ=()12ˆ,,,k n X X X θ称为12,,,k θθθ的最大似然估计量.最大似然估计具有性质: 设参数θ的函数(),u u θθ=∈Θ具有单值反函数(),u u U θθ=∈, 又设ˆθ是参数θ的最大似然估计, 则ˆˆ()uu θ=是()u θ的最大似然估计. 事实上, 因为ˆθ是θ的最大似然估计, 所以有 1212ˆ(,,,;)max (,,,;)n n L x x x L x x x θθθ∈Θ=,其中12,,,n x x x 是X 的一组样本值. 考虑到ˆˆ()uu θ=, 且有ˆˆ()u θθ=, 于是上式可写成 1212ˆ(,,,;())max (,,,;())n n u UL x x x uL x x x u θθ∈=.这就证明了ˆˆ()uu θ=是()u θ的最大似然估计. 例3 P182 例4 例4 P183 例5 例5 P183 例6例6 P185 基于截尾样本的最大似然估计在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用起来不方便时再用矩估计法. 习题P207-209 1 2(1) 3(1) 4 73. 估计量的基本评估标准(1) 无偏性 设ˆθ=()12ˆ,,,n X X X θ为未知参数θ的估计量, 若ˆ()E θθ=, 则称ˆθ为θ的无偏估计量.注: ○1()ˆE θθ-称为以ˆθ作为θ的估计误差. 无偏估计的实际意义是要求估计为零误差. ○2样本均值X 和样本方差2S 是总体期望和总体方差的无偏估计量;()212ˆ1nii SXnμ==-∑也是总体方差的无偏估计量, 其中μ是总体变量的期望.○3()2211ˆ11,i nnii i SX XX nnX ====-∑∑是总体期望和总体方差的矩估计量, 也是泊松分布、指数分布、正态分布总体的期望与方差的最大似然估计量. 前者11==∑i ni X nX 是无偏估计量, 后者()221ˆ1==-∑nii SXX n不是无偏估计量.例7 P189 例1该例表明, 对任意总体X , 样本k 阶原点矩总是总体k 阶原点矩的无偏估计. 例8 P189 例2(2) 有效性(最小方差性) 设1ˆθ=()112ˆ,,,n X X X θ, 2ˆθ=()212ˆ,,,n X X X θ都是未知参数θ的无偏估计量, 若1ˆ()D θ2ˆ()D θ<, 则称1ˆθ较2ˆθ有效. 如果对于固定的n , 若某个ˆθ使ˆ()D θ达到最小, 则称ˆθ为θ的有效估计量.有效性表明, 在样本容量相同的情况下, 方差小的无偏估计量是相对好的估计量.(3) 相和性(一致性) 设ˆθ=()12ˆ,,,n X X X θ是未知参数θ的估计量, 若ˆθ依概率收敛于θ, 即对于任意正数ε, {}ˆlim 1n P θθε→∞-<=), 则称ˆθ为θ的相和估计量(或一致估计量). 注: ○1相和性表明, 若估计量不具有相和性, 那么不论样本容量n 有多么大, ˆθ都不能将θ估计得足够准确. 因此, 不具有相和性的估计量是不可取的.○2样本均值和样本方差是总体期望和总体方差的相和估计量; ()121nii Xnμ=-∑也是()D X 的相和估计量. 用矩估计法得到的许多估计量都具有这种性质. 最大似然估计量在一定条件下也具有相和性.○3样本k 阶原点矩11n kk i i A X n ==∑及其函数12(,,,)k g A A A 是总体k 阶原点矩k μ和12(,,,)k g μμμ的相和估计量.总的来说, 具有相和性且方差小的无偏估计量才是好的估计量. 习题P209-210 9 10 11(1)二、区间估计1. 区间估计的提法如下: 作为对未知参数的估计, 显然结果取得宽泛一些更合理. 另外, 对结果范围包含未知参数真值的可信程度应予以说明. 找到这个范围并判断未知参数真值落在这个范围的可信度的过程,称为参数的区间估计. 这个范围通常以区间的形式表示, 称为置信区间.2. 基本概念置信区间 设θ是总体X 分布中的未知参数, θ∈Θ(Θ是θ的可能取值范围). 对于给定的正数α(01α<<), 若由样本12,,,n X X X 的确定的两个统计量()12,,,n X X X θθ=和()12,,,n X X X θθθθ=<(), 对任意θ∈Θ满足 {}1P θθθα<<=-, (7.1)则随机区间(),θθ称为θ的置信水平为1α-的双侧置信区间, θ和θ分别称为θ的置信水平为1α-的双侧置信区间的置信下限和置信上限, 1α-称为置信水平.若()12,,,n X X X θθ=, 对任意θ∈Θ满足{}1P θθα<=-,则随机区间(),θ-∞称为θ的置信水平为1α-的单侧置信区间, θ称为θ的置信水平为1α-的单侧置信区间的单侧置信上限.若()12,,,n X X X θθ=, 对任意θ∈Θ满足{}1P θθα>=-,则随机区间(),θ+∞称为θ的置信水平为1α-的单侧置信区间, θ称为θ的置信水平为1α-的单侧置信区间的单侧置信下限.(7.1)式的含义如下: 若反复抽样多次(设各次抽样的样本容量相等,都是n ), 则每组样本值都会确定一个区间(,)θθ, 每个这样的区间要么包含θ的真值, 要么不包含θ的真值(参见右图). 按伯努里大数定理, 在这样多的区间中, 包含θ的真值的约占100(1)%α-, 不包含θ的真值的约占100%α. 例如, 若0.01α=, 反复抽样1000次, 则得到的1000个区间中不包含θ的真值的约仅为10个.3. 区间估计的方法求未知参数θ的置信区间的做法如下: 设12,,,n X X X 是来自总体X 的一个样本, 12,,,n x x x 是它的一组样本值. 则①寻求一个样本12,,,n X X X 的函数12(,,,;)n W W X X X θ=,它包含参数θ, 但不包含其它未知参数, 并且W 的分布已知且不依赖于任何未知参数(当然也不依赖于待估参数θ);②对于给定的置信水平1α-, 定出两个常数,a b , 使12{(,,,;)}1n P a W X X X b θα<<≥-;③若能从12(,,,;)n a W X X X b θ<<得到等价的不等式θθθ<<, 其中12(,,,)n X X X θθ=,12(,,,)n X X X θθ=都是统计量, 那么(,)θθ就是θ的一个置信水平为1α-的置信区间.函数12(,,,;)n W W X X X θ=的构造通常可以从θ的点估计着手考虑.显然θ的置信水平为1α-的置信区间不唯一. 置信区间小表示估计的精度高. 例9 P192 例4. 正态总体均值与方差的区间估计 (一)几个常用统计量及其分布 设12,,,n X X X 是来自正态总体()2,N μσ容量为n 的的样本, 样本均值11ni i X X n ==∑, 样本方差()22111ni i S X Xn ==--∑, 则有①21,XN n μσ⎛⎫ ⎪⎝⎭,()0,1X N ;②且()()22211n S n χσ--; ()1X t n -.(二) 单个正态总体()2,Nμσ的情形设给定置信水平为1α-, 并设12,,,n X X X 是来自总体()2,N μσ的一个样本, 2,X S 分别是样本均值和样本方差.1o . 均值μ的置信区间①若2σ已知,由于统计量()0,1U N =, 所以μ的置信水平是1α-的一个置信区间为2x z α⎛⎫ ⎪⎝⎭. 它是由{}21P U z αα<=-确定的; μ的置信水平是1α-的(单侧)置信区间为,x z α⎛⎫+∞ ⎪⎝⎭或,x z α⎛⎫-∞ ⎪⎝⎭. ②若2σ未知,由于统计量()1X T t n =-, 所以μ的置信水平是1α-的一个(双侧)置信区间为()()21x n α-. 它是由(){}211P T t n αα<-=-确定的; μ的置信水平是1α-的(单侧)置信区间为()()1,x n α-+∞或()(),1x n α-∞+-. 实际问题中, 总体方差未知的情况居多. 例10 P196 例1 例11 P2032o . 方差2σ的置信区间①若μ未知, 由于统计量()()222211n S n χχσ-=-, 所以2σ的置信水平是1α-的一个(双侧)置信区间为()()()()122222211,11n s n s n n ααχχ-⎛⎫-- ⎪ ⎪--⎝⎭. 它是由()(){}222122111n n P ααχχχα--<<-=-确定的; 2σ的置信水平是1α-的(单侧)置信区间为()()12210,1n s n αχ--⎛⎫ ⎪-⎝⎭或()()221,1n s n αχ-⎛⎫+∞ ⎪-⎝⎭. 这时实际中常见的情形. 例12 P197 例2 例13 P204 例 例14 P203(三) 两个正态总体()()221122,,,NN μσμσ的情形设给定置信水平为1α-, 并设121212,,,;,,,n n X X X Y Y Y 是分别来自总体()2111,X N μσ和()2222,X N μσ的两个样本, 它们相互独立. 又设,X Y 分别为总体一、二的样本均值, 2212,S S 分别为总体一、二的样本方差.1o . 均值差12μμ-的置信区间①若21σ与22σ已知, 由于统计量()120,1X X U N ---=, 所以12μμ-的置信水平是1α-的一个(双侧)置信区间为122x x α⎛⎫- ⎪⎝⎭. 它是由{}21U z P αα<=-确定的. 12μμ-的置信水平是1α-的(单侧)置信区间为12,x x α⎛⎫-+∞ ⎪⎝⎭或12,x x α⎛⎫-∞-+ ⎪⎝⎭.②若2212σσ=未知, 由于统计量()12122X X T t n n μμ---=+-, 其中()()22112212112Wn S n S S n n -+-=+-, 则12μμ-的置信水平是1α-的一个(双侧)置信区间为()()121222n n x x s α⎛⎫±+-- ⎪ ⎪⎝⎭. 它是由(){}12221P T t n n αα<+-=-确定的. 12μμ-的置信水平是1α-的(单侧)置信区间为()()12122,n n x x s ⎛⎫-+-+∞- ⎪⎪⎝⎭或()()1212,2n n x x s ⎛⎫-∞++-- ⎪ ⎪⎝⎭.例15 P198 例3 例16 P199 例42o. 方差比2122σσ的区间估计由于统计量()2211122222/1,1/S F F n n S σσ=--, 则2122σσ的置信水平是1α-的一个(双侧)置信区间为()()22112212122212211, 1,11,1F F n n n n s s s s αα-⎛⎫ ⎪ ⎪----⎝⎭. 它是由 ()(){}121212211,11,1P F F F n n n n ααα-<<=-----确定的. 2122σσ的置信水平是1α-的(单侧)置信区间为()2121221, 1,1F n n s s α⎛⎫+∞ ⎪--⎝⎭或()212112210,1,1F n n s s α-⎛⎫ ⎪--⎝⎭.例17 P200 例5(四)0-1分布参数的区间估计 自修 习题P210-211 14 16 17 21。
概率论7-1
问: 所取的球来自哪一箱? 答: 很可能第一箱.
例 设总体 X 服从0-1分布,且P{X=1}=p,用极大似 然法求p的估计值.
解 总体 X 的概率分布为
P{X x} p x (1 p)1x , x 0,1
设 x1, x2,…, xn为总体样本X1, X2,…, Xn的样
解
由于
1
E(
X
)
2
,
21
又样本的一阶矩为
A1
1 n
n i 1
Xi
X,
由矩法估计,令A1代替θ1 ,可得 θ的矩估计量为
^
2X
参数的极大似然估计法
思想方法:一次试验就出现的 事件有较大的概率
例如: 有两外形相同的箱子,各装100个球
一箱 99个白球
1 个红球
一箱 1 个白球 99个红球
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.
P
Ak
1 n
n i 1
Xik
结论: Ak k (n ), k 1, 2,
原因:辛钦大数定律
作用: 矩估计法的理论依据
参数的矩法估计
矩法估计:用样本的矩作为总体矩的估计量,具体
做法如下
1 1(1, k )
2
2 (1,
k )
k k (1, k )
这里总体X的分布函数中含有k个参数。从上式中解出这 k个参数可得
参数的矩法估计
从上式中解出这k个参数可得
1 1(1, k )
2
2 (1,
k )
k k (1,
用Ai分别代替上式中的μi
^
1
1
(
A1,
Ak )
k )
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
假定1,2未知
可编辑ppt
43
可编辑ppt
44
小结
总体 样本 统计量
点估计 矩估计
极大似然估计
抽样分布定理
区间估计
可编辑ppt
45
一般说,事件A发生的概率与参数有关,取值
不同,则P(A)也不同。因而应记事件A发生的概率
为P(A|).若A发生了,则认为此时的值应是在中
使P(A|) 达到最大的那一个。这就是极大似然思
想
可编辑ppt
9
1.设总体X为离散型随机变量,它的分布律为
现有样本观察值x1,x2,…xn,,其中xk取值于{ak, k=1,2…} 问:根据极大似然思想,如何用x1,x2,…xn估计?
可编辑ppt
20
注3:由似然方程解不出的似然估计时,可由定
义通过分析直接推求。事实上
满足
可编辑ppt
21
例9:设X1, … , Xn为取自 U(0,) 总体的 样本,>0未知,求参数 的极大似然估计。
可编辑ppt
22
7.2 估计量的评选标准
7.2.1 一致性
可编辑ppt
23
例1.设
已知0<p<1,求p
(2)令该函数落在由分位点确定的区间里的概 率为给定的置信度1,要求区间按几何对称或概 率对称;
(3)解不等式得随机的置信区间;
(4)由观测值及值查表计算得所求置信区间。
可编辑ppt
35
(1)解: 已知时,的置信度为1的置信区间为
这里
可编辑ppt
36
2、2未知
即得 m的1-a置信区间为
可编辑ppt
例6.设X1, … , Xn为取自参数为的泊松分 布总体的样本,求的极大似然估计
可编辑ppt
10
2.设总体X为连续型随机变量,概率密度f(x;) 现有样本观察值x1,x2,…xn, 问:根据极大似然思想,如何用x1,x2,…xn估计?
可编辑ppt
11
3、似然函数与极大似然估计 为该总体的似然函数。
第七章 参数估计
▪ 点估计 ▪ 估计量的评选标准 ▪ 区间估计 ▪ 正态总体参数的区间估计
可编辑ppt
1
7.1 点估计
7.1.1 参数估计的概念
定义 设X1, … , Xn是总体X的一个样本,其分 布函数为F(x; ), 。其中为未知参数, 为 参数空间, 若统计量g(X1, … , Xn)可作为的一
可编辑ppt
6
例3:设总体X的概率密度为 X1, … , Xn为样本,求参数的矩估计。
可编辑ppt
7
例4:设X1, … , Xn为取自
总体的样本,求参数
的矩估计。
可编辑ppt
8
7.1.3 极大似然估计法
1、极大似然思想
有两个射手,一人的命中率为0.9,另一 人的命中率为0.1,现在他们中的一个向目标射击 了一发,结果命中了,估计是谁射击的?
可编辑ppt
12
定义:若有
使得
则称 为的极大似然估计.记为
可编辑ppt
13
4、求极大似然估计的步骤 (1) 做似然函数
可编辑ppt
14
(2) 做对数似然函数
可编辑ppt
15
(3) 列似然方程 若该方程有解,则其解就是
可编辑ppt
16
注1:若概率函数中含有多个未知参数,则可 解方程组
可编辑ppt
统计量
都是E(X)的无偏估计,并求
a,b使所得统计量最有效
可编辑ppt
30
7.3 区间估计
7.3.1、概念
定义: 设总体X的分布函数F(x;)含有未知
参数,对于给定值(0< <1),若由样本X1, …,
Xn确定的两个统计量
使
则称随机区间
为的置信度为1的置信区间
注:F(x;)也可换成概率密度或分布律。
可编辑ppt
31
7.4 正态总体参数的区间估计
1、2已知
可编辑ppt
32Biblioteka 取/21- /2可编辑ppt
33
的置信度为1的置信区间为
注:的1置性区间不唯一。
(1-) 1-
都是的1置性区间.但=1/2时区间长最短.
可编辑ppt
34
求正态总体参数置信区间的解题步骤:
(1)根据实际问题构造样本的函数,要求仅含 待估参数且分布已知;
关键点: 1.用样本矩作为总体同阶矩的估计,即
2.约定:若 是未知参数的矩估计,则g()的 矩估计为g( ),
可编辑ppt
4
例1:设X1, … , Xn为取自总体B(m,p),的样本, 其中m已知,0<p<1未知,求p的矩估计。
可编辑ppt
5
例2:设X1, … , Xn为取自参数为的指数分布 总体的样本,求的矩估计。
的极大似然估计,并讨论所求估计量的一致性。
可编辑ppt
24
7.2.2、无偏性
可编辑ppt
25
易见
可编辑ppt
26
考察的矩估计和极大似然估计的无偏性
可编辑ppt
27
7.2.3 有效性
可编辑ppt
28
可编辑ppt
29
例3:设
分别为取自总体X的容量为n1,n2的两
个样本的样本均值,求证:对任意实数a>0,b>0,a+b=1
个估计,则称其为的一个估计量,记为
注:F(x;)也可用分布律或密度函数代替.
可编辑ppt
2
若x1, … , xn是样本的一个观测值。
由于g(x1, … , xn) 是实数域上的一个 点,现用它来估计, 故称这种估计为点估计。
点估计的经典方法是矩估计法与极大似 然估计法。
可编辑ppt
3
7.1.2 矩估计法(简称“矩法”)
1-
37
(2)解: 未知时,的置信度为1的置信区间为
这里
可编辑ppt
38
7.4.2 单正态总体方差的置信区间 假定m未知,
可编辑ppt
39
s2的置信度为1的置信区间为
可编辑ppt
40
7.4.3 双正态总体均值差的置信区间
可编辑ppt
41
可解得1- 2 的置信区间 其中
可编辑ppt
42
7.4.4 双正态总体方差比的置信区间
17
例7:设X1, … , Xn为取自
总体的样本,求参数
的极大似然估计
。
可编辑ppt
18
注2:极大似然估计具有下述性质: 若 是未知参数的极大似然估计,g()是的严格 单调函数,则g()的矩极大似然估计为g( ),
可编辑ppt
19
例8:设X1, … , Xn为取自参数为的指数分布 总体的样本,a>0为一给定实数。 求p=P{X<a}的极大似然估计