第六章_点估计汇总

第六章点估计1. 本章重点概括本章要求学生正确理解参数点估计的概念。

掌握矩估计法，明确其实质是用样本矩来替换总体矩，即皮尔逊替换原则。

掌握极大似然估计法，明确其基本思想是选取估计量，使得该样本发生的可能性最大，能熟练地求出某些常见分布中未知参数的极大似然估计量。

掌握关于判别估计量优良性的一致性、无偏性、有效性这三个准则，并能熟练地加以运用。

掌握罗-克拉美(Rao-Cramer)不等式的条件、结论，能求一些常见分布中未知参数的无偏估计量之方差的罗-克拉美下界，会求一些常见分布中未知参数的有效估计，或会证明某∧θ是θ的有效估计。

掌握充分统计量的概念和奈曼(Neyman)因子分解定理，并会加以应用。

点估计方法一般有两种，一种为矩估计法，一种为极大似然估计法。

矩估计法比较直观，对任何总体都适用，方法简单，但需要保证总体的相应的矩存在，若不存在就不能用矩估计的方法。

而极大似然估计对任何总体也都适用，从它得到估计量一般有有效性，并且常常具有无偏性，即使不具有无偏性，也可以修正偏差使估计值与待估计参数的真实值充分接近。

极大似然估计法的缺点是往往要解一个似然方程，而这个方程在有些情况下是很难解的。

在分析估计量的好坏时，应首先考虑一致性，即看估计量是否依概率收敛于所估计的参数，不具备一致性的估计量我们一般是不予考虑的。

估计量是一个随机变量，对于不同的样本值，一般给出参数不同的估计值，因而在考虑估计量的优劣时，应该从某种整体性能去衡量，而不能看它在个别样本之下表现如何。

一般来说，矩估计和极大似然估计都不一定是无偏估计。

无偏估计要111112求估计量的数学期望等于待估参数，但无偏估计不一定是有效估计，如正态总体期望的估计量∑==n i i i X k 1ˆμ，其中∑==n i i k 11是无偏估计，但只有当n n nk i ,,2,1,1 ==时，μˆ才是有效估计。

由于统计量很多，那么怎样的统计量才是最佳的呢？直观的想法是，一方面要尽可能的简单，另一方面又要能提供样本所含的“全部信息”，由此引出了充分统计量的定义。

直接从定义出发判断一个统计量是不是充分统计量有时很困难，奈曼给出了一个较为方便的因子分解定理。

2. 基本概念1) 点估计设总体X 的分布已知，θ是待估参数。

n X X X ,,,21 为来自该总体一个样本，若n X X X ,,,21 构造一个统计量),,,(ˆˆ21nX X X θθ＝，并 用θˆ估计θ，则称θˆ是θ的估计量。

2) 一致性若θˆ是θ的估计量，如果对于任意0>ε，总有 1}ˆ{lim =<-∞→εθθP n ， 则称θˆ为θ的一致估计量。

3) 无偏性若未知参数θ的估计量满足θθ=)ˆ(E 则称θˆ具有无偏性，并称θˆ是θ的无偏估计量。

4) 渐近无偏性若未知参数θ的一个估计θˆ有偏，但当∞→n 时，113,)ˆ(θθ→E 则称θˆ为θ的渐近无偏估计量。

5) 有效性若1ˆθ和2ˆθ都是θ的无偏估计量，且)ˆ()ˆ(21θθD D ≤，则称1ˆθ较2ˆθ有效。

若对固定的样本容量n ，)ˆ(θD 达到最小，则称θˆ为θ的最小方差无偏估计，记为UMVUE 。

6) 罗—克拉美(Rao-Cramer)不等式设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，又),,,(21n X X X u =η是)(θg 的一个无偏估计，且满足正则条件：(a)集合}0);(:{>θx f x 与θ无关；(b))(θg '与θθ∂∂);(x f 存在，且对一切Θ∈θ， dx x f dx x f ⎰⎰∂∂=∂∂θθθθ);();( ⎰⎰∂∂n n n dx dx x f x f x x u 111);();(),,(θθθ n ni i n dx dx x f x x u 111);(),,(⎥⎦⎤⎢⎣⎡∂∂=∏⎰⎰=θθ (c) 令0);(log )(2>⎪⎭⎫ ⎝⎛∂∂=θθθθX f E I 称为信息量，则 )()]([2θθηθnI g D '≥ 这个不等式称为罗—克拉美不等式。

罗—克拉美不等式指出，在样本容量n 给定时，)(θg 的无偏估计的方差不可能无限的小，它有一个下界114)()]([2θθnI g '，称这个下界为R C -下界。

7) 有效估计若θ的一个无偏估计θˆ使罗—克拉美不等式中等式⎥⎥⎦⎤⎢⎢⎣⎡⎪⎭⎫ ⎝⎛∂∂=2);(log 1)ˆ(θθθX f nE D成立，则称θˆ为θ的有效估计。

8) 有效率若θˆ是θ的一个无偏估计，且罗—克拉美不等式下界存在，则称)ˆ(θD 与)(θnI 的比)ˆ()(1θθD nI e = 为估计θˆ的有效率。

9) 充分统计量设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，设),,,(21n X X X u =η是一个统计量，有概率密度);(θy g . 若),(]);([);();(111n n n x x h x x u g x f x f =θθθ 成立，且每当),,,(21n x x x u =η取一固定值时，y =η发生条件下的条件概率函数),(1n x x h 不依赖于θ，则称η为θ的一个充分统计量。

3. 基本方法、定理1) 矩估计法由于总体分布中的未知参数往往是总体X 的一些原点矩或原点矩的函115数，所以矩估计方法的主要思想就是用样本的各阶原点矩去估计相应的总体的各阶原点矩。

求θ的矩估计量θˆ的步骤如下： (1) 求出总体的前k 阶原点矩（用参数k θθθ,,,21 表示）),()(1k l l l v X E v θθ ==，k l ,,2,1 =(2) 从这k 个方程中解出k θθθ,,,21 ：),(1k l l v v h =θ，k l ,,2,1 =(3) 用lX 替换上述方程中的l v ，k l ,,2,1 =，则得到l θ的矩估计： ),,(ˆ1kl l X X h =θ，k l ,,2,1 = 不难看出，只要参数k θθθ,,,21 可用原点矩),,,21k X X X 表示，则矩法估计就能进行，无须知道总体分布。

2) 极大似然估计法(1) 总体为离散型。

设总体X 的分布律为);()(θi i a p a X P ==，Θ∈=θ,,2,1 i其中θ为未知参数。

n X X X ,,,21 为X 的一个样本，其观测值为,1x n x x ,,2 ，每个i x 取 ,,21a a 中的某个值，则似然函数为∏==ni i x p L 1),()(θθ选取θˆ作为θ的估计，使)(max )ˆ(θθθL L Θ∈= 则称θθ即为ˆ极大似然估计。

(2) 总体为连续型。

设总体X 的概率密度函数为);(θx f ，其中θ是总体的未知参数，n X X X ,,,21 为X 的一个样本，其观测值为,,,21 x x n x 。

求θ的最大似然估计量θˆ的步骤如下：116 0ln )3(),(ln ln )2()(),()()1(11===∑∏==θθθθθθd L d x f L L x f L ni i n i i 建立并求解似然方程对似然函数取对数的函数为其中写出似然函数的极大似然估计量。

即为，则，确定其最大值求得似然函数的驻点后θθθˆˆ 3）奈曼(Neyman)因子分解定理设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，Θ∈θ，则统计量),,,(21n X X X u =η是一个充分统计量的充要条件是存在两个非负函数1K 和2K ，使得等式),,()],,([);();(12111n n n x x K x x u K x f x f =θθ成立，并且当),,,(21n x x x u =η取一定值时，函数),,(12n x x K 不依赖于θ。

3. 一些说明1) 关于极大似然估计的极大似然估计量。

，即为方法，求出最大值点利用多元函数求极值的组：数，似然方程就是方程元函就为时，似然函数含有多个未知参数）若总体（法，应注意一下问题：似然估计的概率最大。

在用极大取，数，使得的分布参求得总体是通过样本值较大，极大似然估计就的概率取，由概率意义知道，测值得样本观，想是：一次观测样本极大似然估计的统计思mm im n n n n n n n m i L m L X x x x X X X X x x x x x x X X X x x x X X X θθθθθθθθθθ,,,ˆ,,ˆ,ˆ,,2,10ln ,,,1,,,,,,,,,,,,,,,,,,,21212121212121212121 ==∂∂117(2) 并不是对所有的似然函数都可求解似然方程0ln =θd L d 的方法解出极大似然估计量。

例如求均匀分布的未知参数θ的极大似然估计量，设其概率密度为⎪⎩⎪⎨⎧≤<=其他001);(θθθx x f就不能按照求解似然方程的方法来做。

都是最大似然估计量。

唯一，而它的解也未必，似然方程组的解未必估计量来，但也有例外程组能够求出最大似然法。

一般来说，求解方要条件而采取的一种方只是根据极值存在的必求解似然方程组mi L i m ,,2,10),,,(ln )3(21 ==∂∂θθθθ1) 2)关于无偏性和有效性“无偏性”是指估计量的平均值接近于真正的参数值；“有效性”是指存在多个无偏估计量中相对方差较小的一个。

点估计的优良性取决于这些估计量是否具有无偏性和有效性。

不管总体X 服从什么样的分布，下面的结论成立：(1) 样本均值X 是总体均值μ的最小方差无偏估计量；(2) 样本方差2S 是总体方差2σ的最小方差无偏估计量。

例1 填空题118(1) 设总体0,),0(~>θθU X ，n X X X ,,21是来自X 的样本，则θ的矩估计量为 ；极大似然估计量为 .(2) 设射手的命中率为p ，在向同一目标的80次射击中，命中75次，则p 的极大似然估计值为 .(3) 设总体⎩⎨⎧<<+=其它010)1();(~x x x f X ααα，n X X X ,,21是来自X 的样本，则θ的极大似然估计量为 .解 (1)X 2；),,max(1n X X . 因为210θθθ==⎰dx x EX ，则有EX 2=θ，故θ的矩估计量为X 2ˆ=θ； 而似然函数为n i x L i n ,,2,1,0)( =≤≤=-θθθ由似然函数可以看出，要使L 最大，就要使θ尽可能地小，但θ又不能小于),,max(1n x x ，所以θ取),,max(1n x x 时就使L 最大，故θ极大似然估计量为),,max(ˆ1nL X X =θ. (2)1615. 记⎩⎨⎧=射击没有命中目标射击命中目标，,01X ， 则X 服从两点分布，⎥⎦⎤⎢⎣⎡-p pP X101， 即有1,0)1()(1=-==-x p p x X P x x ，似然函数为 ∑-∑=-===-=-∏n i i n i i i i x n x n i x x p pp pp L 11)1()1()(11，)1ln()(ln )(ln 11p x n p x L n i ini i --+=∑∑==119 令0ln =dpL d ，得x p L =ˆ 故p 的极大似然估计值为16158075ˆ===x pL . (3) ∑=--n i ixn1ln 1. 因为似然函数为 ααααα)()1()1()(11∏∏==+=+=ni i nn i i x x L ， ∑=++=ni i x n L 1)1ln(ln αα 令0ln =αd L d ，得∑=--=n i iL x n 1ln 1ˆα.例2 单选题 (1) 设1021,,X X X 是来自总体X 的样本，下列统计量中不是μ=EX 的无偏估计量的是（ ）.A. ∑==1011101i i X T ;B. ∑∑==+=106512203201i i i i X X T ; C. ∑==1013551i i iX T ; D. ∑∑==+=1065145151i i i i X X T (2) 设0)ˆ(lim ˆ=∞→θθθD n 的无偏估计，且为，则（ ）. A. θˆ是θ的矩估计； B. θˆ是θ的有效估计；C. θˆ是θ的极大似然估计；D. θˆ是θ的一致估计120 (3) 设的无偏估计为θθˆ，且0ˆ≠θD ，则2ˆθ必为2θ的（ ）. A. 无偏估计 ； B. 一致估计 ；C. 有效估计；D. 有偏估计(4)*设总体X 的方差为2σ，),,(21n X X X 是来自X 的样本，∑==n i i X n X 11，212)(11X X n S n i i --=∑=，则（ ）. A. 2S 是2σ的无偏估计量; B. 2S 是2σ的极大似然估计量;C. 2S 是2σ的一致估计;D. S 与X 独立 解 (1)D. 因为μ==∑=1011101i i EX ET ； μμμ=+=+=∑∑==2015205203201106512i i i i EX EX ET ； μμ===∑∑==101101355551i i i i iEX ET ； μ25151106514=+=∑∑==i i i i EX EX ET 所以4T 不是μ=EX 的无偏估计量 .(2)D. 因为对任意0>ε，有2ˆ)|ˆˆ(|)|ˆ(|εθεθθεθθD E P P <>-=>-∞→→n ,0 所以θˆ是θ的一致估计.(3) D. 因为2222ˆ)ˆ(ˆ)ˆ(θθθθθθ≠+=+=D E D E ， 所以2ˆθ必为2θ的有偏估计.121(4)C. 因为由大数定律知，对任意0>ε，有1}|1{|lim 1=<-∑=∞→εμni i n X n P ， 所以∑==ni i X n X 11是μ的一致估计量.又21221)(1)(1X X n X X n n i i n i i -=-∑∑==，其中由大数定律知∑=n i iX n 121依概率收敛于2EX ，从而21)(1X X n ni i -∑=依概率收敛于22)(EX EX -2σ=.又11lim =-∞→n n n ，所以212)(11X X n S n i i --=∑=是2σ的一致估计量. 例3 设总体X 的概率密度为00],[1),;(2211221>⎪⎩⎪⎨⎧+∈=θθθθθθθ其它x x f求参数1θ和2θ的矩估计.解 矩矩相应的替代，它是将含样本的某阶法估计是点估计的一种.ˆ,ˆ,,,21121估计量并将其作为未知参数的可以解出的方程，从此方程中就和样本估参数而可以得到一个包含待对应总体的某阶矩，从θθθθnx x在本例中，参数1θ和2θ并不是总体分布的矩，但它们与总体的原点矩、 中心矩有如下关系：21212211θθθθθθ+=⋅=⎰+dx x EX31222121222211θθθθθθθθ++=⋅=⎰+dx x EX12212)(2222θ=-=EX EX DX由此可解得：DX DX EX 32ˆ,3ˆ21=-=θθ， 我们以样本矩代替总体矩，即取2,S DX X EX ==，得到1θ和2θ的矩估计量为S S X 32ˆ,3ˆ21=-=θθ. 例4设总体X 的概率密度为⎪⎩⎪⎨⎧∈-=其它],[1),;(b a x ab b a x f求参数a 和b 的极大似然估计.解 本题的na b b a L )(1),(-=，)ln(ln a b n L --=，如再对a 和b 分别求偏导，不可能解出b a ,，所以这种方法不能用. 因此，转为按定义求出使似然函数L 达到最大值的a 和b .由于na b b a L )(1),(-=，故只要选取),,,min(ˆ21n x x x a= ),,,max(ˆ21nx x x b = 就能使),(b a L 在b aˆ,ˆ处达到最大值，它们就是a 和b 的极大似然估计 . 例5 设总体X 的概率密度为00],0[1);(>⎪⎩⎪⎨⎧∈=θθθθ其它x x f ，n X X ,,1 是来自总体X 的样本，令),,max(43ˆ3211X X X =θ，),,min(4ˆ3212X X X =θ为θ的估计，问哪一个较好？ 解 令),,max(321X X X =ξ，),,min(321X X X =η，则123ξ的分布函数为θθξ<<⎪⎭⎫⎝⎛==x x x F x F i X 0,)]([)(33，概率密度为 323)(θξx x f =；η的分布函数为θθη<<⎪⎭⎫⎝⎛--=x x x F 0,11)(3，概率密度为 213)(⎪⎭⎫⎝⎛-=θθηx x f则dx x x E E ⎰⋅==θθξθ032133434ˆθ=， dx xx E E ⎰-⋅==θθθηθ022)1(344ˆθ=，故1ˆθ和2ˆθ都是θ的无偏估计. 20322221111513)43(916)(916)ˆˆ(ˆθθθξξθθθθ=⋅-=-=-=⎰dx x x E E E E D22022222253)1(3)41(16)(16)ˆˆ(ˆθθθθηηθθθθ=-⋅-=-=-=⎰dx x x E E E E D 故知 21ˆˆθθD D <，即1ˆθ比2ˆθ有效. 例6*设总体0,),0(~>θθU X ，n X X X ,,21是来自X 的样本，在例1(1)中已经得到θ的两个估计X 2ˆ1=θ及),,max(ˆ12nX X =θ，试比较两者的无偏性与有效性.124解 (1)因为θθθ=⋅==22)2()ˆ(1X E E故1ˆθ是θ的无偏估计.为求),,max(1n X X 的数学期望，先求它的概率密度. 记),,max(1n X X Z =，)()]([)(1z f z F n z f X n X Z -= 于是 dx x n x X X E n n θθθ1)()],,[max(101-⎰⋅=θ1+=n n 可见),,max(1n X X 不是θ的无偏估计，但修正估计量),,max(11n X X nn +则是θ的无偏估计. (2) 22131124)2()ˆ(θθθnnX D D =⋅==. dx x n x X X E E n n θθθθ1)()],,[max()ˆ(1022122-⎰⋅== 22θ+=n n22222)2()1()1(2)ˆ(θθθθ++=+-+=n n nn n n n D 显见)ˆ()ˆ(12θθD D <，故2ˆθ比1ˆθ有效，而且随着n 的增大，2ˆθ比1ˆθ的优势会越来越明显.这是极大似然估计优于矩估计的有名例子.125例7*设总体X 服从Γ分布，0,0000)(1);(1>>⎪⎩⎪⎨⎧≤>Γ=--θθθθr x x e x r x f x r r，n X X X ,,21是来自X 的样本，若参数r 已知，θ未知，试证rX是θ的UMVUE .证 因为由矩法估计知θ=)(rXE ，所以它是θ的无偏估计. 0,ln ln )(ln );(ln 1>-+-Γ-=-x xx r r x f r θθθ2);(ln θθθθxr x f +-=∂∂则2223242222234222)(θθθθθθθθθθθr r r r r r rX X E I =+-+=⎥⎦⎤⎢⎣⎡+-= 因此R C -下界为rn 2θ，而rn nDX r r X D 221θ==⎪⎪⎭⎫ ⎝⎛ 所以rX是θ的UMVUE . 例8*设n X X ,,1 是独立同分布的随机变量，都服从几何分布10,2,1,0)1();(<<=-=θθθθ x x f x则∑==ni in XT 1是θ的充分统计量.证 由于n X X ,,1 的联合概率密度为,2,1,0)1(),,(11=∑-==i x n n x x x f ni iθθ126取=1k ∑-=ni ix n1)1(θθ，12=k ，则由奈曼因子分解定理知，∑==ni in XT 1是θ的充分统计量.1. 填空题(1) 设总体X 具有几何分布，分布列为,2,1,)1()(1=-==-k p p k X P k ，其中10<<p .n X X ,,1 是来自总体X 的样本， 则（1）p 的矩估计量是 ；（2）p 的极大似然估计量是 .(2) 设总体),0(~θU X ，n X X X ,,21是来自X 的样本，则θ的矩估计量为 ;θ的极大似然估计量为 .(3) 设n X X X ,,21是来自均匀分布)1()1,(>+θθθU 总体X 的样本，则未知参数θ的矩估计θˆ的方差=θˆD . (4) 设θθθ是，21ˆˆ的2个独立的无偏估计量，且假定)ˆ(2)ˆ(21θθD D =，令2211ˆˆˆθθθc c +=，若θθ为ˆ的无偏估计，又使)ˆ(θD 达到最小值，则=1c __ ____；=2c _______.2. 选择题(1)设的无偏估计为θθˆ，且0ˆlim =∞→θD n ，则θˆ1nn -（ ）. A. 是θ的无偏估计 ； B. 是θ的一致估计 ； C. 是θ的有效估计； D. 以上均不正确(2) 设总体μσμ),,(~2N X 已知，),,(21n X X X 是来自X 的样本，则2σ的有效估计量为（ ）.127A. 22)(ˆμσ-=X ； B. 212)(1ˆμσ-=∑=ni i X n ； C. 212)(11ˆX n n i i --=∑=σ ； D. 212)(1ˆX X n n i i -=∑=σ (3) 子样n X X ,,1 来自总体X ，2,σμ==DX EX ，则（ ）可以作为2σ的无偏估计. A. μ已知时，统计量∑=-ni in X12/)(μ； B. μ已知时，统计量)1/()(12--∑=ni in Xμ；C. μ未知时，统计量∑=-ni in X12/)(μ ； D. μ未知时，统计量)1/()(12--∑=ni in Xμ3．设总体X 的概率密度为⎩⎨⎧>=+-其它)()1(c x x c x f θθθ其中0>c 已知，1>θ未知，n X X ,,1 是来自总体X 的样本，试分别用矩法估计和极大似然估计求θ的估计量 .4．设总体X 的概率密度2132,00,03);(X X x x x f ，其它⎪⎩⎪⎨⎧<<<=θθθθ是来自总体X 的样本，试证： （1）),max(67),(32212211X X T X X T =+=都是θ 的无偏估计；128（2）在形为),max(21X X C T c =的估计中，78T 最有效5．若总体),0(~2σN X ，n X X ,,1 是来自总体X 的样本，令∑==n i i n 1221ˆξσ，证明：22ˆσσ是的一致估计 . 6. 设n X X ,,1 是独立同分布的随机变量，都服从参数为λ的普哇松分布，则∑==ni in XT 1是λ的充分统计量.自检题答案或提示1. 填空题 (1) X /1;X /1； (2) X 2;)(n X ； (3)n121； (4) 1/3；2/32. 选择题 (1) B ； (2) B; (3) A3. 矩估计cX X-=θˆ； 极大似然估计∑=-=ni iLcn Xn1ln ln ˆθ4.（1）因为θ=1ET ， θ=2ET 所以),max(67),(32212211X X T X X T =+=都是θ 的无偏估计 （2）196322θC DT C =最小78=⇒C5．因为∞→→==n nD E ,02ˆ,ˆ4222σσσσ所以22ˆσσ是的一致估计 .1296. n X X ,,1 的联合概率密度为,2,1,0!),,(111=∑=∏=-=i ni in x n x x e x x f ni iλλ取=1k λλn x e ni i-∑=1，112!-=⎪⎪⎭⎫ ⎝⎛=∏n i i x k ，则由奈曼因子分解定理知， ∑==ni i n X T 1是λ的充分统计量.。