概率论与数理统计讲义第七章 参数估计汇总

第七章 参数估计参数估计就是要从样本出发构造一些统计量作为总体某些参数（或数字特征）的估计量。

点估计就是构造统计量。

=Λj θ),(21n j X X X Λθ j=1,2,…n以Λjθ的值作为j θ的近似值。

对j θ进行估计，叫(点)估计量。

若样本值代入),(21njx x x Λθ称为jθ的估计值。

区间估计是根据样本构造出适当的区间，它以一定的概率包含未知参数。

§7.1 点估计（一）矩估计法 1.矩估计法的基本思想在总体的各阶矩存在的条件下，用样本的各阶矩去估计总体相应的各阶矩，又由于总体的分布类型已知，总体的各阶矩可表示为未知参数的已知函数，这样样本的各阶矩就与未知参数的已知函数联系起来，从而得到参数的各阶矩。

2.一般求法),()(21k l ll g X E m θθθ == l =1,2…k⇒),,(21k l m m m h =θl =1,2…k② 令∑=ΛΛ===n i l i l l l x n M X E m 11)(l =1,2…k③将Λl m 代入①中，),(21ΛΛΛΛ=k l lm m m h θl =1,2…k例 2 P159总体X~U[a,b],参数a,b 未知，求a,b 的矩估计。

例 3 P160以下为第一版例。

例7：总体X~U[0,b],参数b 未知，求b 的矩估计。

例8：总体),(~2σμN X ，2, σμ未知，已知n x x x 21, 是来自总体X 的样本值，求2, σμ的矩估计。

例9：总体的概率密度为⎪⎩⎪⎨⎧<>=--11)(22101),;(21θθθθθθθx x ex f x参数,02>θ+∞<<∞-1θ均未知，n x x x 21, 是来自总体的样本，求21θθ，的矩估计。

３.总体的数学期望与方差的矩估计 已知总体的二阶矩存在，n x x x 21, 是来自总体的样本值。

E(X),D(X)的矩估计是X X E=)(ˆ '221)(1)(M x x n X D ni i =-=∑=Λ注意： 此结论用于只要E(x)、D(x)存在的，不论分布是否已知的各类型总体的数字特征E(X)、D(X)的矩估计。

例：总体X~B(N,p)， 参数N 、0<p<1均未知，已知n x x x 21, 是来自总体的样本值，求N,p 的矩估计 。

(二) 最大似然估计法 1. 最大似然估计法的基本思想 例：设在一个口袋中装有许多白球和黑球，但不知是黑球多还是白球多，只知道两种球的数量之比为1:3就是说抽取到黑球的概率p 为41或43。

如果用有放回抽取的方法从口袋中抽取n=3个球，发现有一个是黑球，试判断p=?。

当 4=P 时，P （取的三个球中有一个黑球）=6427大。

选取参数 41=P 总体较合理。

故取p的估计值41ˆ=P 。

最大似然估计基本思想：根据样本的具体情况，选择参数p 的估计Λp ，使得该样本发生的概率最大。

2.最大似然估计的求法设总体),;(~21m x f X θθθ 的形式已知，参数j θ未知(j=1,2…m)，n x x x 21, 是来自总体的样本值。

记()mθθθθ,...,,21=，选择参数的估计ΛΛΛm θθθ 21,，使样本),...,,(21nX X X 取值),...,,(21nx x x 附近的概率,{1111x x X x P ∆+≤<,2222x x X x ∆+≤<…,},nnnnx x X x ∆+≤<{1P X ni i∏=独立},ii i i x x X x ∆+≤<=()ix x x in i dx x f ii i⎰∏∆+=θ,1=∏=ni mi x f 121;),(θθθ ∆ix 达到最大，等价使∏=ni mi x f 121;),(θθθ 达到最大。

称L=L(mn x x x θθθ 21;21,,)=∏=n i mi x f 121;),(θθθ 为样本值n x x x 21,的似然函数。

定义7.1如果似然函数L=L(mn x x x θθθ 21;21,,)在ΛΛΛmθθθ 21,达到最大值，则称ΛΛΛm θθθ 21,分别为m θθθ 21,的最大似然估计。

2.一般步骤(1).当似然函数可微且参数集合是开集的条件下：总体),;(~21m x f X θθθ ，),;(~21m i i x f X θθθi =1,2…nL=L(mn x x x θθθ 21;21,,)=∏=n i mi x f 121;),(θθθ取对数 ∑==ni L 1lnln ),;(21m i x f θθθ②m 1,2j 0⋯==∂∂i n Ll θ③由似然方程解出Λjθ=?.。

讨论Λjθ是最大值点，则它是j θ的最大似然估计。

例4 P162 ),1(~p B X ，求未知参数p 的最大似然估计。

例 5 P163 总体),(~2σμN X ，2, σμ未知, 已知n x x x 21, 是来自总体X 的样本值,求2,σμ的最大似然估计。

例 6 P165 总体X~U[a,b]，参数a,b 未知， 已知n x x x 21, 是来自总体的样本值，求b 的最大似然估计。

以下为第一版例。

例2：总体),(~λx F X =⎪⎩⎪⎨⎧<≥--01x x e x λ参数0>λ未知，n x x x 21, 是来自总体的样本值，求λ的最大似然估计。

例3：),1(~p B X ，求未知参数 p 的最大似然估计。

［见书P159，例7.1］ 总体X 是离散值，一定要写出X 的概率函数。

例4：一个罐子里装有黑球和白球，每次从中随机的有放回地抽取一个球，直到抽到黑球为止。

设停止抽球时所需抽取数是X ，这样独立重复的进行了n 次实验，获得样本nxx x 21,，试求罐子里黑球所占的比例中的最大似然估计。

例5：X 服从参数为 ,m 的威布尔分布，而),:(~ηm x f X =⎪⎩⎪⎨⎧≤>00x x m mηm>0,η>0且η,m 未知，n x x x 21, 是来自总体的样本值，求参数的最大似然估计。

(2)当似然函数L 不可数时，或似然函数无解，要用定义求参数的最大似然估计。

例6：总体X~U[0,b]，参数b 未知， 已知n x x x 21, 是来自总体的样本值，求b 的最大似然估计。

3.未知参数的已知函数的最大似然估计有如下规定：若),;(~21m x f X θθθ ，未知参数的已知函数为),;(21m x g θθθ ，ΛΛΛmθθθ 21,分别为mθθθ 21,的最大似然估计，则规定g(ΛΛΛmθθθ 21,)为g(mθθθ 21,)的最大似然估计。

例：P 180-习题7.5。

§7.2 估计量评选标准1.无偏性：定义：设Λθ(n x x x 21,)是θ的估计量，若E(Λθ)=θ，对一切Θ∈θ，则称Λθ为θ的无偏估计量，否则称为θ的有偏估计量。

其偏差度为n b = E(Λθ)－θ。

如果∞→n limE(Λθ)=θ，则称Λθ为θ的渐近无偏估计量。

书上定义是对g(θ)而言的： 定义：设未知参数的已知函数g(θ)的估计量为)...,(21n X X X ϕ,如果对一切Θ∈θ都有)()]...,([21θϕθg X X X E n ==则称Λθ为θ的无偏估计量。

例10：设总体有二阶矩，E(X)=μ,D(X)=2σ存在，nX X X ...,21是该总体的样本，证明-X 为μ的无偏估计，2s 为2σ的无偏估计，但'2M 不是2σ的无偏估计，是2σ的渐近无偏估计。

例11：总体X~U[a,b]，b>0，试问b的矩估计-Λ=X b 2是否是b 的无偏估计量。

注意:(1)若Λθ为θ的无偏估计，g(θ)为θ的已知函数，而g(Λθ)不一定是g(θ)的无偏估计。

(2)有时θ的有偏估计也可稍加修改为无偏估计。

例：设),(~2σμN X ，X 是μ的无偏估计，但2X 不是2μ的无偏估计，可修改为,222nsX -=Λμ它是2的无偏估计。

２.有效性定义:若Λ1θ和Λ2θ都为θ的无偏估计量。

若)()(21ΛΛ≤θθD D ，Θ∈∀θ 且至少对一个Θ∈0θ，有严格不等号成立，则称Λ1θ比Λ2θ有效。

例12：比较X =Λ1θ，∑==ni ii x 12ˆαθ,(11=∑=ni iα)。

估计μ=)(X E ，哪个有效。

定义：设1ϕ)...,(21n X X X 和2ϕ)...,(21n X X X 都是g(θ)的估计量，如果对一切Θ∈θ都有[θE 1ϕ)...,(21n X X X -g(θ)]≤2[θE 2ϕ)...,(21n X X X -g(θ)]2且存在Θ∈0θ，有严格不等号成立，则称1ϕ比2ϕ有效。

此定义为均方误差准则。

３.相合性（一致估计量）定义7.5：设g(θ)的估计量为)...,(21n X X X ϕ，如果对任意的ε>0,都有∞→n lim })(),({......21εθϕθ<-g X X X p n =1 则称ϕ为)(θg 的相合估计量。

§7.2 区间估计一.基本概念 设)...,(21nX X X A ,)...,(21n X X X B 是两个统计量，且满足B A ≤，则称[A,B]为一随机区间。

定义7.6：对于给定的正数)10(<<αα，如果对一切Θ∈θ都有αθ-=≤≤1)}...,()()...,({2121n n X X X B g X X X A P则称[A,B]为)(θg 的置信度为α-1的置信区间，称α-1为置信区间的置信度，称A 、B 分别为置信下限和置信上限。

常用的形式：αθ-=≤≤1)}...,()...,({2121n n X X X B X X X A P例：某旅游社为调查当地每一旅游者的平均消费额，随机访问了100名旅游者，得知平均消费额80=（元）。

根据经验，已知旅游者消费额服从正态分布()2,σμN ，且标准差12=σ（元），那麽该地旅游者平均消费额μ的置信度为95%的置信区间是什麽。

设旅游者消费额为X，且知()212,~μN X ，此题是求μ的置信区间的问题。

（1）找μ的较好点估计（最大似然估计或无偏估计），ΛμX =。

（2）为使，要选有关μ与X 的函数且知其分布。

当已知σ时，()1,0~/N nX u σμ-=，称u 为枢轴变量。

对给定的95.01=-α，使ασμα-=⎭⎬⎫⎩⎨⎧<-1/2u n X P（3）将不等式2/||ασμu nX <-等价变形nuX nuX σμσαα22+<<- 本例，计算6.772=-=nuX A σα4.822=+=nuX B σα得到，当地每位旅游者置信度为95%的平均消费额在[77.6元，82.4元]之间。