概率与数理统计,第七章

第一讲Ⅰ 授课题目第七章 参数估计§1点估计 §3估计量的评选标准 Ⅱ 教学目的与要求掌握求矩估计和极大最大似然估计的方法，掌握三种评选标准。

Ⅲ 教学重点与难点重点：估计的基本思想，评选标准的提出。

难点：估计的基本思想，评选标准的提出。

Ⅳ 讲授内容： 一、点估计在许多实际问题中,可以认为总体X分布的形式是已知的,它只依赖于一个或几个未知参数.如果能对分布中所含的参数作出推断,那么就可以确定总体分布.例如, 已知总体服从正态分布(),1Nμ,μ未知,我们的目的是通过样本提供的信息对未知参数μ作出估计,也就是借助于样本对总体作出推断,这类问题就是参数估计问题.例1 在某炸药制造厂，一天中发生着火现象的次数X 是一个随机变量，假设它服从以0λ>为参数的泊松分布，参数λ为未知，现有以下的样本值试估计参数λ着火次数k0 1 2 3 4 5 6 7≥发生k 次着火的天数k n75 90 54 22 6 2 1 0250=∑解略点估计问题的一般提法是:设总体X的分布函数();F x θ的形式为已知,θ是待估参数,12,,,n X X X 是X的一个样本,12,,,n x x x 是相应的一个样本值.设点估计问题就是要构造一个适当的统计量()12ˆ,,,n X X X θ,用它的观察值()12ˆ,,,n x x x θ作为未知参数θ的近似值，.我们称()12ˆ,,,n X X X θ为参数θ的估计量，称()12ˆ,,,n x x x θ为θ的估计值。

在不致混淆的情况下, 统称估计量与估计值为估计,简记为ˆθ.容易看出,对于不同的样本值来说,由同一个估计量得出的估计值一般是不相同的.在几何上一个数值是数轴上的一个点,用θ的估计值ˆθ作为θ的近似值就像用一个点来估计θ,故称为点估计.如果总体分布中含有k个未知参数1,,kθθ,则需要构造k个统计量()()11212ˆˆ,,,,,,,,n kn X X X X X X θθ分别作为1,,k θθ的估计量.例1（加） 设总体X 服从参数为λ的泊松分布, 0λ>为未知参数,现有以下样本值3,4,1,5,6,3,8,7,2,0,1,5,7,9,8试求未知参数λ的估计值.解:由于()E X λ=,自然地想到用样本均值11ni i X X n ==∑作为λ的估计量,利用样本值得()1341563872015798 4.615x =++++++++++++++=. 这样，我们获得了参数λ的估计量ˆX λ=与估计值ˆ 4.6x λ==. 在本例中，对于总体X的一个样本12,,,n X X X ，()1i X i n ≤≤亦可以作为λ的估计量；同样地，()1X 和()n X 都应该可作为λ的估计量.这样，对于同一个参数，可以有许多不同的点估计；在这些估计中，我们自然地希望挑选一个最“优”的点估计.因此，有必要建立评价估计量优劣的标准.下面介绍几个常用的标准：无偏性、有效性和一致性. 二、矩估计法许多总体的未知参数与总体矩之间存在着函数关系,如在泊松总体()P λ中,它的参数λ就是总体的一阶矩,又如在正态总体()2,XN μσ中(),E X μ=()()222E X E X σ=-⎡⎤⎣⎦.若总体矩存在,我们很自然地想到用样本矩来估计相应的总体矩,从而可以获得未知参数的估计量,这种方法称之为矩估计法.设12,,,n X X X 是总体X的一个样本,若X是连续型随机变量,则其概率密度函数为();f x θ;若X 是离散型随机变量,则其分布律为()();PX x P x θ==,()12,,,k θθθθ=,θ∈Θ.假设总体X 的前k 阶矩存在,记()ll E X μ=,11n ll ii A X n ==∑,()1,2,,l k =.由辛钦大数定律可知,lA 依概率收敛于l μ,即可以用样本矩替换同阶的总体矩,我们称之为替换原则.替换原则是矩估计法的思想实质,这种方法只需假设总体矩存在,无需知道总体的分布类型.由于l μ依赖于参数12,,,k θθθ,可设1112221212(,,,)(,,,),(,,,).k k k k k μμθθθμμθθθμμθθθ=⎧⎪=⎪⎨⎪⎪=⎩将此方程组的解记为1112221212(,,,),(,,,),(,,,).k k k k k θθμμμθθμμμθθμμμ=⎧⎪=⎪⎨⎪⎪=⎩用l A 替换lμ()1,2,,l k =,得到1112221212ˆ(,,,),ˆ(,,,),ˆ(,,,).k k k k k A A A A A A A A A θθθθθθ⎧=⎪=⎪⎨⎪⎪=⎩并把它们分别作为参数12,,,k θθθ的估计量,称之为矩估计量, 矩估计量的观测值称为矩估计值.例2 设总体X 在[],a b 上服从均匀分布，,a b 未知，12,,,n X X X 是是来自X的样本，试求,a b 的矩估计量. 解略例2.1（加） 设总体X的概率密度函数为()()101,;0x x f x θθθ⎧+<<=⎨⎩,,其他. 1,θ>-求参数θ的矩估计量.解: ()()111011d 2E X x x θθμθθ++==+=+⎰,解得 11211μθμ-=-,因此, θ的矩估计量为 21ˆ1X Xθ-=-.如果我们获得一组样本观测值,其样本均值为0.65x=,则参数θ的矩估计值为20.651ˆ0.8610.65θ⨯-==-.例 3 设总体X 的均值μ及方差2σ都存在,且有20σ>,但μ，2σ均为未知，又设12,,,n X X X 是是来自X的样本,试求μ，2σ的矩估计量.解:注意到()()()22EX D X E X =+⎡⎤⎣⎦,由方程组()()12222,.E X E X μμμσμ==⎧⎪⎨==+⎪⎩ 解得1μμ=,2221σμμ=-.因此,μ和2σ的矩估计量分别为1ˆA X μ==， 22222211111()n n i i i i A A X X X X n n σ===-=-=-∑∑.此例表明, 总体X均值和方差的矩估计量分别是样本均值与样本的二阶中心矩,而不依赖总体X的分布.三、最大似然估计由于矩估计法只需假设总体矩存在,没有充分利用总体分布提供的信息,为获得更理想的估计,需要引入最大似然估计法,它的一个直观想法是某个随机试验有若干个结果,,A B C 等,如果在一次试验中,出现结果A ,则认为事件A 发生的概率是最大的.例如,一只袋子里有黑白两种外形相同的球,这两种球的数量不详,只知道它们占总数的比例:一种球为10%,另一种球占90%.今从中任抽取一只球,取得白球,一种比较合理的想法是认为袋子里白球的数量较多, 占总数的90%，这就是最大似然估计法的基本思想.我们通过下面的例子说明最大似然估计法的原理.某工厂加工一批产品,现需要估计其不合格品率p,今从中抽取一个容量为n 的样本值12,,,n x x x ,令1,0,i i X i ⎧=⎨⎩第次取到次品第次取到正品1,2,,i n =,总体X的分布律为()()1;1,0,1xx p x p p p x -=-=.取得样本获得观测值的概率为{}()()()1111111122,,,111==---====--∑∑=-nn nniii i x x x x n n x n x P X x X x X x p p p p p p ,()0,11,2,,i x i n ==.显然{}1122,,,n n P X x X x X x ===是p 的函数,记为()L p ,即()()111nni i i i x n xL p p p ==-∑∑=-.由于在一次取样中,样本值12,,,n x x x 出现,我们认为概率()L p 是最大的,选取使得()L p 达到最大的ˆp作为参数p 的一个估计值,即()(){}ˆmax p L p L p ∈Θ=.由微积分中求极大点的方法, p 可从方程()d 0d L p p=求出,又由于ln x 是x 的单调增函数,()ln L p 与()L p 在同一个p 处取极大值,p 也可从方程()d ln L p 0dp=求出,()()()11ln ln ln 1nni i i i L p x p n x p ===⋅+--∑∑，()11d ln 0d 1nniii i x n x L p ppp==-=-=-∑∑，解得: 1ˆnii xpn==∑.容易验证, 1ˆn ii xpn==∑能使得()Lp 达到最大,称之为参数p 的最大似然估计值,其对应的统计量称为参数p 的最大似然估计量.下面我们讨论最大似然估计法.设12,,,n X X X 是取自总体X 的一个样本, 12,,,n x x x 为样本值.如果总体X 是离散型的,其分布律为();p x θ,θ为未知参数,θ∈Θ. 样本12,,,n X X X 的联合分布律为{}()11221,,,;nn n i i P X x X x X x p x θ=====∏,容易看出,当样本值12,,,nx x x 固定时上式是参数θ的函数,当θ取固定值时,上式是事件{}1122,,,n n X x X x X x ===发生的概率,记()()()121;,,,;nn i i L L x x x p x θθθ===∏ ， (2.1)并称()Lθ为样本的似然函数.若样本值12,,,n x x x 的函数()12ˆˆ,,,n x x x θθ=∈Θ满足()(){}ˆmax LL θθθ∈Θ=， (2.2)则称()12ˆˆ,,,n x x x θθ=为θ的最大似然估计值,其相应的统计量()12ˆ,,,n X X X θ称为θ的最大似然估计量.如果总体X是连续型的,X的概率密度为();f x θ,θ为未知参数,θ∈Θ.随机点12(,,,)n X X X 落在点12(,,,)n x x x 的边长为12,,,nx x x ∆∆∆的邻域内的概率近似为()1;ni i i f x x θ=∆∏.我们寻找使()1;ni i i f x x θ=∆∏达到最大的()12ˆˆ,,,n x x x θθ=,但1nii x =∆∏与它无关,故可取样本的似然函数为()()()121;,,,;nn i i L L x x x f x θθθ===∏. (2.3)类似地, 若样本值12,,,n x x x 的函数()12ˆˆ,,,n x x x θθ=∈Θ满足()(){}ˆmax LL θθθ∈Θ=则称()12ˆˆ,,,n x x x θθ=为θ的最大似然估计值,其相应的统计量()12ˆ,,,n X X X θ称为θ的最大似然估计量.获得样本的似然函数后,为求出未知参数θ的最大似然估计量,可以利用微积分中求函数极值的方法.假设();f x θ或();p x θ关于θ可微,由下面的似然方程()d 0d L θθ=， 或对数似然方程()d ln 0d L θθ=，可求出最大似然估计θ. 例4 设()1,,Xb p 12,,,n X X X 是来自X的一个样本。