概率论与数理统计第18讲-9.18

概率论与数理统计第18讲-9.18

概率论与数理统计第18讲（夜大）

第五章 参 数 估 计

第一节 点估计

参数估计问题是利用对总体的抽样得到的信息来估计总体的某些参数或者参数的某个函数，如师大学生的身高问题，可以认为服从正态分布，通过参数估计，可以得到均值和方差。 在参数估计问题中，我们总是假定总体具有已知的分布形式，未知的仅仅是一个或几个参数。而总体的真分布完全由这些参数所决定，因此通过估计参数就可以估计总体的真分布。

点估计问题的一般提法如下：设总体X 的分布函数()θ,x F 的形式为已知，θ是待估计参数。n X X ,,1Λ是X 的一个样本，n

x x ,,1Λ是相应的一个样本值。点估计问题就是要构造一个适当的统计量()n

X X ,,ˆ1Λθ，用它的观察值()n x x ,,ˆ1Λθ作为未知参数θ的近似值。我们称()n X X ,,ˆ1Λθ为θ的估计量，()n x x ,,ˆ1Λθ为θ的估计值。在不致混淆的情况下统称估计量和估计值为估计。并都简记为θˆ。由于估计量是样本的函数，因此对于不同的样本值，θ的估计值一般是不相同的。

下面介绍两种常用的构造估计量的方法：矩

以i A 分别代替上式中的i μ，k i ,,1Λ=，就以()k

i i A A ,,ˆ1Λθθ=k i ,,1Λ=分别作为i θ，k i ,,1Λ=的估计量，这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。

例1 设总体X 的均值μ，方差02>σ

都存在且未知，n X X ,,1Λ是来自X 的一个样本，试求μ，2σ的

矩估计量。

解： ()⎩⎨⎧+=+====22222

1μσμμμEX DX EX EX 解得 ⎩⎨⎧-==21221μμσμμ 分别以21,A A 代替21,μμ，得到μ，2σ的矩估计量分别

为

X A ==1ˆμ，

()∑∑==-=-=-=n i i n i i X X n X X n A A 12

212212211ˆσ 结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而不同。

二、最大似然估计法

若总体X 属于离散型，其分布律{}()Θ∈==θθ,;x p x X P 的形式已知，θ为待估参数，Θ是θ

可能的取值范围。设n X X ,,1Λ是来自X 的样本，则

n X X ,,1Λ的联合分布律为：()∏=n

i i x p 1

;θ。又设n x x ,,1Λ是相

应于n X X ,,1Λ的一个样本值。容易知道样本n X X ,,1Λ取到观察值n x x ,,1Λ的概率，即事件{}n n x X x X ==,,11Λ发生

的概率为 ()()()Θ

∈==∏=θθθθ,;,,,11n

i i n x p x x L L Λ 这一概率随θ的取值而变化，它是θ的函数，()θL 称为样本的似然函数（注意这里n

x x ,,1Λ是已知的样本值，它们都是常数）。

关于最大似然估计法，我们有以下想法：现在已经取到样本值n

x x ,,1Λ了，这表明取到这一样本值的概率()θL 比较大。我们当然不会考虑那些不能使样本n

x x ,,1Λ出现的Θ∈θ作为θ的估计值，再者，如果已知当Θ∈=0θθ时使()θL 取很大值，而Θ中

其它的θ值使()θL 取很小值，我们自然认为取0θ作

为参数θ的估计值，较为合理。由费舍引进的最大似然估计法，就是固定样本观察值n

x x ,,1Λ，在θ取值范围Θ内挑选使似然函数()θL 达到最大的参数值

θˆ，作为θ的估计值，即取θˆ使：()()θθθ,,,max ˆ,,,11n n

x x L x x L ΛΛΘ∈= 这样得到的θˆ与样本值n x x ,,1Λ有关，常记为()n x x ,,ˆ1Λθ，称为参数θ的最大似然估计值，而相应的统计量()n

X X ,,ˆ1Λθ称为参数θ的最大似然估计量。

若总体X 为连续型，概率密度为()Θ∈θθ;x f 的形式已知，θ为待估参数，Θ是θ的取值范围。设n X X ,,1Λ是来自X 的样本，则n

X X ,,1Λ的联合概率密度为：()∏=n

i i

x f 1;θ 又设n x x ,,1Λ是相应于n

X X ,,1Λ的一个样本值。则随机点（n X X ,,1Λ）落在（n

x x ,,1Λ）的邻域（边长分别为n dx dx ,,1Λ的n 维立方体）内的概率近似为：()i

n

i i dx x f ∏=1;θ。其值随θ的取值而变化。与离散型情况一样，我们取θ的估计值θˆ使概率取到最大值，但考虑到∏=n i i

dx 1不随θ而变，故只需要考虑函数：

()()()

∏===n

i i n x f x x L L 11;,,,θθθΛ，的最大值。这里()θL 称为样

本的似然函数。若： ()()θθθ,,,max ˆ,,,11n

n x x L x x L ΛΛΘ∈=，则称()n

x x ,,ˆ1Λθ为参数θ的最大似然估计值，而相应的统计量()n

X X ,,ˆ1Λθ为参数θ的最大似然估计量。 这样，确定最大似然估计量的问题就归结为求最大值的问题了。

在很多情况下，()θ;x p 和()θ;x f 关于θ可微，这时θ常可从方程()0=θθL d d 解得。由因为()θL 与()θL ln 在同一θ处取到极值，因此，θ的最大似然估计θˆ也可

以从方程()0ln =θθL d d 求得，而后一方程求解往往比较方便。这个方程称为对数似然方程。

最大似然估计法也适用于分布含有多个未知参数k

θθ,,1Λ的情况。这时，似然函数L 是这些未知参数的函数。分别令k

i L d d i ,,1,0ln Λ==θ，解方程

组就可以得到各个未知参数的最大似然估计值。这样的方程称为对数似然方程组。

例3 为了估计湖中有多少条鱼，特从湖中捕出1000条鱼，标上记号后又放回湖中，然后在捕150条鱼，发现其中有10条鱼带有记号， 在湖中有多少条鱼，才能使150条鱼中出现10条带有记号的鱼的概率最大？

第二节 估计量的评选标准

从前面的分析可以看出，对于同一参数，用

不同的估计方法求出的估计量可能不相同，此外，原则上任何统计量都可以作为未知参数的估计量。这就产生了问题，采用什么标准来评价估计量的问题。

（1）无偏性 设n

X X ,,1Λ是总体X 的一个样本。Θ∈θ是包含在总体X 的分布中的待估计参数。

定义：无偏性。若估计量()n X X ,,ˆ1Λθ的数学期