第3章 参数估计理论

第3章 参数估计理论

参数估计的基本方法：点估计，区间估计

点估计：以样本的某一函数值作为总体中未知参数的估计值。 区间估计：把总体中的参数确定在某一区间内。

第1节 点估计

点估计就是以样本的某一函数值作为总体中未知参数的估计值。 设θ是总体X 的待估参数，用样本12,,,n X X X 构造一个合适的统计量12(,,,)n T X X X 来估计参数θ，通常记为ˆθ，即

12ˆ=(,,,)n

T X X X θ ，称为参数θ的估计量。对样本的一组观测值12(,,,)n x x x ，统计量T 的值12ˆ=(,,,)n T x x x θ 称为参数θ的估计值。 点估计的问题就是要找一个作为待估参数θ的估计量

12(,,,)n T X X X 的问题。

点估计的方法：数字特征法（矩估计法）、极大似然估计法、Bayes 估计法、最小二乘法等等。

第2节 矩估计法

矩估计法由英国统计学家K.Person 在20世纪初提出，基本思想就是用样本矩去估计相应的总体矩。理论依据是大数定律。 例1 设总体X 服从参数为θ的指数分布，即

1

1,0

(,)0,0x e x f x x θ

θθ

-⎧>⎪=⎨⎪≤⎩

12,,,n X X X 为取自总体

X 的样本，求参数θ的矩估计量。

例2 设总体2

~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求

参数2,μσ的矩估计量。

例3 设总体2

~(0,)X N σ，12,,,n X X X 为取自总体X 的样本，求

参数2σ的矩估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的矩估计量。

ˆˆ=a X b X =+ 例5 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数

λ的矩估计量。

第3节 极大似然估计法

极大似然估计法最初由德国数学家C.F.Gauss 于1821年提出，英国统计学家R.A.Fisher 于1922年再次提出极大似然的思想，并探讨了它的性质。

假设总体~(4,)X B p ，其中参数p 未知，现抽取容量为3的样本123,,X X X ，如果样本观察值为1、2、1，我们来估计参数p 。 极大似然估计法的步骤：

● 对一组样本12,,,n X X X ，写出似然函数12(,,,)n L x x x ； ● 将似然函数12(,,,)n L x x x 取对数12ln (,,,)n L x x x ； ● 令

ln =0L θ

∂∂，求出ˆθ，即为θ的极大似然估计。 例1 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的极大似然估计量。

例2设总体~(,)X B m p ，12,,,n X X X 为取自总体X 的样本，求参数p 的极大似然估计量。

例3 设总体2

~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求

参数2,μσ的极大似然估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的极大似然估计量。

定理 1 设ˆθ是参数θ的极大似然估计，若()g τθ=存在唯一的反函

数，则ˆˆ()g τ

θ=是()g τθ=的极大似然估计。 例5 设总体

2~(,)X N μσ，2,μσ未知，12,,,n X X X 为取自总体X 的样本，求{1}P X >的极大似然估计。

第4节 Bayes 估计

Bayes 公式

1

()()(|)(|)()()(|)

i i i i n

i i i P A B P A P B A P A B P B P A P B A ===∑

例 对以往数据分析结果表明，当机器调整良好时，产品的合格品率为90%，而当机器发生故障时产品的合格品率为30%。每天早上机器开动时机器调整得良好的概率为75%。试求已知某日早上第一件产品是合格品时机器调整得良好的概率是多大？

解：设事件A 为“产品为合格品”，事件B 为“机器调整得良好”。则()0.75,()0.25,(|)0.9,(|)0.3P B P B P A B P A B ====

|0.750.9

(|)0.90||0.750.90.250.3

P B P A B P B A P B P A B P B P A B ⨯=

==+⨯+⨯（）（）（）（）（）（）

一、决策理论的基本概念

统计决策理论是著名统计学家A.Wald （1902-1950)在20世纪40年代建立起来的（Wald.A. Statistical decision function. New York ：John Wileysons , 1950.中译本：王福宝译，统计决策函数，上海教育出版社，1963）。统计决策理论与经典统计学的差别在于是否涉及后果。经典

统计学重在推断上，而不考虑用在何处以及效果如何，统计决策理论引入损失函数，用来度量效益的大小，评价统计推断结果的优劣。 Bayes 分析是英国学者T.Bayes （1702-1761）首先提出，在20世纪后半叶迅速发展，它与经典统计学的差别在于是否使用先验信息。 1、决策问题与决策空间

例 1 设甲乙两人进行一种游戏，甲手中有三张牌，分别标有

123θθθ、、，乙手中也有三张牌，分别标有123a a a 、、。游戏规则是双

方各自独立地出牌，按下表记甲的得分与乙的失分：

描述这类决策问题有三要素：

● 状态集={}θΘ：状态集表示自然界或社会所有可能状态的全体。也称为参数集或参数空间。如本例的123={}θθθΘ、、。 ● 行动集{}A a =：行动集表示决策者可能采取的行动的全体。也称为决策集或决策空间。如本例的123{}A a a a =、、

● 收益函数(,)Q a θ：收益函数表示自然界或社会处于状态θ时，决策者采取行动a 所获的收益。如本例的得分。当Θ和A 都是有限集时，(,)Q a θ成为收益矩阵。

（1）先验信息：人们在过去对自然界或社会的各种状态所获得的信息。