第2章估计理论
信号检测与估计理论(复习题解)-精选文档
a ba 0 图 2. 1 (b)
ab y
2 b y x
2 2 y 4 x
第2章 信号检测与估计理论的基础知识 例题解答
例 2 . 3 设连续随机信号 x ( t ) a cos( t ), 其振幅 a 和频率 已知 相位 在 [ , ) 范围内均匀分布。分析 该信号的广义平稳 并求其自 差函数 。 解 ： 分析该信号是否满足广 义平稳的条件。 信号的均值 ( t ) E a cos( t ) a cos( t ) p ( ) d x
2 1 ( y b ) / 2 1 x p ( y ) exp 2 2 2 2 2 x x 1 2
2 1 y ( 2 b ) x exp 2 2 8 8 x x 1 2
二. 离散随机信号矢量
1. 概率密度函数描述 。 2. 统计平均量：均值矢量 , 协方差, 协方差矩阵。 3. 各分量之间的互不相关 性和相互统计独立性及 关系。 4. 高斯离散随机信号矢量 的概率密度函数及特 点： x ~ N ( μ , C ), 互不相关等价于相互统 计独立 , 独立同分布 x x
E ( x b ) b
y
2 y
2 2 22 E ( y b ) E ( x b b ) E ( x 0 ) a / 6
第2章 信号检测与估计理论的基础知识 例题解答
当 a b 2 a 时, p ( y ) 的函数曲线如图 2 . 1 (b)所示 。 p ( x) p( y ) 1/ a 1/ a
第 1章
信号检测与估计概论
第2讲估计理论基础
第二讲：估计理论基础§2.1 基本经典估计问题有一组观察数据)}1(),1(),0({-N x x x , 估计一个未知的确定性参数θ, 估计器记为: ))1(),1(),0((ˆ-=N x x x g θ.a. θˆ是一个随机变量。
b. 估计器设计依赖于观察数据的概率密度函数(PDF)的假设。
例1：)()(n W A n x +=, n=0,1,2,…N -1)(n W 是零均值白噪声，估计A ，一个直观的估计器为：∑-==1)(1ˆN n n x NAa. 这个估计器怎样接近于真实值A.b. 有没有更好的估计器，怎样设计好的估计器？·无偏估计若估计器满足: θθ=)ˆ(E 则称为无偏估计, 上例∑-==1)(1ˆH n n x NA是无偏的。
·有偏估计对于不满足无偏估计的估计器, 定义:θθθ-=)ˆ()(E b 为估计的偏。
·最小方差准则])ˆ[()ˆ(2θθθ-=E mse)()ˆvar(2θθb +=在假设待估计量是确定性变量时, 在很多情况下，最小方差估计是不可实现 例2：假设在例1的问题中,有一个更好的估计器为:∑-=⋅=1)(1ˆN n n x Na A确定a 值, 使该估计器是最小方差估计, 容易求得 A a Na mse 222)1()ˆ(-+=σθ令0)ˆ(=σθd dmse得 NA A a 222σ+=估计器表达式中，包含要估计的值，因此该估计器是不可实现。
·最小方差无偏估计器（MVU ）设计一个无偏估计器，令估计方差)ˆvar(θ最小§2.1 Cramer-Rao 下界对于一个最小方差无偏估计器（MVU ）, 如下定理确定了它的最好估计性能. 定理一：假设PDF );(θx p 满足规则性条件：0);(ln =⎥⎦⎤⎢⎣⎡∂∂θθx p E 对所有θ这里期望是针对);(θx p 取的，则任意无偏估计器的方差满足：⎥⎦⎤⎢⎣⎡∂∂-≥2x θθθ);(ln 1)ˆvar(2p E这里导数是在θ的真实值处取值的，期望相对于);(θx p 取得。
第二章经典估计理论(MVU和BLUE).
与A有关
不可实现
经典估计理论——内容安排
主要内容 引言 最小方差无偏估计（MVU） Cramer-Rao下限
线性模型
最佳线性无偏估计（BLUE）
最小方差无偏估计
前后观测五次 温度值如下： 第一次观测：38.0 第二次观测：37.9 第三次观测：38.1
1 ˆ A N
x[n]
n 0
N 1
对于所有的
其中数学期望是对 p ( x; ) 求取的。那么，任何无偏估计量的方 差必定满足
ˆ) var(
1 2 ln p ( x; ) E 2
1
或
ˆ) var(
ln p ( x; ) 2 （参见附录3A） E
目标：已知 x(t ) S (t; f0 , 0 ) w(t ) ， 寻求某种意义上的最佳估计
估计的数学问题
已知观测数据
未知参量
X x[0] x[1] x[ N 1]
1 2 p
如何得到估计问题的统计信息？ 需要数据的N维pdf，与θ有关
ˆ g ( X ) g ( x[0], x[1], x[2]L x[ N 1]) 求
求最小方差无偏估计量
几种可能的求解方法：
确定CRLB并检查是否有估计量满足该条件（3、4章）。
限定估计量为线性的，然后寻找最小方差无偏估计（6 章）。
经典估计理论——内容安排
主要内容 引言 最小方差无偏估计（MVU） Cramer-Rao下限
线性模型
最佳线性无偏估计（BLUE）
例：均匀噪声的均值
估计量 无偏
最小方差准则
均方误差准则（mean square error，MSE）——一个很自然的准则
第二章参数估计理论_1
ˆ2 可以证明 σ x 也为渐进一致估计
例 2.1.2 复 随 机 信 号 x ( n )的 自 相 关 函 数 的 两 种 估 计 子 （ 0 ≤ τ ≤ N − 1） 1 N −τ * ∑ x (n) x(n + τ ) N − τ n =1 N −τ ˆ (τ ) = 1 ∑ x ( n ) * x ( n + τ ) R2 N n =1 N −τ 1 ˆ E { R 1 (τ ) } = E { ∑1 x * ( n ) x ( n + τ )} N − τ n= ˆ R1 (τ ) =
若样本长度 N → ∞ 时 ，偏差 b (θˆ ) → 0, 即 lim E {θˆ } = θ
N →∞ N
θˆN 为由 N 个样本得到的估计子。则称估计子 θˆ渐近无偏。
•无偏一定渐近无偏，渐近无偏不一定无偏。 •无偏估计是否一定就“好”？ 不一定！
无偏估计子的方差定义为： var(θˆ ) = E {[(θˆ − E (θˆ )]2 } = E {(θˆ − θ ) 2 }
定 义2.2.2
品 质 函 数 V 的 方 差 称 为 F irsher信 息 ， 即
2 ⎧ ⎫ ⎧ ∂2 ⎫ ⎪⎡ ∂ ⎤ ⎪ J (θ ) = E ⎨ ⎢ ln f ( x θ ) ⎥ ⎬ = − E ⎨ 2 ln f ( x θ ) ⎬ ⎦ ⎪ ⎩ ∂θ ⎭ ⎪ ⎣ ∂θ ⎩ ⎭
当 考 虑 N 个 样 本 x1 ,..., x N 时 ， 常 用 随 机 向 量 x = ( x1 ,..., x N )。 此时，联合条件分布密度函数记为
{
}
式中等号成立的充分必要条件是 ∂ ln f ( x θ )＝ K (θ )(θˆ − θ ) ∂θ 其 中 K (θ )是 θ 的 某 个 正 函 数 ， 并 与 样 本 x1 ,..., x N 无 关 。
第2章估计理论_19270654
N 1
E ( ) C C ( x E ( x ))
T x 1 xx
a R r ˆ T 1 rx Rxx x 2 T 1 ˆ Bmse ( ) r R r x xx x
1 xx x
· 这组关系式可以直接联系到Wiener滤波问题 · 线性Bayesian估计与高斯分布下的Bayesian估计
例
p( A | x )
p( x | A) p
1
p ( x | A) p A ( A)
A
( A)dA
1 N 1 1 A2 / 2 2 exp ( x(n) A) e N 2 n0 2 2 (2 ) 1 N 1 1 1 A2 / 2 2 exp ( x(n) A) e dA N 2 n 0 2 2 (2 ) 1 ( N 1)1 / 2 NX 2 exp ( N 1)( A ) 1/ 2 (2 ) N 1 2
( x(n) A)
N 1 n 0
0
ˆ ˆ A , 2
ln p ( x, ) N 1 2 2 2 2 4
2 ( x ( n ) A )
0
2 ˆ ˆ A ,
1 N 1 ˆ N x(n) x A ˆ N n10 θ 2 1 ˆ 2 N ( x ( n) x ) n 0
因此
N 1 N X 1 ˆ E ( | x ) p ( | x ) d A x( n) N 1 N 1 n 0
随机参数估计的Cramer－Rao界
b( ) 1 ˆ Var 2 ln p ( x ) 2 ln p ( ) E 2 2
第二章经典检测和估计理论BPPT课件
a|r A|R
aˆabs (R) 是对后验概率P( A | R) 的中值估计
6
经典检测和估计理论
3、均匀代价函数：
unf
dRpr
R 1
p aˆunf R / 2
aˆunf R / 2 a|r
A | R dA
可以看出，aˆ 应选在 pa|r A | R 最大值时，满足：
MAP方程： ln pa|r A | R
11
经典检测和估计理论
取对数后：
ln pa|r A | R ln pr|a R | A ln pa A ln pr R
定义 lA ln pr|a R | A ln pa A
对A取导数： lA
ln pr|a R | A
ln pa A
0
A AaˆR
A
AaˆR
A
AaˆR
由于没有先验概率可利用，只取第一项：
n
pr R
1
2 a
exp
1 2
N i 1
Ri
2 n
A2
A2
2 a
考虑到 pa|r A | R 是对任意R下，a的条件概率密度
pa|r
A
|
RdA
1
2 p
1
2 a
N
2 n
1
a2
2 n
N
2 a
2 n
整理得
pa|r
A
|
R
k
R
exp
1
2
2 p
A
2 a
2 a
2 n
/
N
1 N
1
aˆ R
A2
pr|a
R
|
AdR
信号检测与估计理论 (复习题解)
例题解答
其中, 观测噪声 n服从对称三角分布, 如图3.1(a )所示。 若似然比检测门限 1, 求最佳判决式, 图示判决域, 计算P( H1 | H 0 )。 解：信号模型如图 3.1(b)所示。
p ( n)
1/ 2
p( x | H 0 )
1/ 2
p( x | H1 ) R1
2
0
图3.1(a )
第2章 信号检测与估计理论的基础知识 内容提要
三. 离散随机信号的函数
1. 一维雅可比变换, 特别是简单线性函数时 的变换。 2. N维雅可比变换。
四. 连续随机信号
1. 任意tk时刻采样所得样本 x(tk ) ( xk；tk )(k 1,2,, N )的概率密度 函数描述。 2. 统计平均量：均值, 均方值, 方差, 自相关函数, 协方差函数及关系。 3.平稳性：分类, 定义；重点是广义平稳 随机信号 ： x ,rx( )。 4. 连续随机信号的互不相 关性和相互统计独立性 及关系。 5. 平稳连续随机信号的功 率谱密度 ：
信号检测与估计理论
内容提要 例题解答
第 1章
信号检测与估计概论
内容提要
信号的随机性及其统计 处理方法 。
第 1章
略
信号检测与估计概论
例题解答
第2章 信号检测与估计理论的基础知识 内容提要
一. 离散随机信号
1. 概率密度函数 p( x)及特性： 非负, 全域积分等于1, 落入[a,b]间的概率 。 2. 统计平均量：均值, 方差。 3. 高斯离散随机信号的概 率密度函数及特 点：x ~ N( x , x2 )。
a cos(t )d 0 2 信号的自相关函数rx (t j , tk ) Ea cos(t j )a cos(tk )
点估计理论 第二章
第二章 无偏性2.1 UMVU 估计在1.1节中已经指出，具有一直最小风险的估计一般都是不存在的，克服这个困难的一般方法就是把我们的考虑范围限制在那些具有某种“公平”性质的估计。
作为第一个这样的限制，我们将在这一章研究无偏性（umbiasedness ）。
定义1.1 ()g θ的一个估计(X)δ称为无偏的，如果它满足下列条件[(X)](),E g θδθθ=∈Ω对任意的都成立 （1.1） 当重复使用时，无偏估计可视为在平均意义下估计了正确值。
这是一个十分诱人的性质，但无偏性的考虑也导致一些问题。
首先一点是，g 的无偏估计可能不存在。
例1.2 无偏估计不存在。
设X 遵循二项分布b(p,n)，并假设(p)1/p g =，估计δ的无偏估性要求满足0(k)(p),0p 1n k n k k n p q g k δ-=⎛⎫=<< ⎪⎝⎭∑对所有的成立 （1.2）不难看出，满足上式的δ是不存在的。
例如，随着0p →，上式左端趋于(0)δ，而右端趋于∞，但是，1/p 的令人满意的估计是存在的，它（对不是太小的n ）可以以较大的概率接近1/p如果存在g 的一个无偏估计，那么待估计量g 称为U-可估（U-estimable ）。
（一些作者称这样的估计是“可估的”，但是这样会产生一个错觉，似乎任何不具有这个性质的g 都不能被准确的估计。
）即使在g 是U-可估的情况下，也不能保证它的无偏估计是令人满意的。
在某些场合下，人们或许更乐于采用具有一些偏差的估计，另一方面，大的偏倚通常是为估计的缺陷，现在有人得到了缩小估计的偏倚的方法。
例1.3 刀切法 Quenouille(1949,1956)提出了一个缩小偏倚的方法。
Tukey(1958)称之为刀切法。
设T(x)是参数()τθ的依赖于1(x ,,x )n x =的估计，T(x)满足条件1[T(X)]()()E nτθ=+O ,定义(i)x -表示从样本中删去i x 得到的向量。
估计理论
ln f ( z | ) ln f ( ) ＋ 0 ˆmap
若先验概率密度函数 f ( ) 未知，则由左边第一项求解
ˆ 参量，即最大似然估计，用 mL 表示。最大似然方程为：
ln f ( z | ) 0 ˆ mL
z A0 A0 z A0 z A0
ˆ z 1 Aml N
z
i 1
N
i
ˆ E ( Amap ) A
1 N ˆ E ( Aml ) E zi A N i 1
ˆ ˆ Mse( Aml ) Mse( Amap )
2、克拉美－罗限(Cramer-Rao Low bound)
例1设观测为 z
0
( z A)2 1 f ( z | A) exp 2 2v 2v
f ( z | A) f ( A) f ( A | z) f ( z)
f ( z | A) f ( A) ˆ Ams Af ( A | z )dA A dA f ( z)
ln f (z | )
ln f (z | )
ˆ ml
0
ˆ ˆ ˆ ( ml )k (ml ) 0
ˆ ml
例2、高斯白噪声中的DC电平。DC电平的最大似然估计的方
差是否达到CRLB？它的估计方差是多少？
ˆ z 1 Aml N
z
i 1
N
2、克拉美－罗限(Cramer-Rao Low bound)
=[A 2]T
z ˆ ˆ Aml 1 N θml 2 2 ˆ ( zi z ) N i 1
1、估计量的性能标准
第2章 资产评估基础理论
2.2.4
清算假设
清算假设是对资产拟进入的市场条件 的一种假定说明或限定。具体而言, 的一种假定说明或限定。具体而言,是对资 产在非公开市场条件下被迫出售或快速变 现条件的假定说明。 现条件的假定说明。
2.2.5 假设在 资产评估中的作用
2.2.6 资产的效用与 评估及其假设
1)资产效用是资产具有市场价值的基础 2)资产的效用与资产的使用方式 3)资产的效用与资产的作用空间 资产的作用方式, 4)资产的作用方式,作用空间与资产评估 的特定目的和资产评估前提假设的关系 从上述分析中可以发现,被评估资产的作 从上述分析中可以发现, 用方式和作用空间并不可以由评估人员随意 设定。 设定 。 它是由资产评估的特定目的和评估范 围基本限定的。 围基本限定的。
2.3.2 关于资产 评估中的市场价值与 非市场价值 市场价值以外的价值) (市场价值以外的价值)
在国际评估准则中, 在国际评估准则中 , 市场价值定义如 下：“自愿买方与自愿卖方在评估基准日 进行正常的市场营销之后, 进行正常的市场营销之后 , 所达成的公平 交易中某项资产应当进行交易的价值的估 计数额,当事人双方应当各自精明、 计数额 , 当事人双方应当各自精明 、 谨慎 行事,不受任何强迫压制。 行事,不受任何强迫压制。”
持续使用假设也是对资产拟进入的市 场的条件， 场的条件，以及在这样的市场条件下的资产 状态的一种假定性描述或说明。 状态的一种假定性描述或说明。 首先设定被评估资产正处于使用状态, 首先 设定被评估资产正处于使用状态, 设定被评估资产正处于使用状态 包括正在使用中的资产和备用的资产； 包括正在使用中的资产和备用的资产； 其次根据有关数据和信息 ， 其次 根据有关数据和信息， 推断这些 根据有关数据和信息 处于使用状态的资产还将继续使用下去。 处于使用状态的资产还将继续使用下去。
第二章参数估计理论_3
ˆ 估计准则为使均方误差E{(θ − θ ) 2 }最小。即 ˆ arg min E{(θ − θ ) } = E{(∑ wi xi − θ ) 2 }＝E{e 2 }
2 wi i =1 N
求偏导数
∂E{e 2 } ∂e 2 ∂e = E{ } = 2 E{e } = 2 E{exi } = 0 ∂wi ∂wi ∂wi i = 1,..., N
物理含义：在上述观测模型中，误差向量e各分量间不相关 并且具有相同的方差时，最小二乘估计才是无偏的和具有最 小方差的估计。
且系数矩阵列满秩时
最小二乘（LS）估计
加权最小二乘估计（为了克服误差分量具有相关性或方差不同问题）
ˆ 目标:使损失函数Q(θ )=e H We最小 ˆ ˆ θˆ = arg min e H We = e H e = ( Aθ − b) H W (Aθ − b)
最小二乘（LS）估计 如何求加权矩阵W?
假设误差向量的自协方差 cov(e ) = σ 2V ,V 是一个已知正定矩阵。 由于V 正定 ⇒ V = PP H , 其中P非奇异。 用P -1左乘观测模型b = Aθ + e得
P -1b = P -1 Aθ + P -1e
⇒ x = Bθ + ε 其中x = P -1b, B = P -1 A, ε = P -1e 而 cov(ε ) = cov( P -1e ) = σ 2 I 即新的误差向量ε = P -1e各分量间不相关，且具有相同方差。 ˆ ∴ θ = ( B H B )-1 B H x
第二章 参数估计理论 (3) 线性均方估计（LMMSE） 最小二乘估计（LS）
2.5 线性均方估计
贝叶斯估计需要知道待估计量的PDF或者后验分布函数f(θ|x) 最大似然估计会导致非线性问题的求解。
二章节参数估计理论
^
^
Var( N ) b2 ( N )
^
^
^
^
无偏估计的评价：若Var( 1) Var( 2 ), 则称 1比 2 好
^
^
^
^
有偏估计的评价：若M 2 ( 1) M 2 ( 2 ), 则称 1 优于 2
注 : 比较估计子性能时，用均方误差比只用方差或偏差更合理
2.Fisher信息与Cramer-Rao下界
wk
E
N n1
wn xn
2
2E
N n1
wn xn
xk
0
N
N
wi E{xi xk } E{ xk }
wi Rik gk
i 1
i 1
R
Rik
N,N i,k
w w1, , wN T
g g1,
, gN T
Rw = g w = R1g
5.线性均方估计(续)
正交性原理
x*
情况1：AH A可逆，xˆ LS (AH A)－1 AH b 称x是唯一可辨识的，可辨识性(identificability)
情况2：AH A奇异，称x是不可辨识的
6.最小二乘估计(续)
Gaussian-Markov定理
若误差向量e Ax b的每个元素都具有零均值和相同的方差， 则最小二乘估计一定是最优估计（方差最小）
E
N n1
wn xn
xk
0
即E exk 0
估计误差与已知数据正交
k 1, , N
线性均方估计是典型的Bayes估计
代价函数
N n1
xn wn
2
（二次型损失函数）
风险函数E
N n1
《估计理论》课件
本演示文稿介绍《估计理论》的核心概念和主要内容，以及该理论在工程、 经济和统计学等领域的应用。
估计理论的重要性
1 提高决策的准确性
2 降低不确定性
通过估计理论，我们能更准确地预测和评估 各种情况下的结果，从而做出更明智的决策。
估计理论帮助我们通过收集和分析数据来减 少决策中的不确定性，提供更准确和可靠的 信息。
估计理论的挑战与局限
数据收集难度
估计理论的应用通常需要大量可靠的数据，而数据 收集可能面临限制和困难。
假设条件限制
估计理论的有效性取决于对数据、模型和假设条件 的准确理解和假设的可行性。
估计理论的未来发展
估计理论将继续发展，随着数据科学和机器学习的兴起，我们将能够更好地利用大数据和算法来进行准确的估 计和预测。
估计理论的应用领域
工程
估计理论在工程领域中被广泛 应用，可以帮助工程师对项目 成本、时间和质量进行估计和 监控。
经济
经济学家使用估计理论来预测 和评估经济变量，如通货膨胀、 就业率和股市走势。
统计学
估计理论是统计学的核心概念， 用于从样本数据推断总体参数 和进行假设检验。
估计理论的方法与技巧
点估计和区间估计
点估计用于通过样本数据估计总体参数的值， 而区间估计则提供了参数估计的不确定性范围。
最小二乘法
最小二乘法是一种常用的估计方法，用于拟合 数据和估计未知参数。
贝叶斯估计
贝叶斯估计基于贝叶斯定理，将先验信息与样 本数据相结合，得出后验概率分布并进行估计。
多元估计
多元估计是通过考虑多个变量的相互关系来进行估计，可以提高模型的准确性。
第二章参数估计理论_2
Bayes 估计（7）
矢量情况
⎡ E{θ1 x} ⎤ ⎢ ⎥ ˆ = E{θ x} = ⎢ E{θ 2 x} ⎥ θ ⎢ ⎥ ⎢ ⎥ ⎢ E{θ N −1 x}⎥ ⎣ ⎦
Bayes 估计（8）
其它损失函数的情况
均匀损失函数
⎧0 ⎪ ˆ Cunif ( θ , θ ) = ⎨ ⎪1 ⎩ ⎬ ˆ θ −θ > δ ⎪ ⎭
ˆ 最大似然估计——使似然函数最大的估计θ，即 ˆ θ = arg max p( x θ )
ML
θ
最大似然估计（MLE）（2）
常取对数似然函数作为似然函数 （θ） ln p ( x θ ) = L 此时，最大似然估计由 ∂ L(θ ) = 0 ∂θ 求得。
最大似然估计（MLE）（3）
最大似然估计的性质 1. 最大似然估计一般不是无偏的，但偏差可以通过对估 计值乘以一个合适常数消除。 2. 最大似然估计是一致估计。 3. 最大似然估计给出优效估计，如果存在的话。 4. 对于大的样本点数，最大似然估计为一高斯分布。
∫ p( x
A) p A ( A) dA
1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 exp ⎢ − ∑ [ x ( n ) − A] ⎥ e N /2 (2π ) ⎣ 2 n=0 ⎦ 2π = 1 ⎡ 1 N −1 2⎤ 1 − A2 / 2 ∫ (2π )N / 2 exp ⎢ − 2 ∑ [ x ( n) − A] ⎥ 2π e dA n=0 ⎣ ⎦
θˆ − θ < δ ⎫ ⎪
绝对损失函数
ˆ ˆ C ( θ ,θ ) = θ − θ
ˆ 风险函数: E{C ( θ ,θ )}
Bayes 估计（9）
最大后验概率（MAP）估计
参数估计-概率论重点内容
其中 为待估计的未知参数， 假定 x1 , x 2 , , x n 为样本 X 1 , X 2 , , X n的一组观察值 . PX 1 x1 , X 2 x 2， , X n xn P ( X 1 x1 ) P ( X 2 x 2 ) P ( X n x n ) p ( x1 , ) p ( x 2 , ) p ( x n , ) p ( xi , ).
的联合密度为 f (x f (x f (x 1,) f (x 2,) n,) i ,)
i 1
上一页
n
下一页
返回
将 f( x ) 看作是关 的 于 函 , 记 参 数 L 为 ( 数 ). i,
i 1
n
L ( ) f( x ) i,
i 1
1 1n 解 : 由 于 E （ X ）， 记 T T i. n i 1
1 令 T,
ˆ 于 是 得 的 矩 估 计 值 t , 1 t t ˆ P T t e 矩 估 计 值 为 P T t . 的 e
上一页
下一页
返回
2、极(最)大似然估计 (1)似然函数 (a)离散型总体 设总体 X 为离散型总体 , PX x p ( x , ),
ˆ 则 称 是 的 一 致 估 计 量 .
上一页
下一页
返回
第三节 区间估计
1. 区间估计的概念 1(X1, X2, Xn)及 2(X1, X2, Xn) 定义5： 设
是两个统计量 ,如果对于给定的概率 1(0 1 ) 有 P1 2 1 则称随机区间 ( 1,2)为参数 的的置信区间， 1,2分别称为置信下限与置 信上限 .
估计理论
1、设某地区的风速服从(,)αβΓ，密度函数为(1),0;(,,)(1)0,0.xx e x f x x ααββαβα-+-⎧>⎪=Γ+⎨⎪≤⎩(10,0)αβ+>>，试按频率估计概率的原理(?)，在12,9αβ==，n=5求百年一遇的最大风速值（即大于的概率为1%）.解 由已知易求得的特征函数为(1)()(1)t j t αξϕβ-+=-.设12,,...,n ξξξ为样本，则11ni i n ξξ==∑的特征函数为(1)()(1)n t t j n αξϕβ-+=-.现记2n ηξβ=, 则的特征函数为(1)()(12)n t jt αμϕ-+=-.由此可知，服从自由度为2(1)n α+的分布. 由题意知，欲求值，使得 ()0.01P M ξ>=,即2()0.01nP M ηβ>=.由12,,59n αβ===知230ηχ, 从而9050.892,0.565M M ==. 2、对任一地区，地震的震级数与其发生的次数n 之间有经验公式(),y n y e αβ-=0,α>0,0y β>≥，试按频率估计概率原理，求震级的分布函数. 解由题意知震级小于的频率为10001|()1(0)1()|y MMMyM My y e n y dyedye e e M e n y dy e dy e αβαβααββααβαβββ----∞∞--∞--====-≥-⎰⎰⎰⎰用频率估计概率原理，震级小于的概率为可用上式估计()1(0)M P M e M βξ-<=-≥ 从而的分布函数为()1(0)M F M e M β-=-≥.3、设总体服从正态(,1),N a 今观察了二十次，只记录是否为负值，若事件“0ξ<”出现了十四次，试按频率估计概率的原理，求估计值的估计值. 解 设a ηξ=-，则(0,1)N η.于是(0)()()1()P P a a a ξη<=<-=Φ-=-Φ.由141()20a -Φ=知14()10.320a Φ=-=，从而ˆ0.525a =. 4、设总体的密度函数为(,)f x θ，12,,...,n ξξξ为其样本，求参数的极大似然估计量.（1）||1(,),||0,0,02x f x e x x θθθ--=>-∞<<-∞<<；（2）1,0,01;(,)0,x x f x θθθθ-⎧<<∞<<=⎨⎩其他.（3）1,0,0;(,)0,x f x θθθθ⎧<<∞<≤⎪=⎨⎪⎩其他.（4）1,0,0;(,)0,x e x f x θθθθ-⎧<<∞<<∞⎪=⎨⎪⎩其他.解 （1）我们知道，的似然函数为1||||1111()(,)22ni i i nnx x i n i i L f x e e θθθθ=----==∑===∏∏，取对数得，1||11ln ()ln()ln 2||2n i i n x i n i L en x θθθ=--=∑==---∑. 将12,,...,n ξξξ按从小到大的顺序排列，记作***12,,...,nξξξ，则有 1ln ()ln 2||ni i L n x θθ==---∑当21n k =+时, 因为ln ()L θ在*1k θξ+=处取最大值, 所以*1ˆk θξ+=. 当2n k =时, 因为ln ()L θ在满足**1k k ξθξ+≤≤的一切处都取最大值, 所以满足**1k k ξθξ+≤≤的一切都是的极大似然估计.5、设总体服从二项分布(,),01b N p p <<，为正整数，12,,...,n ξξξ为其样本，求及的矩法估计量.解 由二项分布可知，(),()(1)E Np D Np p ξξ==-. 由方程组2ˆˆˆˆˆ(1)NpS Npp ξ⎧=⎪⎨=-⎪⎩ 解得2ˆˆ1,ˆS pNpξξ=-=.6、设总体服从对数正态分布，密度函数为221(;,)(lg)}2f x a x aσσ=--，12,,...,nξξξ为其样本，求及的矩法估计量.解由已知得2ln10210aEσξ+=，222ln10ln1010(101)aDσσξ+=-.则矩估计方程组为222ˆˆln102ˆˆˆ22ln10ln101010(101)aaSσσσξ++⎧⎪=⎨⎪=-⎩.令2ˆln10σσ'=，则方程组变成ˆ2ˆ221010(101)aaSσσσξ'+''+⎧⎪=⎨⎪=-⎩显然22(101)Sσξ'=-，由此解得22lg(1)Sσξ'=+，即222lg(1)ˆln10Sξσ+=，从而解得2ˆˆlg ln102aσξ=-.7、设为电子元件的失效时间（单位：小时），其密度函数为()(),0t tf t e t tββ--=>>(即随机变量具有在左边截头的，参数为的指数分布). 假定n个元件独立地试验并记录其失效时间分别为12,,...,nT T T.（1）当为已知时，求的极大似然法估计量；（2）当已知时，求的极大似然法估计.解（1）的似然函数为001()()1()nii in t tt t niL e eβββββ=----=∑==∏，取对数得1l n()l n()niiL n t tβββ==--∑.令1ln()()0niid L nt tdβββ==--=∑，解得00111ˆ()nniii i nnn nT nt T t t t T ntβ======----∑∑.(2) 的似然函数为 001()()01()ni i i nt t t t ni L t eeββββ=----=∑==∏,取对数得001ln ()ln ()ni i L t n t t ββ==--∑, 显然要使0ln ()L t 最大，只须01()ni i t t =-∑最小.取00ˆmin i i nt t ≤≤=，00ˆln ()ln ()L t L t= 8、设总体服从正态(,),N a σ12,,...,n ξξξ为其样本.(1) 求k ，使11ˆ||ni i a k σξ==-∑为的无偏估计量； （2）求k ，使122111ˆ()n i i i k σξξ-+==-∑为的无偏估计量. 解 （1）111ˆ()||||n i i E E a nE a k kσξξ==-=⋅-∑. 22()2|||x a E a x a dx σξ--+∞-∞-=-⎰令x at σ-=，则||E a ξ-22||t t e dt σσ+∞--∞=2202tte dt +∞-=⎰=.从而1ˆ()||n E nE a k kσσξ=⋅-=.故当k =ˆ()E σσ=，这时为的无偏估计量.(2) 1122221111111ˆ()()(2)n n i i i i i i i i E E E k k σξξξξξξ--+++===-=-+∑∑1221111[()2()()]n i i i i i E E E k ξξξξ-++==-+∑ 12222111(2()())n i i i a E E a k σξξσ-+==+-++∑ 2122222112(1)(2)n i n a a a k kσσσ-=-=+-++=∑. 当2(1)k n =-时，22ˆ()E σσ=,这时为的无偏估计量. 9、设总体的数学期望为，方差为，12,,...,n ξξξ是它的样本，12(,,...,)n T ξξξ为的任一线性无偏估计量.证明 相关系数ξρ=, 故要证其样本平均与的相关系数为只需证 cov(,)()T D ξξ=.由于12(,,...,)n T ξξξ是线性无偏估计量，故可令121122(,,...,)...n n n T c c c ξξξξξξ=+++，12(...1)n c c c +++=.2cov(,)()()()()T E T E E T E T a ξξξξ=-=-21122((...))n n E c c c a ξξξξ=+++- 21122(...)n n E c c c a ξξξξξξ=+++- 21122()()...()n n c E c E c E a ξξξξξξ=+++-.而1212 (1)()()[()()...()]ni i i i i n E E E E E n nξξξξξξξξξξξξ+++=⋅=+++222222111(...()...)[(1)()]()i i i a E a n a D a a D n n nξξξ=++++=-++=+. 于是21122cov(,)()()...()n n T c E c E c E a ξξξξξξξ=+++-2222122111(())(())...(())i n n c a D c a D c a D a n n nξξξ=++++++-2222121(...)n c c c n nσσσσ=+++=. 从而知2cov(,)()T D nσξξ==.所以ρ=10、设总体服从正态(,1),N a a -∞<<∞，123,,ξξξ为其样本，试证下述三个估计量（1）1123131ˆ5102aξξξ=++； （2）2123115ˆ3412aξξξ=++； （3）3123111ˆ362aξξξ=++ 都是的无偏估计量，请问哪一个方差最小.11、设总体的数学期望为，及分别为参数的两个无偏估计量，它们的方差分别为及，相关系数为，试确定常数12120,0,1c c c c >>+=，使得1122ˆˆc a c a +有最小方差. 解 1122ˆˆ()D c ac a σ=+22111222()2()c D a c c c D a =+2222111212222c c c c σρσσσ=++2222111112122(1)(1)c c c c σρσσσ=+-+-. 令10d dc σ=，有22111121222(12)2(1)0c c c σρσσσ+---= 解得221212212122c σρσσσσρσσ-=+- 从而211222212122c σρσσσσρσσ-=+- 为保证120,0c c >>，要求1221min(/,/)ρσσσσ<.12、设总体服从正态1(,1),N a 总体服从正态2(,2),N a 121,,...,n ξξξ为总体的样本，122,,...,n ηηη为总体的样本，且这两个样本相互独立.(1) 试求12a a a =-的无偏估计量；（2）如果12n n n +=固定，问及如何配置，可使的方差达到最小.解：(1)1211221212......ˆ()()()()()n n E aa a E E E E n n ξξξξξξξη++++++=-=-=-, 从而ˆaξη=-可作为12a a a =-的无偏估计量. (2)由于12ˆ(,aN a a ξη=--, 于是问题变为当12n n n +=固定, 如何配置及, 使得1214n n +最小. 14、设总体的密度函数为1,0,0(,)0,x f x θθθθ⎧<≤<<∞⎪=⎨⎪⎩其他12,,...,n ξξξ为其样本. 试证134max 3i i ξ≤≤及134min i i ξ≤≤都是参数的无偏估计量，问哪个有效？解 我们知道 1()()[()]n n f x n f x F x -=，11()()[1()]n f x nf x F x -=-.由已知得1,0,0(,)0,x f x θθθθ⎧<≤<<∞⎪=⎨⎪⎩其他, 从而知0,0(,),00,x x F x x x θθθθ≤⎧⎪⎪=<≤⎨⎪>⎪⎩,所以2313134444(max )(max )()3()()3333i i i i E E xf x dx xf x F x dx ξξ+∞+∞-∞-∞≤≤≤≤===⎰⎰233004143()3x x dx x d θθθθθθ=⋅==⎰⎰. 211313(4min )4(min )4()43()(1())i i i i E E xf x dx x f x f x dx ξξ+∞+∞-∞-∞≤≤≤≤===⋅-⎰⎰20112(1)xx dx θθθθ=⋅-=⎰.故134max 3i i ξ≤≤及134min i i ξ≤≤均是参数的无偏估计.又2222231313416164[(max )][(min )]()3()()3993i i i i E E x f x dx x f x F x dx ξξ+∞+∞-∞-∞≤≤≤≤===⎰⎰224230016116163(),9315x x dx x d θθθθθθ=⋅==⎰⎰ 故222134161(max )31515i i D ξθθθ≤≤=-=.2222211313[(4min )]16[(min )]16()163()(1())i i i i E E x f x dx x f x f x dx ξξ+∞+∞-∞-∞≤≤≤≤===⋅-⎰⎰22201648(1)5x x dx θθθθ=⋅-=⎰.从而2221361(4min )55i i D ξθθθ≤≤=-=.因此13134(max )(4min )3i i i i D D ξξ≤≤≤≤<, 从而134max 3i i ξ≤≤更有效.15、设1ˆθ及2ˆθ是参数的两个独立的无偏估计量，且1ˆθ的方差为2ˆθ的方差的两倍，试确定常数及，使得1122ˆˆc c θθ+为参数的无偏估计量，并且在所有这样的线性估计中方差最小.解 由已知得12ˆˆ()()E E θθθ==，且12ˆˆ()2()D D θθ=. 为使1122ˆˆ()E c c θθθ+=，则121c c +=. 下面我们来确定及，使得1122ˆˆ()D c c θθ+最小.222211*********ˆˆˆˆˆ()()()(2)()D c c c D c D c c D θθθθθ+=+=+22112ˆ(2(1))()c c D θ=+- 221121212ˆˆ(321)()(3())()33c c D c D θθ=-+=-+. 易知，当113c =时，21123()33c -+取得最小值.故当113c =，223c =时，1212ˆˆ33θθ+为最小线性无偏估计. 16、设和分别是参数的可估计函数1()g θ和2()g θ的最优无偏估计量，试证1122b T b T +是1122()()b g b g θθ+的最优无偏估计量，其中12,b b 为常数.解 由于与分别为参数的可估计函数1()g θ和2()g θ的最优无偏估计量，故由定理7.2.1，对任意满足0()0E T θ=的有10()0E T T ⋅=，20()0E T T ⋅=. 于是121212()()()()()E aT bT aE T bE T ag bg θθ+=+=+且1201020(())()()0E aT bT T aE T T bE T T +⋅=⋅+⋅=.再一次应用定理7.2.1可知1122bT b T +是1122()()b g b g θθ+的最优无偏估计量. 17、设总体服从正态11(,)N a σ，总体服从正态22(,)N a σ， 121,,...,n ξξξ为总体的样本，122,,...,n ηηη为总体的样本，且这两个样本相互独立.（1）试建立2122σσ的置信水平为1α-的区间估计;(2) 假定12σσ=，试建立12a a -的置信水平为1α-的区间估计. 解: (1)由抽样分布定理知2211121(1)n S n χσ-,2222222(1)n S n χσ-.令211122212112222221221222/1(1)(1)/1n S n n n S F n S n n S n σσσσ--==--, 则12(1,1)F F n n --.对于给定的置信度1α-, 查表得/212(1,1)F n n α--与1/212(1,1)F n n α---, 使得1/212/212{(1,1)(1,1)}1P F n n F F n n ααα---<<--=-.从而得2122σσ的置信区间为[221221221/212/21222211211(1)(1)(1,1),(1,1)(1)(1)n n S n n S F n n F n n n n S n n S αα-----⋅--⋅--]. (2)假设12σσσ==. 由已知得1(,)N a ξσ, 2(,)N a ησ,故12(,N a a ξη--, 从而(0,1)N ξη, 于是对于给定的置信度1α-, 查正态分布表得/2u α, 从而得12a a -的置信区间为[/2u αξησ--⋅/2u αξησ--⋅18、设总体服从正态1(,)N a σ，总体服从正态2(,)N a σ，其中未知，12,,...,n ξξξ及12,,...,n ηηη分别为其样本，且这两个样本相互独立. 求12a a -的置信水平为0.95的区间估计.(这个题出得没什么意义,略过) .19、设总体服从正态(,)N a σ，已知15152118.7,25.05i i i i x x ====∑∑，试分别求置信水平为0.95的及的区间估计. 解 由已知得151118.70.581515i i x x ===⨯=∑151522221111()(2)1515i i i i i S x x x x x x ===-=-+∑∑151********21111121115151515i i i i i i i x x x x x x =====-+=-∑∑∑∑ 2125.05(0.58) 1.333615=⨯-= 从而 1.1548S =. 根据0.05α=查分布表得/20.025(1)(14) 2.145t n t α-==于是知的置信区间为/2(0.58 2.145x t n α±-=± 即(0.082,1.242)-. 下求的区间估计.查表得2222/20.0251/20.95(1)(14)26.1189,(1)(14) 5.6287n n ααχχχχ--==-==.于是知置信区间为2222/21/215 1.333615 1.3336[,][,](1)(1)26.1189 5.6287nS nS n n ααχχ-⨯⨯=-- 即[0.762,3.554].20、若从自动车床加工的一批零件中随机抽取10个，测得其尺寸与规定尺寸的偏差（单位：微米）分别为：2、1、-2、3、2、4、-2、5、3、4. 零件尺寸的偏差记作，假设总体服从正态(,)N a σ，试求及的无偏估计量，并求置信水平为的区间估计. 解：易知及的无偏估计分别为：2*2ˆˆ,aX S σ==. 由题中样本数据计算得, 102*212123242534152ˆˆ2,()1099i i a x s x x σ=+-+++-+++=====-=∑. 首先求的区间估计.选取统计量(1).X t t n =-根据0.1α=查分布表得/20.05(1)(9) 1.833t n t α-==, 又25210s =, 2.3s =, 于是知的置信区间为0.05 2.32 1.8333x t ±=±⨯, 即[0.595, 3.405]. 下求的区间估计. 选取统计量2222(1)nS n χχσ=-.根据0.1α=查分布表得 2222/20.051/20.95(1)(9) 1.833,(1)(9) 3.325n n ααχχχχ--==-==,于是知的置信区间为[22220.050.951010,(9)(9)s s χχ], 即[3.073, 15.64].。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
MLE渐近特性：
也就是说，MLE逼近于一个无偏的，最小方差可达的 MVU估计器 对于一般的PDF, MLE可以通过迭代计算
2.4 Bayesian估计
最小均方Bayesian估计
ˆ) = (θ − θ ˆ ) 2 p ( x , θ ) dx dθ mse(θ ∫∫
ˆ) ∂mse(θ ∂ ˆ − θ ) 2 p ( x θ )dθ p ( x )dx = ∫ ∫ (θ ˆ ˆ ∂θ ∂θ
因此
N −1 N X 1 ˆ = E (θ | x ) = θp (θ | x ) dθ = A = x( n) ∑ ∫ N + 1 N + 1 n =0
·高斯情况
ˆ = E (θ | x ) = E (θ ) + C C −1 ( x − E ( x )) Baysian估计 θ θx x
ˆ = E (θ | x ) = R R x 零均值情况 θ θx x
∂ ˆ) 2 p(θ | x )dθ = 0 ( θ − θ ˆ∫ ∂θ
在计算时，经常利用关系式
最小均方误差为
2 ˆ Bmse (θ ) = ∫∫ (θ − E (θ x )) p ( x , θ )dxdθ = Cθ x
矢量情况
E (θ1 | x ) E (θ 2 | x ) ˆ ˆ θ = E (θ | x ) = M E (θ | x ) N −1
（定理一继续）
最大似然估计（MLE）
最实用的估计器，有良好的渐近特性
例
x( n) = A + w( n)
p ( x; A) =
1 (2πσ 2 )
N 2
1 exp − 2 2σ
( x(n) − A) ∑ n =0
N −1 2
∂ ln p ( x; A) 1 = 2 ∂A σ
∂ ln p ( x,θ ) N 1 = − + ∂σ 2 2σ 2 2σ 4
2 ( x ( n ) − A ) ∑
=0
ˆ ,σ ˆ2 A
∆ 1 N −1 ˆ N ∑ x ( n) = x A ˆ = = N −n1=0 θ 2 σ 1 ˆ 2 N ∑ ( x ( n) − x ) n =0
−1 xx xθ
·这组关系式可以直接联系到Wiener滤波问题 ·线性BayesianБайду номын сангаас计与高斯分布下的Bayesian估计 是一致的，在高斯分布下，线性估计可达最优
∑ ( x(n) ~ A)
n =0
N −1
=0
ˆ A= A
得
1 ˆ A= N
N −1 n =0
∑ x ( n)
n
就是MLE
MVU就是MLE
例 x ( n) = A + w(n)
1 ∂ ln p( x,θ ) = 2 ∂A σ
N −1 n =0
∑ ( x(n) − A)
N −1 n =0
=0
ˆ ,σ ˆ2 A
例
x ( n) = A + W ( n)
n=0,1,2,…N-1
W ( n) 是零均值白噪声，估计A
1 ˆ 一个直观的估计器为 A = N
N −1 n =0
∑ x ( n)
a. 这个估计器怎样接近于真实值A. b. 有没有更好的估计器，怎样设计好的估计器？
几个常用估计量 均值估计
方差估计
1 N −1 ˆ x = ∑ x ( n) µ N n =0 2 N −1 1 2 ˆ x = ∑ ( x ( n) − µ ˆx ) σ N n =0
例
p( A | x ) =
∫ p( x | A) p
1
p ( x | A) p A ( A)
A
( A)dA
1 N −1 1 − A2 / 2 2 exp − ∑ ( x(n) − A) e N 2 n=0 2π 2 (2π ) = +∞ 1 N −1 1 1 − A2 / 2 2 exp − ∑ ( x(n) − A) e dA N ∫ 2 n =0 2π −∞ 2 (2π ) 1 ( N + 1)1 / 2 NX 2 = exp − ( N + 1)( A − ) 1/ 2 (2π ) N +1 2
自相关估计
1 N −1 0 ≤ l ≤ N −1 N ∑ x ( n) x * ( n − l ) n =l ˆx (l ) = r ˆx * (l ) r − ( N − 1) ≤ l < 0 0 l ≥N
Cramer-Rao下界
最小方差无偏估计器（MVU）, 它的最好估计性能.
−1
一般Bayesian估计
例
解
2.5 线性贝叶斯估计器
线性估计器
ˆ = a x ( n) + a θ ∑ n N
n =0
N −1
= E (θ ) + C C ( x − E ( x ))
T xθ
−1 xx
a = R r ˆ T −1 θ = rxθ Rxx x 2 T −1 ˆ Bmse ( ) r R r θ σ = − θ x θ xx xθ
第2章：估计理论基础
基本经典估计问题 用一组观测数据 {x (0), x (1), L x ( N − 1)} 估计一个未知的确定性参数θ, 估计器记为
θˆ = g ( x (0), x (1), L x ( N − 1))
ˆ θ a. 是一个随机变量
b. 估计器设计依赖于观察数据的概率密度函数(PDF)的假设