第六章 相关函数的估计
《概率论与数理统计教程-朱庆峰》第6章 参数估计 6.6
推导过程如下:
因为S 2 是 2 的无偏估计 ,
根据
(n 1) S 2
2
~ 2 (n 1),
2 (n 1) S 2 2 故 P /2 (n 1) 1 /2 (n 1) 1 , 2
2 (n 1) S 2 ( n 1) S 2 即 P 2 2 1 , /2 (n 1) 1- /2 (n 1)
ˆ | } 1 , 其中 0, 0 1 P{|
ˆ ˆ } 1 即 P{
随机区间 [ , ] 的置信区间
一、区间估计基本概念
1. 置信区间的定义 设总体 的概率函数 f ( x; ) 含有一个未知参 数 , 对于给定值 (0 1).若由样本1 , 2 , , n
3. 求置信区间的一般步骤(共3步) (1) 寻求一个样本 1 , 2 , , n 的函数: Z Z (1 , 2 , , n ; ) 其中仅包含待估参数 , 并且Z的分布已知 且不依赖于任何未知参数(包括 ). (2) 对于给定的置信度1 , 决定出两个常数a, b, 使P{a Z (1 , 2 , , n 1 , 2 , , n ; ) b 得到等价的 ˆ ˆ , 其中 ˆ ( , , , ), 不等式 1 2 1 1 2 n ˆ ( , , , )都是统计量, 那么[ , ]就是
2 1 2 n
即 P u1 / 2 u1 / 2 1 , n n
于是得的一个置信度为 1 的置信区间
u1 / 2 . 这样的置信区间常写成 n
2.3均值、方差、自相关函数的估计-PPT文档
解:(1)数学期望
2
1 1 ( t ) E { x ( t ) E [ x ( t ) ] } { x ( t ) E [ x ( tfd ) ] } ( ) [ s i n ( t ) 0 ]d 22
(3)自相关函数
0 0
2.3.1 均值的估计
将N个样点数据的算术平均值作为均值的 估计 ，即 1 N 1 ˆ x x(n) （2.3.1） m N n 0
mˆ
利用前面介绍的评价指标，可以对该点估计进行质量评价
估计的均值：
（2.3.2）
N 1 N 1 N 1 1 1 1 ˆ E [ m ] E [ x ( n ) ] E [ x ( n ) ] m m x x x N N N n 0 n 0 n 0
估计的方差为：
v a r ( ) E { [ E ( ) ]}
将式（2..6）代入上式，得
22 v a r ( ) E { [ x ]} ^ 2 x ^ 2 x
^ 2 x
^ 2 x
^ 2 2 x
时 ， v a r ( ) 0 可以证明，当 N 所以式（2.3.5）对方差的估计是无偏的一致估计 事实上，因为式（2.3.5）的均值也只能来自估计，所以方差 的估计往往不是式（2.3.5）而是
2
2
1 R ( tt , ) E [ x ( tx ) ( t ) ] [ x ( tx ) ( t ) ] f ( ) d s i n ( t ) s i n ( t ) d 12 1 2 1 2 0 1 0 1 0 0 2 2 2 1 1 1 [ c o s ( t t )c o s ( t t 2 ) ] d c o s ( t td ) c o s ( t t ) 01 2 0 1 0 2 01 2 01 2 0 0 4 4 2
自相关函数的估计
k 0
x[k ]x[k n ]
n N 1
2、自相关函数估计的计算
方法二：按照卷积和计算自相关函数的估计
自相关函数的估计由定义：
1 ˆ R x [ n] N
N 1 k 0
x[k ]x[k n]
可以得到：
1 ˆ R x [n] x[n] * x[n] N
——卷积和
2、自相关函数估计的计算
N 1 n
1 ˆ Rx [n] N
N 1n 1 ˆ [n] R x[k ]x[k n] x N k 0 ( N 1) n 0 N 1 1 ˆ x [n ] R x[k ]x[k n] N k n 1 N 1n x[l ]x[l n] N l 0
N，偏差、方差趋于零，是一致估计。 N 固定时，n N，偏差、方差较大。
2、自相关函数估计的计算
方法一：按照定义计算自相关函数的估计 1 ˆ R x [ n] N
x[k]
N 1 k 0
x[k ]x[k n]
0 n N 1
N1
0 x[k+n], n 0 n
N1n x[k+n], n 0 n N1n
1 ˆ R x [n] x[ n] * x[n] N
1 {1, 0, 2, 0, 1} 3
结论：
自相关函数具有偶对称性， 且 Rx [0] Rx [n]
例1：自相关函数估计的计算 已知平稳各态遍历的实随机序列X[k]的单一样本 的N个观测值为x[k]={1, 0，1}，试计算该随机序 列的自相关函数估计。 解： 方法三：利用DFT计算 1.对x[k]补零形成L点序列：
已知平稳各态遍历随机序列单一样本的N个观测值，其自 相关函数估计的计算方法有：
概率论与数理统计第六章测试题
第6章 参数估计选择题1．设n X X X ,...,,21是来自正态总体X 的简单随机样本，X 的分布函数F(x;θ)中含未知参数，则（A ）用矩估计法和最大似然估计法求出的θ的估计量相同 (B) 用矩估计法和最大似然估计法求出的θ的估计量不同 （C ）用矩估计法和最大似然估计法求出的θ的估计量不一定相同 (D) 用最大似然估计法求出的θ的估计量是唯一的2．设n X X X ,...,,21是来自正态总体X 的简单随机样本，EX=μ，DX=σ2，其中μ，σ2均为未知参数，X =1ˆμ，12ˆX =μ，下面结论哪个是错误的。
（A ）X =1ˆμ是μ的无偏估计 (B) 12ˆX =μ是μ的无偏估计 （C ）X =1ˆμ比12ˆX =μ 有效 (D) ∑=-ni i X n 12)(1μ是σ2的最大似然估计量 3．设n X X X ,...,,21是来自正态分布总体N(μ,σ2)的简单随机样本，其中数学期望μ已知，则总体方差σ2的最大似然估计量是（A ） ∑=--n i i X X n 12)(11 (B) ∑=-ni i X X n 12)(1 （C ） ∑=--n i i X n 12)(11μ (D) ∑=-n i i X n 12)(1μ 4．已知总体X 在区间[0,θ]上均匀分布，其中θ是未知参数，设n X X X ,...,,21是来自X 的简单随机样本，X 是样本均值，},...,max {1)(n n X X X = 是最大观测值，则下列选项错误的是 （A ）)(n X 是θ的最大似然估计量 (B) )(n X 是θ的无偏估计量 （C ）X 2是θ的矩估计量 (D) X 2是θ的无偏估计量5． 设总体X~N(μ1,σ2)，总体Y~N(μ2,σ2)，m X X X ,...,,21和n Y Y Y ,...,,21分别是来自总体X和Y 的简单随机样本，样本方差分别为2X S 与2Y S ，则σ2的无偏估计量是（A ）22YX S S + (B) 22)1()1(Y X S n S m -+-（C ）222-++n m S S Y X (D) 2)1()1(22-+-+-n m S n S m Y X6． 设X 是从总体X 中取出的简单随机样本n X X X ,...,,21的样本均值，则X 是μ的矩估计，如果（A ）X~N(μ,σ2) (B) X 服从参数为μ的指数分布 （C ）P （X=m ）=μ(1-μ)m-1，m=1,2,… (D) X 服从[0,μ]上的均匀分布 填空题1．假设总体X 服从参数为λ的泊松分布，n X X X ,...,,21是取自总体X 的简单随机样本，其均值、方差分别为X ，S 2，如果2)32(ˆS a X a -+=λ为λ的无偏估计，则a= 。
概率论与数理统计 第六章 参数估计
解此方程即可.值得注意的是,由极值的必要条件知极大似 然估计一定是似然方程的解.但似然方程组的解未必是极 大似然估计,严格地讲,对似然方程组的解要经过验证才能 确定是否是极大似然估计.
概率论与数理统计
例6 设总体 X 服从指数分布,它的密度为
x 1 −θ e , x>0 p ( x;θ ) = θ 0, x≤0
概率论与数理统计
例6.1.1 对某型号的20辆汽车记录其每5L汽油的 行驶里程(公里),观测数据如下: 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 试求总体均值、方差和中位数的估计值.
1 n θˆ = ∑ X i = X n i =1
是来自总体 P(λ ) 的一个子样, 例7 设 X 1，X 2， ，X n） （ ⋯ 求λ 的极大似然估计量. 的观测值. （ ⋯ （ ⋯ 解: 设 x1，x2， ，xn）为子样 X 1，X 2， ，X n） λ x −λ ∵ P( X = x) = e , x! 所以,似然函数为 n n λ x − λ − nλ n λ x L( x; λ ) = ∏ P(X =xi ) = ∏ e =e ∏
求极大似然估计的方法
概率论与数理统计
L 1. 设似然函数 （x;θ）为θ 的连续函数,且关于θ 各分量 的偏导数存在因为lnL与L的最大点相同,而lnL比L使用方便, 所以常常求lnL的最大点.
设θ 是k维的，Θ是R k中的开区域，则由极值的必要条件有
∂ ln L( x,θ ) = 0, i = 1, 2,⋯ , k . ∂θ i
则P( A)的矩估计量为X .
第六章 相关函数的估计
6. 相关函数的估计（循环相关）6.1. 相关函数与协方差函数 6.1.1. 自相关函数和自协方差函数1、 自相关和自协方差函数的定义相关函数是随机信号的二阶统计特征，它表示随机信号不同时刻取值的关联程度。
设随机信号)(t x 在时刻j i t t ,的取值是j i x x ,，则自相关函数的定义为ji j i j i j iNn n jn iN j i j i x dxdx t t x x f x xx xNx x E t t R ⎰⎰∑====∞→),;,(1lim ][),(1)()(式中，上角标“（n ）”是样本的序号。
自协方差函数的定义与自相关函数的定义相似，只是先要减掉样本的均值函数再求乘积的数学期望。
亦即：ji j i j i x j x iNn x n jx n iN x j x i j i x dxdx t t x x f m x m xm x m xNm x m x E t t C j i j i j i ⎰⎰∑--=--=--==∞→),;,())(())((1lim )])([(),(1)()(当过程平稳时，);,(),;,(τj i j i j i x x f t t x x f =。
这时自相关函数和自协方差函数只是i j t t -=τ的函数，与j i t t ,的具体取值无关，因此可以记作)(τx R 和)(τx C 。
对于平稳且各态历经的随机信号，又可以取单一样本从时间意义上来求这些统计特性：时间自相关函数为：⎰+-∞→+=22)()(1lim)(TT T x dt t x t x TR ττ时间自协方差函数为：⎰+-∞→-+-=22])(][)([1lim)(TT x x T x dt m t x m t x TC ττ在信号处理过程中，有时会人为地引入复数信号。
此时相应的定义变成][),(*j i j i x x x E t t R =)]()[(),(*j i x j x i j i x m x m x E t t C --=式中，上角标*代表取共轭。
统计学第六章课后题及答案解析
第六章一、单项选择题1．下面的函数关系是( )A现代化水平与劳动生产率 B圆周的长度决定于它的半径C家庭的收入和消费的关系 D亩产量与施肥量2．相关系数r的取值范围( )A -∞< r <+∞B -1≤r≤+1C -1< r < +1D 0≤r≤+13．年劳动生产率x(干元)和工人工资y=10+70x，这意味着年劳动生产率每提高1千元时，工人工资平均( )A增加70元 B减少70元 C增加80元 D减少80元4．若要证明两变量之间线性相关程度高，则计算出的相关系数应接近于( )A +1B -1C 0.5D 15．回归系数和相关系数的符号是一致的，其符号均可用来判断现象( )A线性相关还是非线性相关 B正相关还是负相关C完全相关还是不完全相关 D单相关还是复相关6．某校经济管理类的学生学习统计学的时间(x)与考试成绩(y)之间建立线性回归方程ŷ=a+bx。
经计算，方程为ŷ=200—0.8x，该方程参数的计算( )A a值是明显不对的B b值是明显不对的C a值和b值都是不对的D a值和b值都是正确的7．在线性相关的条件下，自变量的均方差为2，因变量均方差为5，而相关系数为0.8时，则其回归系数为：( )A 8B 0.32C 2D 12．58．进行相关分析，要求相关的两个变量( )A都是随机的 B都不是随机的C一个是随机的，一个不是随机的 D随机或不随机都可以9．下列关系中，属于正相关关系的有( )A合理限度内，施肥量和平均单产量之间的关系B产品产量与单位产品成本之间的关系C商品的流通费用与销售利润之间的关系D流通费用率与商品销售量之间的关系10．相关分析是研究( )A变量之间的数量关系 B变量之间的变动关系C变量之间的相互关系的密切程度 D变量之间的因果关系11．在回归直线y c=a+bx，b<0，则x与y之间的相关系数 ( )A r=0B r=lC 0< r<1D -1<r <012．当相关系数r=0时，表明( )A现象之间完全无关 B相关程度较小C现象之间完全相关 D无直线相关关系13．下列现象的相关密切程度最高的是( )A某商店的职工人数与商品销售额之间的相关系数0.87B流通费用水平与利润率之间的相关系数为-0.94C商品销售额与利润率之间的相关系数为0.51D商品销售额与流通费用水平的相关系数为-0.8114．估计标准误差是反映( )A平均数代表性的指标 B相关关系的指标C回归直线方程的代表性指标 D序时平均数代表性指标二、多项选择题1．下列哪些现象之间的关系为相关关系( )A家庭收入与消费支出关系 B圆的面积与它的半径关系C广告支出与商品销售额关系D商品价格一定，商品销售与额商品销售量关系2．相关系数表明两个变量之间的( )A因果关系 C变异程度 D相关方向 E相关的密切程度3．对于一元线性回归分析来说( )A两变量之间必须明确哪个是自变量，哪个是因变量B回归方程是据以利用自变量的给定值来估计和预测因变量的平均可能值C可能存在着y依x和x依y的两个回归方程D回归系数只有正号4．可用来判断现象线性相关方向的指标有( )A相关系数 B回归系数 C回归方程参数a D估计标准误5．单位成本(元)依产量(千件)变化的回归方程为y c=78- 2x，这表示( ) A产量为1000件时，单位成本76元B产量为1000件时，单位成本78元C产量每增加1000件时，单位成本下降2元D产量每增加1000件时，单位成本下降78元6．估计标准误的作用是表明( )A样本的变异程度 B回归方程的代表性C估计值与实际值的平均误差 D样本指标的代表性7．销售额与流通费用率，在一定条件下，存在相关关系，这种相关关系属于( ) A完全相关 B单相关 C负相关 D复相关8．在直线相关和回归分析中( )A据同一资料，相关系数只能计算一个B据同一资料，相关系数可以计算两个C据同一资料，回归方程只能配合一个D据同一资料，回归方程随自变量与因变量的确定不同，可能配合两个9．相关系数r的数值( )A可为正值 B可为负值 C可大于1 D可等于-110．从变量之间相互关系的表现形式看，相关关系可分为( )A正相关 B负相关 C直线相关 D曲线相关11．确定直线回归方程必须满足的条件是( )A现象间确实存在数量上的相互依存关系B相关系数r必须等于1C y与x必须同方向变化D现象间存在着较密切的直线相关关系12．当两个现象完全相关时，下列统计指标值可能为( )A r=1B r=0C r=-1D S y=013．在直线回归分析中，确定直线回归方程的两个变量必须是( )A一个自变量，一个因变量 B均为随机变量C对等关系 D一个是随机变量，一个是可控制变量14．配合直线回归方程是为了( )A确定两个变量之间的变动关系 B用因变量推算自变量C用自变量推算因变量 D两个变量都是随机的15．在直线回归方程中( )A在两个变量中须确定自变量和因变量 B一个回归方程只能作一种推算C要求自变量是给定的，而因变量是随机的。
概率论与数理统计第6章参数区间估计2,3节
n
E(X
k
)
E(X
k)
i1
i1
二、有效性
未知参数 的无偏估计量不是唯一的.
设 ^1 和 ^2 都是参数 的无偏估计量,
θˆ 1
θˆ 2
集中
分散
蓝色是采用估^ 计量 1 , 用 14 个样本值得到的 14 个估计值. 紫色是采用估^ 计量 2 , 用 14 个样本值得到的 14 个估计值.
若limD(ˆ)0， 则ˆ是的一致估 . 计量 n
回顾例子.设总体X的概率密度为
f(x)6x3 (x),0x;
0, 其他
X1, X2,…, Xn 是取自总体X 的简单随机样本, (1) 求的矩估计量 ˆ；
(2) 求ˆ的方差D(ˆ).
解：矩估计 ˆ量 2X. D(ˆ)4D(X)4D(X)2
若滚珠直径服从正态分布X ~ N( , 2), 并且已知 = 0.16(mm),求滚珠直径均值的置信水平为95%
的置信区间.
解：由上面求解的置信水平为1- 的置信区间
Xσn 0 uα/,2 Xσn 0 uα/2
已 n 知 1,0 0 0 .1,6 0 .0,5 x110i110xi 14.92,
若进行n次独立重复抽样，得到n个样本观测值,
每个样本观测 个值 随确 机(定 ˆ1区 ,ˆ2一 )间 .那么
每个区间的 可真 能 ， 或 值 包不 含包 的含 真 , 值
根据伯努利大数定理, 在这n个随机区间中,
包含 真值1 的 0(1 0 约 )% 占 ,不包含 10 的 % 0. 约
便得 k的 到 最大似 ˆk(X 1,然 X 2, ,估 X n).计
第二节 判别估计量好坏的标准
概率论与数理统计第六章测试题
第6章 参数估计选择题1．设n X X X ,...,,21是来自正态总体X 的简单随机样本，X 的分布函数F(x;θ)中含未知参数，则（A ）用矩估计法和最大似然估计法求出的θ的估计量相同 (B) 用矩估计法和最大似然估计法求出的θ的估计量不同 （C ）用矩估计法和最大似然估计法求出的θ的估计量不一定相同 (D) 用最大似然估计法求出的θ的估计量是唯一的2．设n X X X ,...,,21是来自正态总体X 的简单随机样本，EX=μ，DX=σ2，其中μ，σ2均为未知参数，X =1ˆμ，12ˆX =μ，下面结论哪个是错误的。
（A ）X =1ˆμ是μ的无偏估计 (B) 12ˆX =μ是μ的无偏估计 （C ）X =1ˆμ比12ˆX =μ 有效 (D) ∑=-ni i X n 12)(1μ是σ2的最大似然估计量 3．设n X X X ,...,,21是来自正态分布总体N(μ,σ2)的简单随机样本，其中数学期望μ已知，则总体方差σ2 的最大似然估计量是（A ） ∑=--n i i X X n 12)(11 (B) ∑=-ni i X X n 12)(1 （C ） ∑=--n i i X n 12)(11μ (D) ∑=-n i i X n 12)(1μ 4．已知总体X 在区间[0,θ]上均匀分布，其中θ是未知参数，设n X X X ,...,,21是来自X 的简单随机样本，X 是样本均值，},...,max {1)(n n X X X = 是最大观测值，则下列选项错误的是 （A ）)(n X 是θ的最大似然估计量 (B) )(n X 是θ的无偏估计量 （C ）X 2是θ的矩估计量 (D) X 2是θ的无偏估计量5． 设总体X~N(μ1,σ2)，总体Y~N(μ2,σ2)，m X X X ,...,,21和n Y Y Y ,...,,21分别是来自总体X和Y 的简单随机样本，样本方差分别为2X S 与2Y S ，则σ2 的无偏估计量是 （A ）22YX S S + (B) 22)1()1(Y X S n S m -+-（C ）222-++n m S S YX (D) 2)1()1(22-+-+-n m S n S m Y X6． 设X 是从总体X 中取出的简单随机样本n X X X ,...,,21的样本均值，则X 是μ的矩估计，如果（A ）X~N(μ,σ2) (B) X 服从参数为μ的指数分布 （C ）P （X=m ）=μ(1-μ)m-1，m=1,2,… (D) X 服从[0,μ]上的均匀分布 填空题1．假设总体X 服从参数为λ的泊松分布，n X X X ,...,,21是取自总体X 的简单随机样本，其均值、方差分别为X ，S 2 ，如果2)32(ˆS a X a -+=λ为λ的无偏估计，则a= 。
概率论与数理统计：m6-参数估计5
2 )的 一 个 样 本 。
我 们 知 道S 2
1 n1
n i 1
(Xi
X
)2是
2的 一 个 无 偏 估 计
并 且 知道 样 本 函 数： 2
(n 1)S 2
2
~
2 (n 1)
对于给定的1 ，查 2分布表，得临界值1与2，使得：
P{1 2 2 } 1 ，
返回主目录
第六章 参数估计
n
1),
其中，n是样本容量，n-1是表中自由度；由此得：
P{
2 1-
2
(
n
1)
(n 1)S 2
2
2
(n
1)}
1
2
即
(n 1)S 2
P{
2
(n
1)
2
2
(n
2 1-
1)S (n
2
2
1)
}
1
于是， 2的一个置信水平为1 下的置信区间为：
(n 1)S 2 (n 1)S 2
(
2
(n
2
1)
则 X ~ N (, 2 ), 未 知 方 差 2，
则 的一个置信水平为1 下的置信区间为：
S
S
(X - t (n 1) , X t (n 1) )
2
n
2
n
返回主目录
第六章 参数估计
已知n 7, 0.05.
由样本值算得： x 112.8, S 2 1.29.
查t(6,0.025)得临界值z 2.447。由此得置信区间： 2
设X
1
,,
X
为
n
来
自
总
体X
~
数字信号处理知到章节答案智慧树2023年温州医科大学
数字信号处理知到章节测试答案智慧树2023年最新温州医科大学第一章测试1.由离散信号x[k]经基本运算得到离散信号x[-5k+3],不需要的运算为（）。
参考答案:内插2.已知某模拟信号最高频率为fm，若要求能恢复原信号，则抽样频率至少为（）。
参考答案:2*fm3.正弦序列总是周期的。
（）参考答案:错4.一个离散系统的因果性和稳定性无关。
（）参考答案:对5.序列的周期是（）。
参考答案:4第二章测试1.三点有限长序列的DFT矩阵为（）参考答案:2.某实系数奇对称序列以4点为周期，其中x[1]=2，则（）参考答案:x[3]=-2,x[4]=03.DFT矩阵与FFT的系数矩阵完全相同。
（）参考答案:对4.如果希望信号的DFT是实偶函数，则原序列也应当是实偶函数（）参考答案:对5.下列关于DFT的论述错误的是（）参考答案:DFT可以对连续信号频谱进行变换第三章测试1.对8点序列采取基2频率抽取FFT算法，其序列排布为（）参考答案:x[0]、x[1]、x[2]、x[3]、x[4]、x[5]、x[6]、x[7]2.使用FFT算法所需的乘法次数与（）成正比参考答案:3.FFT变换要求序列为某个整数的整数幂次方，否则需补零（）参考答案:错4.FFT算法的基本运算单元是蝶形运算（）参考答案:对5.基2频率算法先与旋转矩阵相乘后与系数矩阵相乘。
（）参考答案:错第四章测试1.要实现同样的性能指标，以下滤波器中阶数最低的是（）。
参考答案:椭圆型2.数字滤波器是一种离散时间系统，可以根据需要有选择性地滤除输入信号中的某些频率成分，从而实现对输入信号的处理。
（）参考答案:对3.脉冲响应不变法是一种将模拟滤波器转换为数字滤波器的方法，其基本思想是使数字滤波器的单位脉冲响应等于模拟滤波器冲激响应的等间隔抽样。
（）参考答案:对4.双线性变换法存在频谱混叠现象，不适合设计高通滤波器。
（）参考答案:错5.在相同设计指标下，BW型滤波器的阶数最高，因此在滤波器的实现过程中，BW型滤波器不易实现。
自相关与互相关函数的快速估计方法
自相关与互相关函数的快速估计方法引言：自相关与互相关函数是信号处理中常用的工具，用于研究信号之间的相似性和相关性。
准确估计自相关与互相关函数对于很多应用至关重要，然而传统的估计方法存在计算复杂度高、计算效率低等问题。
本篇文章将介绍一些快速估计自相关与互相关函数的方法，旨在提高计算效率和降低计算复杂度。
一、自相关函数的快速估计方法1. 快速自相关函数方法一这种方法基于傅里叶变换的性质，将信号经过傅里叶变换后再进行逆变换，即可得到自相关函数。
这种方法的优点是计算速度快，适用于信号长度相对较短的情况。
2. 快速自相关函数方法二这种方法基于平滑技术，利用滑动窗口对信号进行平移和缩放，在每个窗口内计算局部自相关函数，最后取平均得到全局自相关函数。
这种方法适用于信号长度较长的情况，并且可以通过调整窗口大小来控制估计的精度和计算效率。
二、互相关函数的快速估计方法1. 快速互相关函数方法一与快速自相关函数方法一类似，利用傅里叶变换和逆变换的性质，可以快速计算互相关函数。
不同之处在于，需要将两个信号都进行傅里叶变换，并在频域中相乘后再进行逆变换。
2. 快速互相关函数方法二这种方法基于矩阵乘法的快速算法，利用Toeplitz矩阵的特性将互相关函数的计算转化为矩阵乘法的形式。
通过对Toeplitz矩阵进行特殊处理，可以大大降低计算复杂度，提高计算效率。
三、快速估计方法的实际应用1. 语音信号处理领域自相关与互相关函数在语音信号处理中广泛应用，如语音识别、语音合成等。
利用快速估计方法可以加快计算速度，提高实时性，使得语音处理算法更加高效可靠。
2. 图像处理领域图像处理中的相关性分析也是一个重要的研究方向。
快速估计方法可以应用于图像匹配、图像识别等问题，提供准确的相关性计算结果。
结论：通过快速估计自相关与互相关函数的方法，可以提高计算效率和降低计算复杂度，为信号处理及相关领域的研究和应用提供更高的性能和效率。
未来，随着计算技术的不断进步，相信会有更多快速估计方法被提出和应用于实际问题中，推动相关领域的发展和创新。
参数估计
第六章 参数估计一、教材说明本章内容包括参数估计中基本的概念、参数估计的两种方法及评价估计量的四个标准.它们是参数估计最基本的内容,是以后学习参数估计其他内容的基础.1、 教学目的与教学要求(1) 使学生了解参数估计中最基本的点估计及相关概念; (2) 使学生掌握矩估计及最大似然估计的方法;(3) 使学生掌握评价估计量优劣的四个标准,尤其是前三个标准; (4) 使学生了解矩估计、最大似然估计的原理. 2、 本章的重点本章重点是求未知参数的矩估计与最大似然估计的方法以及如何对求出的估计量的优良性进行评价.二、教学内容本章主要分2节来讲述.一、参数估计问题这里所指的参数是指如下三类未知参数：1、 类型已知的分布中所含的未知参数θ.如二点分布b(1, p )中的概率p ；正态分布),(2σμN 中的μ和2σ;2、 分布中所含的未知参数θ的函数：如正态分布),(2σμN 的变量X 不超过给定值a 的概率)()(σμ-Φ=≤a a X P 是未知参数σμ,的函数；3、 分布的各种特征数也都是未知参数，如均值EX ，方差VarX ，分布中位数等等. 一般场合，常用θ表示参数，参数θ所有可能取值的集合称为参数空间，记为Θ.参数估计问题就是根据样本对上述各种参数做出估计.二、概率函数总体X 的概率函数),(θx p 是指：当X 为离散型总体时，),(θx p 就是总体的分布列；当X 为连续性总体时，),(θx p 就是总体的密度函数.三、参数估计形式分为点估计与区间估计.设n x x x ,,,21 是来自总体的样本，我们用一个统计量),,(1^^n x x θθ=的取值作为θ的估计值，^θ称为θ的点估计量，简称估计.若给出参数θ的估计是一个随机区间),(θθ，使这个区间),(θθ包含参数真值的概率大到一定程度，此时称),(θθ为参数θ的区间估计.§6.1点估计的几种方法教学目的：要求学生了解参数点估计的基本思想，理解参数点估计的基本概念，熟练运用替换原理、矩法估计和最大似然估计对参数进行估计.教学重点：矩法估计、最大似然估计.教学难点：运用矩法估计、最大似然估计对参数进行估计.教学内容：本节内容包括替换原理及矩法估计，最大似然估计.6.1.1 替换原理及矩法估计用样本矩去替换总体矩（矩可以是原点矩也可以是中心矩），用样本矩的函数去替换总体矩的函数，这就是替换原理.用替换原理得到的未知参数的估计量称为矩法估计.注 矩法估计适用于总体分布形式未知场合，因此只要知道总体相应的矩即可，而不必知道其具体分布. 一 矩法估计在总体分布位置的情况下，用样本矩去替换总体矩 如 用样本均值x 估计总体均值()E X ，即^()=E X x . 用样本方差2n s 估计总体方差Var()X ，即^2ar()=s n V X用事件A 出现的频率 估计事件A 发生的概率用样本p 分位数估计总体的p 分位数,特别地，用样本中位数去估计总体中位数. 例6.1.1 对某型号的20辆汽车记录其每5L 汽油的行驶里程，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9经计算可得=28.695x ，2=0.9185n s ，0.5=28.6m ，由此给出总体均值，方差和中位数的估计分别为28.695,0.9185,28.6.二 概率函数),(θx p 已知时未知参数的矩法估计设总体的概率函数)(1k x p θθ，，； ，Θ∈),,(1k θθ 是未知参数，n x x x ,,,21 是 总体X 的样本，若）（kX E 存在，则）（jX E k j ,<∀存在.设k j X E k j j j ,,2,1),,,(1 ===θθνμ）（，如果k θθ,,1 也能够表示成k μμ,,1 的函数k j k j j ,,2,1),,,(1 ==μμθθ，则可给出j θ的矩估计量为k j a a k j j ,,2,1),,,(ˆˆ1 ==θθ，其中k j x n a n i ji j ,,2,1,11==∑=设),,(1k g θθη =是k θθ,,1 的函数，则利用替换原理可得到η的矩估计量)ˆ,,ˆ(ˆ1kg θθη =，其中j θˆ是j θ的矩估计，k j ,,2,1 =. 例6.1.2 设总体为指数分布，其密度函数为0,);(>=-x e x p xλλλ，n x x x ,,,21 为样本，0>λ为未知参数，求λ的矩估计.解 λλ1),(~=∴EX Exp X ，EX 1=∴λ，x1ˆ=∴λ为λ的矩估计. 注 21),(~λλ=∴VarX Exp X ，VarX1=∴λ SS 11ˆ2==∴λ也为λ的矩估计.因此矩估计不唯一，此时，尽量采用低阶矩给出未知参数的估计.例6.1.3 设总体],[~b a U X ，n x x x ,,,21 为样本，求b a ,的矩估计.解 12)(,2],,[~2a b VarX b a EX b a U X -=+=∴ 由⎪⎩⎪⎨⎧-=+=12)(22a b VarX b a EX ，得⎩⎨⎧+=-=VarX EX b VarX EX a 33， 所以b a ,的矩估计为ˆˆax b x ⎧=-⎪⎨=⎪⎩三 矩估计的步骤（1）计算总体的各阶矩jEX ，k j ,,2,1 =，令k j EX k j j j ,,2,1),,,(1 ===θθνμ；（2）解出j θ，即k j k j j ,,2,1),,,(1 ==μμθθ；（3）令k j a a k j j ,,2,1),,,(ˆˆ1 ==θθ，其中k j x n a n i ji j ,,2,1,11==∑=；（4）若),,(1k g θθη =，则)ˆ,,ˆ(ˆ1k g θθη =为η的矩估计量. 6.1.2 最大似然估计最大似然原理一个试验有若干个可能的结果A ，B ，C ， ，若在一次试验中结果A 出现，则一般认为试验条件对结果A 出现有利，也即A 出现的概率最大.例6.1.4 设有外形完全相同的两个箱子，甲箱有99个白球和一个黑球，乙箱有99个黑球和一个白球，今随机抽取一箱，并从中随机抽取一球，如果取出白球，问这球是从哪一箱取出的？解 从甲乙两箱均可取出白球，但计算得P （取出白球甲箱）10099=〉〉P （取出白球乙箱）1001= 据最大似然原理，则认为该球是从甲箱取出的.例 6.1.5 产品分为合格品和不合格品两类，用随机变量X 表示某个产品是否合格，0=X 表示合格品，1=X 表示不合格品，从而),1(~p b X ，其中p 未知是不合格品率，现抽取n 个产品看是否合格，得到样本n x x x ,,,21 ，这批观测值发生的概率为：∑-∑=-=========-=-=∏∏ni ini iiix n x ni x x ni i i n n p pp p x X p x X x X x X p p L 11)1()1()(),,,()(1112211当n x x x ,,,21 已知时，)(p L 仅是p 的函数，既然一次抽样观测到n x x x ,,,21 ，此时应认为试验条件对该组样本的出现有利，即该组样本出现的概率最大，从而可求出当p =？时)(p L 达到最大，此时把求出的p =？做为参数p 的估计就得到p 的最大似然估计，问题转化为求)(p L 的最大值点.如果总体为连续型的，求未知参数的最大似然估计仍可转化为求)(p L 的最大值点问题.为此给出似然函数与最大似然估计的定义. 似然函数与最大似然估计定义 6.1.1 设总体X 的概率函数为Θ∈θθ),;(x p 是一个未知参数或几个未知参数组成的参数向量, n x x x ,,,21 为来自总体X 的样本，称样本的联合概率函数为似然函数，用),,;(1n x x L θ表示，简记为)(θL ，即∏===ni i n x p x x L L 11),(),,;()(θθθ如果统计量),,,(ˆˆ21nx x x θθ=满足 )(max )ˆ(θθθL L Θ∈= 则称),,,(ˆˆ21nx x x θθ=是θ的最大似然估计，简记为MLE. 由于x ln 是x 的单调增函数，因此对数似然函数)(ln θL 达到最大与似然函数)(θL 达到最大是等价的.求最大似然估计的两种方法 (1)似然方程法当)(θL 是可微函数时，)(θL 的极大值点一定是驻点，从而求最大似然估计往往借助于求下列似然方程（组）0)(ln =∂∂θθL 的解得到，而后利用最大值点的条件验证求出的是最大值点.例6.1.6 设一个试验有三种可能结果，其发生概率分别为23221)1(),1(2,θθθθ-=-==p p p ，现做了n 次实验，观测到三种结果发生的次数分别是321,,n n n ，求θ的最大似然估计.解 略.例6.1.7对正态总体),(2σμN ，),(2σμθ=是二维参数, n x x x ,,,21 为其样本，求2,σμ的最大似然估计.解：R x ex f X x ∈=--222)(21),;(~σμσπσμ所以似然函数为：∏=----∑===-ni x ni i ni x eeL 1)(22122212222)()2(21),(μσσμπσσπσμ取对数：∑=--+-=ni ixn L 12222)(21)ln 2(ln 2),(ln μσσπσμ分别对μ，2σ求导数：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==n i i ni i x n L x L 12422120ˆ)(212)(ln 0ˆ)(1)(ln μσσσμσμ )2()1(由（1）11n i i x x n =⇒μ==∑，代入（2）2221111()()n n i i i i x x x n n ==⇒σ=-μ=-∑∑∴2,σμ的极大似然估计值分别为： x x n n i i ==∑=11ˆμ；∑=-=n i i x x n 122)(1ˆσ 2,μσ的极大似然估计量分别为：11ˆn i i X x n μ===∑，222*11ˆ(-)n i i x x s n σ===∑ （2）定义法虽然求导函数是求最大似然估计量最常用的方法，但并不是所有场合求导都是有效的. 例6.1.8 设n x x x ,,,21 是均匀分布),0(~θU X 的样本，求θ的最大似然估计. 解：由已知X 概率函数为10(,)=0x p x θθθ⎧<≤⎪⎨⎪⎩，，其它（θ＞0）设n x x x ,,,21 为取自X 的样本则，()11,0<()=;0,ni ni i x L f x θθθθ=⎧≤⎪=⎨⎪⎩∏其它⎪⎩⎪⎨⎧≤≤<=≤≤≤≤其它,0}{}{min 0111θθi ni i ni n x man x ，由于(,)p x θ与θ有关，不存在易解的似然方程，我们由定义，找)(θL 的最大值点，由)(θL 的表达式，θ越小nL θθ1)(=就越大因)(}{max n i L x x =≥θ，所以)(n x =θ时)(θL 达极大. 最大似然估计的不变性性质 如果θˆ是θ的最大似然估计，则对任一函数)(θg ，)ˆ(θg 是)(θg 的最大似然估计. 注 上述性质称为最大似然估计的不变性，从而使求复杂结构的参数的最大似然估计变得容易，具体应用略.例6.1.9 对正态总体),(2σμN ，),(2σμθ=是二维参数, n x x x ,,,21 为其样本，已知2,σμ的最大似然估计：11ˆn i i X x n μ===∑，222*11ˆ(-)n i i x x s n σ===∑，有最大似然估计的不变性可得标准差σ的MLE 为2*ˆs σ=， 概率3-(<3)=()P X μσΦ的MLE 为*3-()xsΦ， 总体0.90分位数0.900.90=+x u μσ⋅的MLE 为*0.90+x s u ⋅.§6．2点估计的评价标准教学目的：要求学生了解相合性、无偏性、有效性和均方误差的基本思想，理解相合性、无偏性、有效性和均方误差的基本概念，熟练掌握相合性、无偏性和有效性的判别方法.教学重点：相合估计、无偏估计和有效性.教学难点：如何确定相合估计、无偏估计和有效性.教学内容：本节内容包括相合性，无偏性，有效性和均方误差.我们已经看到，点估计有各种不同的求法，为了在不同的点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量使用不同的评价标准可能会得到完全不同的结论，因此，在评价某一个估计好坏时，首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准是所有的估计都应该满足的，它是衡量估计是否可行的必要条件，这就是估计的相合性.6.2.1 相合性定义6.2.1 设Θ∈θ为未知参数，),,,(ˆˆ21nn n x x x θθ=是θ的一个估计量，n 是样本容量，若对任一0>ε 有0)ˆ(lim =>-∞→εθθnn P 即),,,(ˆˆ21n n n x x x θθ=依概率收敛于θ，则称),,,(ˆˆ21nn n x x x θθ=为θ的相合估计. 相合性被认为是对估计的一个最基本要求，如果一个估计量在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计是很值得怀疑的，通常，不满足相合性要求的估计一般不予考虑.注 证明估计的相合性一般可应用大数定律或直接用定义来证，有时借助于依概率收敛的性质.例6.2.1设n x x x ,,,21 是来自正态总体),(2σμN 的样本，则由辛钦大数定律及依概率收敛的性质知 ：x 是μ的相合估计，*2s 是2σ的相合估计，2s 也是2σ的相合估计.相合性的判别定理定理6.2.1 设),,,(ˆˆ21nn n x x x θθ=是θ的一个估计量，若 0ˆlim ,ˆlim ==∞→∞→nn n n Var E θθθ 则),,,(ˆˆ21nn n x x x θθ=是θ的相合估计. 证明 由切比雪夫不等式知：0>∀ε有22)ˆ()ˆ(εθθεθθ-≤≥-nnE P222ˆ2ˆ)ˆ(θθθθθθ+-=-）（）（n n n E E E 22ˆ2)ˆˆθθθθθ+-+=）（（）（n n n E E Var=-∴∞→2)ˆ(lim θθn n E ]ˆ2)ˆ(ˆ[lim 22θθθθθ+-+∞→nn n n E E Var 02022=+⨯-+=θθθθ 所以 0)ˆ(lim )ˆ(lim 022=-≤≥-≤∞→∞→εθθεθθn n n n E P 所以0)ˆ(lim =≥-∞→εθθnn P .例 6.2.2 设n x x x ,,,21 是均匀分布),0(~θU X 的样本，证明：θ的最大似然估计)(ˆn x =θ是θ的相合估计. 分析 直接验证定理6.2.1的条件.证明 略.定理 6.2.2 若nk n n θθθˆ,,ˆ,ˆ21 分别是k θθ,,1 的相合估计，),,(1k g θθη =是k θθ,,1 的连续函数，则)ˆ,,ˆ(ˆ1nkn n g θθη =是),,(1k g θθη =的相合估计， 证明 略.例 6.2.3 设一个试验有三种可能结果，其发生概率分别为23221)1(),1(2,θθθθ-=-==p p p ，现做了n 次实验，观测到三种结果发生的次数分别是321,,n n n ，n n n n =++321证明：n n 11ˆ=θ，,1ˆ32n n -=θnn n 2ˆ213+=θ均是θ的相合估计.分析 直接验证定理6.2.2的条件. 证明 略.6.2.2 无偏性定义6.2.2 ),,,(ˆˆ21nx x x θθ=是θ的一个估计，Θ∈θ，若对Θ∈∀θ，有θθ=ˆE ，则称),,,(ˆˆ21nx x x θθ=是θ的无偏估计，否则称为有偏估计. 注 相合性是大样本所具有的性质，而无偏性对一切样本均可以用.无偏性可以改写成0)ˆ(=-θθE ，这表明无偏估计没有系统偏差，当我们使用),,,(ˆˆ21n x x x θθ=估计θ时，由于样本的随机性，),,,(ˆˆ21nx x x θθ=与θ总是有偏差的，这种偏差时而正，时而负，时而大，时而小，无偏性表示，把这些偏差平均起来其值为零，这就是无偏性的含义.例6.2.4 对任一总体而言，当总体的k 阶矩k μ存在时，样本的k 阶原点矩k a 是总体的k 阶矩k μ的无偏估计.当总体的2阶矩存在时，样本方差∑=--=ni i x x n S 122)(11是总体方差VarX 的无偏估计，但∑=-=ni i x x n S122*)(1不是总体方差VarX 的无偏估计. 注 无偏性不具有不变性，即若),,,(ˆˆ21nx x x θθ=是θ的一个无偏估计，一般而言)ˆ(θg 不是)(θg 的无偏估计，除非)ˆ(θg 是θˆ的线性函数.例6.2.5 设正态总体~X ),(2σμN ，,n x x x ,,,21 为其样本，∑=--=ni i x x n S 122)(11是2σ的无偏估计，证明：2S S =不是σ的无偏估计.证明 略.注 （1）无偏估计可以不存在；（2）无偏估计可以不唯一；（3）无偏估计未必是一个好的估计.具体例子略.6.2.3 有效性参数的无偏估计可以有很多，如何在无偏估计中进行选择？直观的想法是希望该估计围绕在参数真值的波动越小越好，波动大小可用方差来衡量，因此人们常用无偏估计的方差的大小作为度量无偏估计优劣的标准，这就是有效性.定义6.2.3 设21ˆ,ˆθθ是θ的两个无偏估计，如果对任意的Θ∈θ，有 )ˆ()ˆ(21θθVar Var ≤ 且至少有一个Θ∈θ使得上述不等式严格成立，则称1ˆθ比2ˆθ有效.例 6.2.6 设n x x x ,,,21 为取自某总体的样本，记总体均值为μ，总体方差为2σ，则11ˆx =μ，x =2ˆμ都是μ的无偏估计，且1ˆμ比2ˆμ有效. 证明 略.例 6.2.7 设n x x x ,,,21 为取自),0(~θU X 总体的样本，对θ的两个无偏估计)(211ˆ,2ˆn x nn x +==θθ，证明：1ˆθ比2ˆθ有效. 证明 略.6.2.4 均方误差无偏估计是估计的一个优良性质，对无偏估计我们还可以通过其方差进行有效性的比较，然而不能由此认为：有偏估计一定是不好的估计，在有些场合，有偏估计比无偏估计更优，这就涉及如何对有偏估计进行评价.一般而言，在样本量一定时，评价一个点估计的好坏使用的度量指标总是点估计值),,,(ˆˆ21nx x x θθ=与参数真值θ的距离的函数，最常用的函数是距离的平方.由于具有随机性，可以对该函数求期望，这就是下式给出的均方误差2)ˆ()ˆ(θθθ-=E MSE 简单的推导可得到2)ˆ()ˆ()ˆ(θθθθ-+=E Var MSE 若θθ=ˆE ，则)ˆ()ˆ(θθVar MSE =.当),,,(ˆˆ21n x x x θθ=不是θ的无偏估计时，对均方误差)ˆ(θMSE ，不仅要看其方差的大小，还要看偏差大小.在均方误差的标准下，有些有偏估计优于无偏估计.例 6.2.8 设n x x x ,,,21 为取自),0(~θU X 总体的样本，在均方误差的标准下，)(012ˆn x n n ++=θ是θ的有偏估计，但)(012ˆn x n n ++=θ要优于)(11ˆn x nn +=θ这个无偏估计. 证明 略.§6.3 最小方差无偏估计教学目的：要求学生了解最小方差无偏估计的基本思想，理解最小方差无偏估计的基本概念，能用零无偏估计法判别最小方差无偏估计.能计算总体分布的Fisher 信息量和待估参数的C-R 下界，能用C-R 不等式判别有效估计.掌握最大似然估计相合渐近正态性.教学重点：最小方差无偏估计、C-R 不等式.教学难点：零无偏估计法判断最小方差无偏估计和C-R 不等式.教学内容：本节内容包括：Rao-Blackwell 定理，最小方差无偏估计，Cramer-Rao 不等式.6.3.1 Rao-Blackwell 定理定理6.3.1 （Rao-Blackwell 定理）设X 和Y 是两个随机变量，(X)=,(X)>0E Var μ，我们用条件期望构造一个新的随机变量()Y ϕ，其定义为()=E(X|Y=y)Y ϕ，则有(())=,Var((Y))Var(X)E Y ϕμϕ≤.其中等号成立的充分必要条件是X 和()Y ϕ 几乎处处相等. 将定理6.3.1应用到参数估计问题中可得定理 6.3.2 设总体概率密度函数是(;)p x θ，12,,,n x x x 是其样本，12=(,,,)n T T x x x 是θ的充分统计量，则对θ的任一无偏估计^^12=(,,,)n x x x θθ，令~^=(|)E T θθ，则~θ也是θ的无偏估计，且~^Var()Var()θθ≤. 6．3.2 最小方差无偏估计定义6.3.1 对参数估计问题，设^θ是θ的无偏估计，若对θ的任一个无偏估计量~θ，在参数空间Θ上都有~~()()Var Var θθθθ≤则称^θ为θ的一致最小方差无偏估计，简记为UMVUE.如果UMVUE 存在，则它一定是充分统计量的函数.一般来说，如果依赖充分统计量的无偏估计只有一个，则它就是UMVUE. 下面给出一个UMVUE 的判断准则.定理6.3.3 设12=(,,,)n X x x x 是来自某总体的一个样本，^^=)X θθ（是θ的一个无偏估计，^<+Var θ∞（），若对任意一个满足(()=0E X ϕ）的()X ϕ都有 ^(,)=0,Cov θθϕθ∀∈Θ，则^θ是θ的UMVUE.例6.3.26.3.3 Gramer-Rao 不等式定义6.3.2 设总体的概率函数(;),,p x θθ∈Θ满足下列条件： （1） 参数空间Θ是直线上的一个开区；（2） 支撑{:(;)>0}S x p x θ=与θ无关； （3） 导数(;)p x θθ∂∂对一切,θ∈Θ都存在； （4） 对(;),p x θ积分与微分运算可交换次序，即(;)(;)p x dx p x dx θθθθ+∞+∞-∞-∞∂∂=∂∂⎰⎰（5） 期望2[ln (;)]E p x θθ∂∂存在.则称2()[ln (;)]I E p x θθθ∂=∂为总体分布的费希尔（Fisher ）信息量. 例6.3.3定理6.3.4 (Gramer-Rao 不等式) 设定义6.3.2的条件满足，12,,,n x x x 是来自该总体X 的一个样本，12=(,,,)n T T x x x 为()g θ的任一无偏估计，若'()()=g g θθθ∂∂存在，且对一切,θ∈Θ对11--=1()=,,);)nn i n i g T x x p dx dx θθ∞∞∞∞∏⎰⎰（（x 的微分可在积分号下进行，即'11--=1111--=1=1()=,,)(;))=,,)[ln ;)];))nn i ni nnn i i ni i g T x x p dx dx T x x p p dx dx dx θθθθθθ∞∞∞∞∞∞∞∞∂∂∂∂∏⎰⎰∏∏⎰⎰（（x （（x （x对离散总体，则将上述积分改为求和符号后，等式仍然成立，则有'2[()]()()g Var T nI θθ≥ （6.3.9）该式称为克拉美-罗（C-R ）不等式，'2[()]()g nI θθ称为()g θ的无偏估计的方差的C-R 下界，简称()g θ C-R 下界.特别，对θ的无偏估计^θ，有^1()()Var nI θθ≥.§6.4 贝叶斯估计教学目的：要求学生了解贝叶斯估计的相关内容. 教学重点：贝叶斯估计的思想和简单贝叶斯估计的计算.教学难点：贝叶斯估计的思想.教学内容：本节内容包括统计推断的基础，贝叶斯公式的密度函数形式，贝叶斯估计，共轭先验分布6.4.1 统计推断的基础统计推断是根据样本信息对总体分布或总体的特征数进行推断.统计推断用到两种信息：总体信息和样本信息，而贝叶斯学派则认为统计推断还用到第三种信息：先验信息. （1） 总体信息总体信息即总体分布或总体所属分布族提供的信息. （2） 样本信息样本信息即抽取样本所得观测值提供的信息.（3） 先验信息先验信息就是抽样之前有关统计问题的一些信息.例6．4.1基于上述三种信息进行统计推断的统计学称为贝叶斯统计学.贝叶斯学派的基本观点是：任一未知量θ都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布.6.4.2 贝叶斯公式的密度函数形式（1）总体依赖于参数θ的概率函数在经典统计中记为(;)p x θ，它表示参数空间Θ中不同的θ对应不同的分布.在贝叶斯统计学中记为(|)p x θ，它表示在随机变量θ取某个给定值时总体的条件概率函数.（2）根据参数 θ的先验信息确定先验分布πθ（）. （3）从贝叶斯观点来看，样本的产生要分两步，首先设想从先验分布)(θπ产生一个样本0θ.第二步从)|(0θX p 中产生一组样本，这时样本),,(1n x x X =的联合条件概率函数为)|()|,()|(01010θθθi ni n x p x x p X p =∏== ，这个分布综合了总体信息和样本信息.(4) 由于0θ是设想出来的，故要用πθ（）进行综合，样本X 和参数θ的联合分布为)()|(),(θπθθX p X h =.(5)有了样本观察值),,(1n x x X =后，对),(θX h 作如下分解：)()|(),(X m X X h θπθ=，)(X m 是X 的边际概率函数：⎰⎰ΘΘ==θθπθθθd X p d X h X m )()|(),()(，⎰Θ==θθπθθπθθθπd X p X p X m X h X )()|()()|()(),()|(，称为θ的后验分布.6.4.3 贝叶斯估计由后验分布)|(X θπ估计θ有三种常用方法：（1） 使用后验分布的密度函数最大值点作为θ的点估计的最大后验估计； （2） 使用后验分布的中位数作为θ的点估计的后验中位数估计； （3） 使用后验分布的均值作为θ的点估计的后验期望估计. 用的最多的是后验期望估计，一般简称贝叶斯估计，记为^B θ.例6.4.2 例6.4.36.4.4 共轭先验分布定义6.4.1 设θ是总体参数，)(θπ是其先验分布，若对任意的样本观测值得到的后验分布)|(X θπ与)(θπ属于同一分布族，则称该分布族是θ的共轭先验分布族。
概率论与数理统计第6章 参数估计
(1) 当样本量趋于无穷时，有E(s*2) 2，
我们称 s*2 为 2的渐近无偏估计。
(2)
若对s*2作如下修正：
s2
ns *2 n 1
1 ，n
n 1 i1
( xi
x )2
则 s2 是总体方差的无偏估计。
例6.1.2 设总体为N( , 2)，x1 , x2 , …, xn是样本， 则s2是 2的无偏估计，且可求出
ˆj j(a1, ,ak ), j 1, ,k ,
其中
E(
X
k
)
1 n
n i1
xik
,
E X
E X k
1 n
n
xi
i1
k
x
例6.2.2 设总体服从指数分布，由于EX=1/，
即 =1/ EX，故 的矩法估计为
ˆ 1/ x
另外，由于Var(X)=1/2，其反函数为 1/ 因Va此r(X，) 从替换原理来看，的矩法估计也可取为
ˆ1 1/ s
s 为样本标准差。这说明矩估计可能是不唯一的，
这是矩法估计的一个缺点，此时通常应该尽量采
用低阶矩给出未知参数的估计。
例6.2.3 x1, x2, …, xn是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2，
由于
EX a b , 2
不难推出
Var( X ) (b a)2 , 12
参数估计的形式有两种：点估计与区间估计。
设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 ˆ ˆ(x1,的,取xn值) 作为 的 估计值， 称为ˆ的点估计（量），简称估计。 在这里如何构造统计量 并没有明ˆ确的规定，
第六章估计基本理论—参数估计
Cramer-Rao下界定义：任何一个无偏估计子方差 的下界常叫做Cramer-Rao下界。
第六章估计基本理论—参数估计
8/58
第六章 估计的基本理论—参数估计 6．1估计子的性能
主讲:刘颖 2009年秋
定理1.1：令 X（ x1,x2, ,xN)为 一 个 样 fX 本 /是 向 量
X的 条 件 密 ˆ是 度 的一个。 无偏若 估计子，且
即 ln fX|Kˆ
其K 中 （ ）是 的某个 x的 不正 包整 含数。
主讲:刘颖 2009年秋
1．1估计子的性能 令x(t)是一个与未知参数θ有关的随机信号，
x1,x2,,xN 是采样值，
θ的估计子记为 ˆg(x1,x2, ,xN )
其g中 (x1,x2, ,xN)是用来 的估 一计 个样本函
1. 无偏性
无偏估计定义：若Eˆ,则 ˆ就是 的一个无
否则就是有偏估计子。
参数估计：利用样本数据来估计待定的参数。 参数估计方法： （1）点估计：需求一个估计子，它将给出待定参数的单个估 计值，这个估计值叫点估计值。 （2）区间估计：确定的是待定参数可能位于某个区间，这个 区间叫做置信区间估值。
第六章估计基本理论—参数估计
3/58
第六章 估计的基本理论—参数估计 6．1估计子的性能
主讲:刘颖 2009年秋
渐进无偏估计定义：
ˆ是 的一个有l偏 ib m 估 ˆ0 ， 计则 ˆ子 是 称 ，若
N
的渐进无偏估计子。
例题6.2 线性平稳过程的自相关函数的估计子为
R ˆ(m)1Nmx(n)x(nm)
Nn1 若假设观测数据 x(m)是独立的。判断它是否为无偏估 计，若是有偏估计，再判断是否为渐进无偏估计。
概率论与数理统计(茆诗松)第二版课后第六章习题参考答案
习题 6.1
1． 设 X1, X2, X3 是取自某总体容量为 3 的样本，试证下列统计量都是该总体均值µ 的无偏估计，在方差存 在时指出哪一个估计的有效性最差？
（1） µˆ1
=
1 2
X1
+
1 3
X
2
+
1 6
X3 ；
（2） µˆ2
=
1 3
X1
+
1 3
X
2
+
1 3
X
3
；
（3） µˆ3
=
n1 + n2
n1 + n2
n1 + n2
8． 设总体 X 的均值为µ ，方差为σ 2，X1, …, Xn 是来自该总体的一个样本，T (X1, …, Xn)为µ 的任一线性
无偏估计量．证明： X 与 T 的相关系数为 Var( X ) Var(T ) ．
n
∑ 证：因 T (X1, …, Xn)为µ 的任一线性无偏估计量，设 T ( X1, L, X n ) = ai X i ， i=1
2． 设 X1, X2, …, Xn 是来自 Exp(λ)的样本，已知 X 为 1/λ的无偏估计，试说明1/ X 是否为λ的无偏估计． 解：因 X1, X2, …, Xn 相互独立且都服从指数分布 Exp(λ)，即都服从伽玛分布 Ga(1, λ)，
n
∑ 由伽玛分布的可加性知 Y = X i 服从伽玛分布 Ga(n, λ)，密度函数为 i=1
=
(n
2 + 1)(n
+
2)
，
E(Y(2n) )
=
1 y 2 ⋅ nyn−1dy = n ，
第六章最大似然估计
第六章数理统计的基本概念一、基本教学要求与主要内容(一)教学要求1．理解总体、个体、简单随机样本和统计量的概念，掌握样本均值、样本方差及样本矩的计算。
2．了解分布、t分布和F分布的定义和性质，了解分位数的概念并会查表计算。
3．掌握正态总体的某些常用统计量的分布。
4．了解最大次序统计量和最小次序统计量的分布。
本章重点：统计量的概念及其分布。
(二)主要内容1．总体、个体我们把研究对象的全体称为总体(或母体)，把组成总体的每个成员称为个体。
在实际问题中，通常研究对象的某个或某几个数值指标，因而常把总体的数值指标称为总体。
设x为总体的某个数值指标，常称这个总体为总体X。
X的分布函数称为总体分布函数。
当X为离散型随机变量时，称X的概率函数为总体概率函数。
当X为连续型随机变量时，称X的密度函数为总体密度函数。
当X服从正态分布时，称总体X为正态总体。
正态总体有以下三种类型：(1)未知，但已知；(2)未知，但已知；(3)和均未知。
2．简单随机样本数理统计方法实质上是由局部来推断整体的方法，即通过一些个体的特征来推断总体的特征。
要作统计推断，首先要依照一定的规则抽取n个个体，然后对这些个体进行测试或观察得到一组数据，这一过程称为抽样。
由于抽样前无法知道得到的数据值，因而站在抽样前的立场上，设有可能得到的值为，n维随机向量()称为样本。
n称为样本容量。
(）称为样本观测值。
如果样本()满足（1）相互独立；(2) 服从相同的分布，即总体分布；则称()为简单随机样本。
简称样本。
设总体X的概率函数(密度函数)为，则样本（)的联合概率函数(联合密度函数为)3. 统计量完全由样本确定的量，是样本的函数。
即：设是来自总体X的一个样本，是一个n元函数，如果中不含任何总体的未知参数，则称为一个统计量，经过抽样后得到一组样本观测值，则称为统计量观测值或统计量值。
4. 常用统计量（1）样本均值：（2）样本方差：（3）样本标准差：它们的观察值分别为：这些观察值仍分别称为样本均值、样本方差和样本标准差。
相关函数-最小二乘法参数估计北工商
相关函数-最⼩⼆乘法参数估计北⼯商北京⼯商⼤学《系统辨识》课程上机实验报告（2014年秋季学期）专业名称：控制⼯程上机题⽬：相关函数-最⼩⼆乘法参数估计专业班级：计研班学⽣姓名：学号：指导教师：刘、刘2015年1 ⽉⽬录1实验⽬的 (1)2实验原理 (1)2.1 C OR-L S法的思路和算法 (1)2.2 C OR-L S法的计算步骤 (2)2.3 C OR-L S法的特点 (3)3实验内容 (3)4仿真结果 (3)5总结 (5)6附录 (6)6.1 仿真程序 (6)1 实验⽬的1. 利⽤相关函数-最⼩⼆乘结合法进⾏参数估计2. 运⽤MATLAB 编程，掌握算法实现⽅法2 实验原理第⼀步，利⽤相关函数对数据进⾏⼀次相关分析，滤去有⾊噪声的影响，获得被辨识对象的⾮参数模型——脉冲响应（或相关函数）；第⼆步，利⽤最⼩⼆乘法进⼀步估计模型的参数。
因此，这种⽅法⼜称⼆步法。
在辨识中，输⼊信号既可以是⽩噪声、伪随机⼆位式信号，也可以是有⾊噪声。
实践证明，这种辨识⽅法效果⾮常好。
2.1 C or-Ls 法的思路和算法离散随机序列(){}u k 和(){}y k (平稳遍历) 有：101()()()N uu N k R u k u k N Lim ττ-→∞==-∑(1)11()()()N uy n k R u k y k N Lim ττ-→∞==-∑(2)考虑过程：()()()()()()1111n n y k a y k a y k n bu k b u k n e k +-+?+-=-+?+-+ (3)设(){}u k 和(){}y k 不相关，即 0ue R ≡，将式（3）左右两边同乘以()u k τ-，有()()()()()()11()()()()()()11 n n u k y k a u k y k a u k y k n b u k u k b u k u k n u k e k ττττττ-+--+?+--=--+?+--+- (4)令0 ,, 1k N =?-，共得N 个等式，将N 个等式相加并除以N ，得出：11()()()()()()11 uy uy n uy uu n uu R a R a R n b R b R n h ττττττ+-+?+-=-+?+-+ (5) 如果从样本数据计算出()1,..,0,1,,n L τ=--，共L 组相关函数，由式（5）得出L 个由*uy R （）和*uu R （）组成的⽅程组：11(1)(0)(1)(0)(1)(2)(1)(2)(1)(2)*()(1)()(1)()uy uy uy uu uu uy uy uy uu uu n uy uy uy uu uu n R R R n R R n a R R R n R R n a b R L R L R L n R L R L n b --------???=??------??(1)()h h L ??+???(6)上式可表达成如下矩阵形式：L L L g R h θ=+(7)上式与最⼩⼆乘的N N N N y θε=Φ+ 相似，故⽤LS 法可得出参数估计θ为：()1T T L L L L R R R g θ-=+(8)为保证()T L L R R 满秩，要求2L n ≥。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6. 相关函数的估计（循环相关）6.1. 相关函数与协方差函数 6.1.1. 自相关函数和自协方差函数1、 自相关和自协方差函数的定义相关函数是随机信号的二阶统计特征，它表示随机信号不同时刻取值的关联程度。
设随机信号)(t x 在时刻j i t t ,的取值是j i x x ,，则自相关函数的定义为ji j i j i j iNn n jn iN j i j i x dxdx t t x x f x xx xNx x E t t R ⎰⎰∑====∞→),;,(1lim ][),(1)()(式中，上角标“（n ）”是样本的序号。
自协方差函数的定义与自相关函数的定义相似，只是先要减掉样本的均值函数再求乘积的数学期望。
亦即：ji j i j i x j x iNn x n jx n iN x j x i j i x dxdx t t x x f m x m xm x m xNm x m x E t t C j i j i j i ⎰⎰∑--=--=--==∞→),;,())(())((1lim )])([(),(1)()(当过程平稳时，);,(),;,(τj i j i j i x x f t t x x f =。
这时自相关函数和自协方差函数只是i j t t -=τ的函数，与j i t t ,的具体取值无关，因此可以记作)(τx R 和)(τx C 。
对于平稳且各态历经的随机信号，又可以取单一样本从时间意义上来求这些统计特性：时间自相关函数为：⎰+-∞→+=22)()(1lim)(TT T x dt t x t x TR ττ时间自协方差函数为：⎰+-∞→-+-=22])(][)([1lim)(TT x x T x dt m t x m t x TC ττ在信号处理过程中，有时会人为地引入复数信号。
此时相应的定义变成][),(*j i j i x x x E t t R =)]()[(),(*j i x j x i j i x m x m x E t t C --=式中，上角标*代表取共轭。
2、 自相关和自协方差函数的性质自相关和自协方差函数的主要性质如下：（1） 对称性当)(t x 时实函数时，)(τx R 和)(τx C 是实偶函数。
即)()(),()()()(),()(**ττττττττx x x x x x x x C C R R C C R R =-=-==当)(t x 时复值函数时，)(τx R 和)(τx C 具有共轭对称性。
即)()(),()(**ττττx x x x C C R R =-=-（2） 极限值)(,)()0(,)0(2=∞=∞==x x x xx x x C m R C D R σ（3） 不等式 当0≠τ时，)()0(),()0(ττx x x x C C R R ≥≥因此，)0()()(x x x R R ττρ=是一个小于等于1的无量纲量，称为自相关系数。
（4） 自相关和自协方差函数之间的关系一般情况下：j i x x j i x j i x m m t t C t t R +=),(),(平稳情况下：2)()(x x x m C R +=ττ（5） 非负定性当)(t x 是实函数时，取一组离散时刻N t t t ,,,21 和一组对应的任意实数N k k k ,,,21 ，则必有0)(11≥-∑∑==j Ni Nj i j i xk k t t R当)(t x 是复值函数时，相应的系数也是复值时，则有0)(*11≥-∑∑==j Ni Nj i j i xk k t t R6.1.2. 互相关函数和互协方差函数1、 互相关和互协方差函数的定义自相关函数和自协方差函数用来描述是单一随机信号的统计特征。
对于两个不同的随机信号则要采用互相关函数和互协方差函数来表示两个随机信号的不同时刻取值的关联程度。
设随机信号)(t x ,)(t y ，在时刻j i t t ,的取值是j i y x ,，则互相关函数的定义为ji j i j i j iNn n jn iN j i j i xy dydx t t y x f y xy xNy x E t t R ⎰⎰∑====∞→),;,(1lim ][),(1)()(式中，上角标“（n ）”是样本的序号。
互协方差函数的定义与互相关函数的定义相似，只是先要减掉样本的均值函数再求乘积的数学期望。
亦即：ji j i j i y j x iNn y n jx n iN y j x i j i xy dydx t t y x f m y m xm y m xNm y m x E t t C j i j i j i ⎰⎰∑--=--=--==∞→),;,())(())((1lim )])([(),(1)()(当过程平稳时，);,(),;,(τj i j i j i y x f t t y x f =。
这时互相关函数和互协方差函数只是i j t t -=τ的函数，与j i t t ,的具体取值无关，因此可以记作)(τxy R 和)(τxy C 。
对于平稳且各态历经的随机信号，又可以取单一样本从时间意义上来求这些统计特性：时间互相关函数为：⎰+-∞→+=22)()(1lim)(TT T xy dt t y t x TR ττ时间互协方差函数为：⎰+-∞→-+-=22])(][)([1lim)(TT y x T xy dt m t y m t x TC ττ在信号处理过程中，有时会人为地引入复数信号。
此时相应的定义变成][),(*j i j i y y x E t t R =)]()[(),(*j i y j x i j i xy m y m x E t t C --=式中，上角标*代表取共轭。
2、 互相关和互协方差函数的性质互相关和互协方差函数的主要性质如下：（1） 对称性当)(t x 时实函数时，)(τxy R 和)(τxy C 是实偶函数。
即)()(),()()()(),()(**ττττττττxy xy xy xy xy xy xy xy C C R R C C R R =-=-==当)(t x 时复值函数时，)(τxy R 和)(τxy C 具有共轭对称性。
即)()(),()(**ττττxy xy xy xy C C R R =-=-（2） 极限值)(,)(=∞=∞xy y x xy C m m R（3） 不等式[])0()0(21)(,)0()0()(y xxy y x xy R RR R R R +≤≤ττ（4） 互相关与互协方差之间的关系一般情况下：j i y x j i xy j i xy m m t t C t t R +=),(),(平稳情况下：y x xy xy m m C R +=)()(ττ6.2. 相关函数的直接估计(线性相关)1. 线性相关自相关函数的直接估计是根据定义，但是采用离散时间样本来计算的。
根据定义有：⎪⎭⎫ ⎝⎛=+=∑⎰-=+∞→+-∞→10221lim)()()(1lim)(N n m n n N x TT T x x x N m R dtt x t x TR ττ因此，当有限的数据点数N ，自相关函数的估计公式是：,2,1,0,1)(ˆ10±±=⎪⎪⎭⎫⎝⎛=∑--=+m x x N m R m N n m n n x注意，上式中的求和项总数不是N ，而是m N -。
因为当1--=m N n 时，1-=+N m n ，此时mn x +已经到达了N 点数据序列的边沿上。
2. 估计偏差自相关函数的直接估计的偏差：[][])(1)(ˆ10m R Nm N x x E N m R E x m N n m n n x -=⎪⎪⎭⎫ ⎝⎛=∑--=+可见，直接根据定义给出的自相关函数估计是有偏的，但是渐进无偏的。
根据这一估计偏差公式，还可以看出：延迟值m 俞大，估计的偏差也俞大。
这是因为当数据序列的总点数N 有限时，m 俞大，求和时可利用的数据俞少。
作为特例，当N m =，[]0)(ˆ=m R E x，此时偏差与相关函数值相等。
为了使估计无偏，可以对估计公式修正，按照下式进行无偏修正估计：,2,1,0,1)(ˆ1±±=⎪⎪⎭⎫⎝⎛-=∑--=+m x x m N m R m N n m n n x3. 估计方差自相关函数的方差特性分析要设计到随机过程的四阶矩,推导比较困难。
这里，给出对于高斯型随机过程，自相关函数有偏估计的方差公式：[][])()()(11)(ˆ21)1(n m R n m R n R N n m N m R Var x x x m N m N n x-++⎪⎪⎭⎫ ⎝⎛++=∑-----= 自相关函数无偏修正估计的方差公式：[]()[])()()(1)(ˆ21)1(2n m R n m R n R N n m mNNm R Var x x xm N m N n x-++⎪⎪⎭⎫ ⎝⎛++-=∑-----= 从上式可以看到，当∞→N 时，上述两种估计的方差都趋于零。
可以证明，即使随机过程不是高斯分布的，这一结论也成立。
不过，当数据序列点数N 有限，并且N m →时，无偏估计式的估计方差太大，远大于有偏估计式的估计方差，所以，实际应用中多采用有偏估计式。
实际工程中相关函数的应用价值，主要是根据相关函数的主峰值确定两个信号之间的时延值，这也是采用有偏估计式的另一个原因。
如果不考虑估计的计算工作量，采用直接估计算法，已经可以解决自相关函数的估计问题。
一般地，要求m N >>，通常要求样本点数N 为最大时延值m 的20倍以上。
在实际应用中，通常采用相关方法，确定两个信号间的时延值，为了达到较高的时间分辨率，采样频率较高，最大延时值m 一般较大，从而N 就很大，按照估计式就需要2/2N 次乘法运算。
例如时延点数取1024点，则数据样本点数至少要达到2万点，估计一次相关函数，至少要进行2万次乘法运算。
由于计算量非常大，不能满足实时估计的要求。
4. 直接估计算法需要说明的是，上述估计公式是理论推导过程，在计算机上实施的实际估计算法公式是：自相关函数的估计式：)1(,2,1,0,1)(ˆ10-±±±=⎪⎪⎭⎫⎝⎛=∑--=+N m x x N m R m N n m n n x如果先减掉信号的均值再进行计算，就得到自协方差函数的估计：)1(,,2,1,0,1)(ˆ10-±±±=⎪⎪⎭⎫⎝⎛=∑--=+N m x x N m C m N n m n n x互相关函数和互协方差函数也可以用类似算法来估计，只要把自相关或自协方差函数估计式中的一个信号用n y 代替即可。