参数估计理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
19
模板互相关法
两点注意 (1)模板的构造 在这种QRS检测方法中,构造模板有两种方法: a.分段函数法; b.典型信号法; 并将信号模板以数据形式存储起来。
20
模板互相关法
(2)对准的问题
求一个信号与另一个信号相关,要求这两个信号互
相对准。有两种方法:
a.利用每个信号上的基准点将模板和输入信号对准,
参数估计的基本理论
复习上次课的内容
随机信号和确定信号
是两类性质完全不同的信号,对它们的描述、分 析和处理方法也不相同。
随机信号是一种不能用确定数学关系式来描述的, 无法预测未来某时刻精确值的信号,随机信号在
任何时间的取值都是不能先验确定的随机变量
随机信号可用概率分布特性统计地描述。
2
平稳随机信号
严格平稳:概率密度函数与时间无关的随机
信号x(t)称为严格平稳随机信号
广义平稳:
(1)其均值为常数,即E{x(t)}=μx(常数)
(2)其二阶矩有界,即
E{x(t) x*(t)}=E{|x(t)|2}<∞
(3)其协方差函数与时间无关,仅与时间间隔
有关即 Cxx(τ)=E{[x(t)- μx][x(t- τ)- μx]*}
11
MATALB函数XCORR
MATLAB信号处理工具箱提供了计算随机信号相关 函数xcorr。
函数xcorr用于计算随机序列自相关和互相关函数。 调用格式为:
[c,lags]=xcorr(x,y[,maxlags,’option’])
式中,x,y为两个独立的随机信号序列,长度均为N; c为x,y的互相关估计;lags为相关估计c的序号向量, 其范围为[-maxlags:maxlags]。 该函数也可用于求一个随机信号序列x(n)的自相关 函数,调用格式为:
2
随机信号x(t)的方差表达式为: 1 T 2 2 x E[( x x ) ] lim [ x(t ) x ]2 dt T T 0 方差是信号幅值相对于均值分散程度的一种表示, 也是信号纯波动(交流)分量大小的反映。
6
离散随机信号的数字特征
若x(n)是离散的各态历经的平稳随机信号序列。类 似连续随机信号,其数字特征可由下面式子来表示: 均值 1 n x E[ x(n)] x(i) n i 1
14
15
两个平稳随机信号的二阶统计量
互相关函数
Rxy (t1 , t2 ) E{x(t1 ) y* (t2 )}
def
def
Cxy (t1 , t2 ) E{[ x(t1 ) x ][ y(t 2 ) y ]*} 互协方差函数
互相关系数
xy ( )
T
T
则功率谱密度定义为
| X T ( f ) |2 Pxx ( f ) lim E T 2T 对于零均值的平稳随机信号而言,存在
Pxx ( f ) Rxx ( )e j 2 f d
Rxx ( ) Pxx ( f )e j 2 f d
这些基准点是通过其他处理方法得到的; b.另一种方法是,考虑一段输入信号与模板间的连 续相关.每当一个新的信号数据点移进时,一个最 老的数据点同时就从这段中移出(一种先进先出结
构)。然后,求出这一段信号与模板相关系数。
21
线性系统输出
系统输出方程 y(t ) x(t ) h(t ) h(u)x *(t u )du
ˆ Rxx (m) E{x(n) x(n m)} 1 n x(i) x(i m) n m n n i 1
缺点:运算量大,速度慢
9
功率谱密度
定义:考虑在一有限时间段取值的随机过程x(t) , -T<t<T。计算其Fourier变换
X T ( f ) [ x(t ) x ]e j 2 ft dt
均值描述了随机信号的静态(直流)分量,它不随 时间而变化。 随机信号x(t)的均方值表达式为: 1 T 2 2 2 x E{x (t )} lim x (t )dt T T 0 均方值 表示了信号的强度或功率。
5
随机信号的数字特征
随机信号x(t)的均方根值表示为:
1 T 2 x E[ x (t )] lim x (t )dt T T 0 也是信号能量或强度的一种描述。
13
【例2】求带有白噪声干扰的频率为10HZ的正弦 信号和白噪声信号的自相关函数并进行比较。
7/18/2013
%信号 x1 x1=randn(1,length(x)); %产生一与x长度一致的随机 信号 [c,lags]=xcorr(x1,Lag,'unbiased'); %求随机信号x1 的无偏自相关 subplot(2,2,3),plot(t,x1); %绘制随机信号x1 xlabel('时间/s');ylabel('x1(t)');title('噪声信号'); grid on; subplot(2,2,4);plot(lags/Fs,c); %绘制随机信号x1的 无偏自相关 xlabel('时间/s');ylabel('Rx1(t)'); title('噪声信号的自相关'); grid on
18
模板互相关法
基本思路
如果两个信号波形形状相互匹配,就称这些信
号是相关的。互相关系数可确定两个或更多信号形
状间匹配的程度。
相关系数的值总是位于0和1之间。1值表明信号 与模板准确匹配。这个系数值确定了研究中的两信 号形状的匹配程度,而实际信号的幅值对相关函数 来说是无关紧要的.这种形状匹配,或QRS复波的 识别过程,与识别信号的自然途径是一致的.
N
[ x(i) x ]2
i 1
27
一般的参数估计问题:
从观测值x(t)中得到参数θ的估计
估计的 基本概念
若观测值x是信号s和噪声n的叠加,即: x=s(θ)+n 其中θ是信号s的参数
若能找到一个函数f(x),利用f(x1, x2 ,…, xN)可以 得到参数θ的估计值,那么我们可以称f(x1, x2 ,…, xN) 为参数θ的一个估计子(estimator)
Cxy ( ) Cxx (0)C yy (0)
16
两个平稳随机信号的统计关系
统计独立 统计不相关
f X ,Y ( x, y) f X ( x) fY ( y)
xy ( ) 0,
Cxy ( ) E{[ x(t) x ][ y(t ) y ]*} 0,
维纳-辛钦定理 (Wiener-Khinchine)
10
估计自相关函数的第二个方法: 功率谱密度反变换
(1)求数字信号x(n)的FFT
(2)估计功率谱密度
X(ω)=FFT{x(n)}
| X ( ) |2 Pxx ( ) lim E N N
(3)估计自相关函数 Rxx(m) = FFT-1{Pxx(ω)}
根据观测值从多种假设中选择出最合适的一种(假
设检验) 从含噪声的观测值中判断某种信号是否存在(估计)
参数估计:
假设数据服从一已知结构的概率模型,但模型某 些参数未知;从观测值中估计出信号的参数,如信 号的幅度、频率和相位等
24
随机信号处理的大部分内容侧重于参数化的
理论与方法:现代谱估计本质上是参数化谱 估计、自适应滤波器介绍的是时域或空域滤 波器参数的自适应更新;等等
25
40
第一节 估计子的性能
Performance of estimator
26
1、估计的基本概念
最简单的情况:
根据观测值(随机信号N个样本值x(1),x(2),…, x(N))估计出信号的一些统计特征量,如信号的均
值、方差、均方和相关函数等
1 N x x(i) N i 1 1 N 2 1 2 E[ x 2 (n)] x (i) x N i 1 N
功率谱密度与系统传递函数的模平方之乘积。
22
内容与要求
了解:参数估计的意义和作用 理解:
估计子的性能 无偏性、渐进无偏性 和有 效性 掌握: Bayes估计、最大似然估计、线性均方估计、 最小二乘估计的方法和性能
23
wenku.baidu.com
学习参数估计基本理论的意义
信号处理的基本任务是利用观测数据作出关 于信号与(或)系统的某种统计决策,如:
均方值
1 n 2 E[ x 2 (n)] x (i ) n i 1 1 n E[( x(n) x ) ] ( x(i) x ) 2 n i 1
2 x 2
方差
7
【例1】计算以长度N=100000的正态分布高斯随机 信号的均值、均方值、均方根值、方差和均方差
3
遍历性
平稳随机过程的概率分布不随时间的平移而
变化,全体随机变量集合的平均就可以用无 穷时间的平均来代替,这就是各态遍历假设。
4
随机信号的数字特征
若连续平稳随机信号x(t)是各态遍历的,则随机信号 x(t)均值可表示为: 1 T Ex(t ) x lim x(t )dt 0 T T
N=100000; %数据个数 randn('state',0); %设置产生随机数的状态 y=randn(1,N); %产生一个随机序列 disp('平均值:'); yMean=mean(y) %计算随机序列的均值 disp('均方值:'); y2p=y*y'/N %计算其均方值,这里利用了矩阵相乘的算法 disp('均方根:'); ysq=sqrt(y2p) %计算其均方根值 disp('标准差:'); ystd=std(y,1) %计算标准差 disp('方差:'); yd=ystd.*ystd
c=xcorr(x,maxlags)
12
【例2】求带有白噪声干扰的频率为10HZ的正弦 信号和白噪声信号的自相关函数并进行比较。
clf; N=1000; Fs=500; %数据长度和采样频率 n=0:N-1;t=n/Fs; %时间序列 Lag=100; %延迟样点数 randn('state',0); %设置产生随机数的初始状态 x=sin(2*pi*10*t)+0.6*randn(1,length(t)); %原始信号 [c, lags] = xcorr (x, Lag, 'unbiased'); %对原始信号进行无偏 自相关估计 subplot(2,2,1),plot(t,x); %绘原始信号x xlabel('时间/s');ylabel('x(t)');title('带噪声周期信号');grid on; subplot(2,2,2);plot(lags/Fs, c); %绘x信号自相关,lags/Fs为时 间序列 xlabel('时间/s');ylabel('Rx(t)'); title('带噪声周期信号的自相关');grid on;
8
单个平稳随机信号的二阶统计量
Rxx ( ) E{x(t ) x* (t )}
Cxx ( ) E{[ x(t ) x ][ x(t ) x ] } Rxx ( ) x
* 2
对于数字信号x(n),怎样估计自相关函数?
(1)按照自相关函数定义来估计
正交
Rxy ( ) E{[ x(t) y*(t ]} 0,
统计独立一定意味着统计不相关 若{x(t)}和{y(t)}的均值均为零,则不相关与正交等价 两个零均值的高斯随机信号,统计独立、不相关、 正交三者等价
17
QRS波形识别?
典型的心电信号
思考题
QRS波及其幅度和间期特征参数
系统传递函数 H ( f ) h(t )e j 2 ft dt
系统输出的自协方差函数
Cyy ( ) Cxx ( u1 u2 )h(u1 )h* (u2 )du1du 2 系统输出的功率谱密度
Pyy ( f ) Pxx ( f ) | H ( f ) |2 即线性系统输出信号的功率谱密度等于输入信号的
模板互相关法
两点注意 (1)模板的构造 在这种QRS检测方法中,构造模板有两种方法: a.分段函数法; b.典型信号法; 并将信号模板以数据形式存储起来。
20
模板互相关法
(2)对准的问题
求一个信号与另一个信号相关,要求这两个信号互
相对准。有两种方法:
a.利用每个信号上的基准点将模板和输入信号对准,
参数估计的基本理论
复习上次课的内容
随机信号和确定信号
是两类性质完全不同的信号,对它们的描述、分 析和处理方法也不相同。
随机信号是一种不能用确定数学关系式来描述的, 无法预测未来某时刻精确值的信号,随机信号在
任何时间的取值都是不能先验确定的随机变量
随机信号可用概率分布特性统计地描述。
2
平稳随机信号
严格平稳:概率密度函数与时间无关的随机
信号x(t)称为严格平稳随机信号
广义平稳:
(1)其均值为常数,即E{x(t)}=μx(常数)
(2)其二阶矩有界,即
E{x(t) x*(t)}=E{|x(t)|2}<∞
(3)其协方差函数与时间无关,仅与时间间隔
有关即 Cxx(τ)=E{[x(t)- μx][x(t- τ)- μx]*}
11
MATALB函数XCORR
MATLAB信号处理工具箱提供了计算随机信号相关 函数xcorr。
函数xcorr用于计算随机序列自相关和互相关函数。 调用格式为:
[c,lags]=xcorr(x,y[,maxlags,’option’])
式中,x,y为两个独立的随机信号序列,长度均为N; c为x,y的互相关估计;lags为相关估计c的序号向量, 其范围为[-maxlags:maxlags]。 该函数也可用于求一个随机信号序列x(n)的自相关 函数,调用格式为:
2
随机信号x(t)的方差表达式为: 1 T 2 2 x E[( x x ) ] lim [ x(t ) x ]2 dt T T 0 方差是信号幅值相对于均值分散程度的一种表示, 也是信号纯波动(交流)分量大小的反映。
6
离散随机信号的数字特征
若x(n)是离散的各态历经的平稳随机信号序列。类 似连续随机信号,其数字特征可由下面式子来表示: 均值 1 n x E[ x(n)] x(i) n i 1
14
15
两个平稳随机信号的二阶统计量
互相关函数
Rxy (t1 , t2 ) E{x(t1 ) y* (t2 )}
def
def
Cxy (t1 , t2 ) E{[ x(t1 ) x ][ y(t 2 ) y ]*} 互协方差函数
互相关系数
xy ( )
T
T
则功率谱密度定义为
| X T ( f ) |2 Pxx ( f ) lim E T 2T 对于零均值的平稳随机信号而言,存在
Pxx ( f ) Rxx ( )e j 2 f d
Rxx ( ) Pxx ( f )e j 2 f d
这些基准点是通过其他处理方法得到的; b.另一种方法是,考虑一段输入信号与模板间的连 续相关.每当一个新的信号数据点移进时,一个最 老的数据点同时就从这段中移出(一种先进先出结
构)。然后,求出这一段信号与模板相关系数。
21
线性系统输出
系统输出方程 y(t ) x(t ) h(t ) h(u)x *(t u )du
ˆ Rxx (m) E{x(n) x(n m)} 1 n x(i) x(i m) n m n n i 1
缺点:运算量大,速度慢
9
功率谱密度
定义:考虑在一有限时间段取值的随机过程x(t) , -T<t<T。计算其Fourier变换
X T ( f ) [ x(t ) x ]e j 2 ft dt
均值描述了随机信号的静态(直流)分量,它不随 时间而变化。 随机信号x(t)的均方值表达式为: 1 T 2 2 2 x E{x (t )} lim x (t )dt T T 0 均方值 表示了信号的强度或功率。
5
随机信号的数字特征
随机信号x(t)的均方根值表示为:
1 T 2 x E[ x (t )] lim x (t )dt T T 0 也是信号能量或强度的一种描述。
13
【例2】求带有白噪声干扰的频率为10HZ的正弦 信号和白噪声信号的自相关函数并进行比较。
7/18/2013
%信号 x1 x1=randn(1,length(x)); %产生一与x长度一致的随机 信号 [c,lags]=xcorr(x1,Lag,'unbiased'); %求随机信号x1 的无偏自相关 subplot(2,2,3),plot(t,x1); %绘制随机信号x1 xlabel('时间/s');ylabel('x1(t)');title('噪声信号'); grid on; subplot(2,2,4);plot(lags/Fs,c); %绘制随机信号x1的 无偏自相关 xlabel('时间/s');ylabel('Rx1(t)'); title('噪声信号的自相关'); grid on
18
模板互相关法
基本思路
如果两个信号波形形状相互匹配,就称这些信
号是相关的。互相关系数可确定两个或更多信号形
状间匹配的程度。
相关系数的值总是位于0和1之间。1值表明信号 与模板准确匹配。这个系数值确定了研究中的两信 号形状的匹配程度,而实际信号的幅值对相关函数 来说是无关紧要的.这种形状匹配,或QRS复波的 识别过程,与识别信号的自然途径是一致的.
N
[ x(i) x ]2
i 1
27
一般的参数估计问题:
从观测值x(t)中得到参数θ的估计
估计的 基本概念
若观测值x是信号s和噪声n的叠加,即: x=s(θ)+n 其中θ是信号s的参数
若能找到一个函数f(x),利用f(x1, x2 ,…, xN)可以 得到参数θ的估计值,那么我们可以称f(x1, x2 ,…, xN) 为参数θ的一个估计子(estimator)
Cxy ( ) Cxx (0)C yy (0)
16
两个平稳随机信号的统计关系
统计独立 统计不相关
f X ,Y ( x, y) f X ( x) fY ( y)
xy ( ) 0,
Cxy ( ) E{[ x(t) x ][ y(t ) y ]*} 0,
维纳-辛钦定理 (Wiener-Khinchine)
10
估计自相关函数的第二个方法: 功率谱密度反变换
(1)求数字信号x(n)的FFT
(2)估计功率谱密度
X(ω)=FFT{x(n)}
| X ( ) |2 Pxx ( ) lim E N N
(3)估计自相关函数 Rxx(m) = FFT-1{Pxx(ω)}
根据观测值从多种假设中选择出最合适的一种(假
设检验) 从含噪声的观测值中判断某种信号是否存在(估计)
参数估计:
假设数据服从一已知结构的概率模型,但模型某 些参数未知;从观测值中估计出信号的参数,如信 号的幅度、频率和相位等
24
随机信号处理的大部分内容侧重于参数化的
理论与方法:现代谱估计本质上是参数化谱 估计、自适应滤波器介绍的是时域或空域滤 波器参数的自适应更新;等等
25
40
第一节 估计子的性能
Performance of estimator
26
1、估计的基本概念
最简单的情况:
根据观测值(随机信号N个样本值x(1),x(2),…, x(N))估计出信号的一些统计特征量,如信号的均
值、方差、均方和相关函数等
1 N x x(i) N i 1 1 N 2 1 2 E[ x 2 (n)] x (i) x N i 1 N
功率谱密度与系统传递函数的模平方之乘积。
22
内容与要求
了解:参数估计的意义和作用 理解:
估计子的性能 无偏性、渐进无偏性 和有 效性 掌握: Bayes估计、最大似然估计、线性均方估计、 最小二乘估计的方法和性能
23
wenku.baidu.com
学习参数估计基本理论的意义
信号处理的基本任务是利用观测数据作出关 于信号与(或)系统的某种统计决策,如:
均方值
1 n 2 E[ x 2 (n)] x (i ) n i 1 1 n E[( x(n) x ) ] ( x(i) x ) 2 n i 1
2 x 2
方差
7
【例1】计算以长度N=100000的正态分布高斯随机 信号的均值、均方值、均方根值、方差和均方差
3
遍历性
平稳随机过程的概率分布不随时间的平移而
变化,全体随机变量集合的平均就可以用无 穷时间的平均来代替,这就是各态遍历假设。
4
随机信号的数字特征
若连续平稳随机信号x(t)是各态遍历的,则随机信号 x(t)均值可表示为: 1 T Ex(t ) x lim x(t )dt 0 T T
N=100000; %数据个数 randn('state',0); %设置产生随机数的状态 y=randn(1,N); %产生一个随机序列 disp('平均值:'); yMean=mean(y) %计算随机序列的均值 disp('均方值:'); y2p=y*y'/N %计算其均方值,这里利用了矩阵相乘的算法 disp('均方根:'); ysq=sqrt(y2p) %计算其均方根值 disp('标准差:'); ystd=std(y,1) %计算标准差 disp('方差:'); yd=ystd.*ystd
c=xcorr(x,maxlags)
12
【例2】求带有白噪声干扰的频率为10HZ的正弦 信号和白噪声信号的自相关函数并进行比较。
clf; N=1000; Fs=500; %数据长度和采样频率 n=0:N-1;t=n/Fs; %时间序列 Lag=100; %延迟样点数 randn('state',0); %设置产生随机数的初始状态 x=sin(2*pi*10*t)+0.6*randn(1,length(t)); %原始信号 [c, lags] = xcorr (x, Lag, 'unbiased'); %对原始信号进行无偏 自相关估计 subplot(2,2,1),plot(t,x); %绘原始信号x xlabel('时间/s');ylabel('x(t)');title('带噪声周期信号');grid on; subplot(2,2,2);plot(lags/Fs, c); %绘x信号自相关,lags/Fs为时 间序列 xlabel('时间/s');ylabel('Rx(t)'); title('带噪声周期信号的自相关');grid on;
8
单个平稳随机信号的二阶统计量
Rxx ( ) E{x(t ) x* (t )}
Cxx ( ) E{[ x(t ) x ][ x(t ) x ] } Rxx ( ) x
* 2
对于数字信号x(n),怎样估计自相关函数?
(1)按照自相关函数定义来估计
正交
Rxy ( ) E{[ x(t) y*(t ]} 0,
统计独立一定意味着统计不相关 若{x(t)}和{y(t)}的均值均为零,则不相关与正交等价 两个零均值的高斯随机信号,统计独立、不相关、 正交三者等价
17
QRS波形识别?
典型的心电信号
思考题
QRS波及其幅度和间期特征参数
系统传递函数 H ( f ) h(t )e j 2 ft dt
系统输出的自协方差函数
Cyy ( ) Cxx ( u1 u2 )h(u1 )h* (u2 )du1du 2 系统输出的功率谱密度
Pyy ( f ) Pxx ( f ) | H ( f ) |2 即线性系统输出信号的功率谱密度等于输入信号的