基于欠奈奎斯特采样的超宽带信号总体最小二乘重建算法_杨峰

合集下载

欠采样技术的超宽带信号子空间重建方法

ｔａｅｓｂｐｃｅｏａｒｃｓｌｅｏｓｒｃｅＵＷＢｉｎｌａａｐｉｇｒｔｉｈｉｍｕｈｌｗｅａｌｔｕｓａｅｍｔｄＣｐｅｉｅｙｒｃｎｔｔｌｔｈｈｎｕｔｈｓａｓｔａｓｇｍｌａｅｗｈｃｃｏｒｔｎｎＳｈ
ｓｎｌａｅｐｏｏｅ，ｉａｓｒｒｐｓｄｗｈｃａｒａｌｅｕｅｔｅｓｐｉｇｒｔｇｉｈＣｇｅｔｒｄｃａｌａｅｉＩｎｙｈｍｎｎｃｍｍｕｉａｉｎ．ｅＩｏｎｃｔｓＴｈｏｓｇａｓａｅｉｎｌｒ
（．ｃｅｃｄｃｋｏｏｙｏｌｔｎｎｏｍａｉｏ￣ｌａｏａｏＣｅｇｕ６０３；１ＳｉｅａｃｎｌＥｅｒｆｒｔｎＣｎｏＬｂｒｒｎｎＴｇｎｃｏＩｏｔｙｈｄＳｉｃｄｅｈｏｏｙｏｏ．ｔｎｌｙａｏａｒｏｃｅｎＴｃｎｌｉｔｙｆｅａｎｇｎＣｍｍｕｉｔｎ，ｎｖｒｉｏＥｅｔｏｉＳｉｃａｄＴｃｎｌｙｏＣｉａＣｅｇｕ６１３）ｎｃｉｓＵｉｅｔｆｌｒｎｃｃｅａｏｓｙｃｅｎｅｈｏｏｆｈｎｈｎｄ１７１ｎｇ
Ｎｙｕｓｔ．ｑｉｒｅｔａ
Ｋｅｒｓｂｄａｓｓｐｉｇｉｎｖｔｎｒｔ：ｓｂｐｃｃｎｔｕｔｎｕｔ－ｄｂｄｙｗｏｄａｐｓａｌ；ｎｏａｉａｅｕｓａｅｒｏｓｒｃｉ；ｌａｗｉｅａｎｍｎｏｅｏｒｎ

一种用于高精度时基校准的二阶广义积分器及FPGA实现

第43卷第6期电子器件Vol.43No.6 2020年12月Chinese Journal of ElccLron Devices2020FPGA Implementation of Orthogonal Transformation Algorithm Based on Second Order Generalized IntegratorPEI Yonghao,SU Shufing",YANG Feng,SHEN Sanmin(Key Laboratory of Electronic Testing Technology, North Unversity of China,Taiyuan Shanxi030051,China)Abstract:In order Lo solve the problem of high-order harmonics and slow response of the closed-loop caused by the A/D undersampling clock frequency disturbance in the digital phase-locked loop applied to the high-precision time base calibrator,an orthogonal transform algorithm based on FPGA is constructed by using the second-order generalized integrator(SOGI)to complete the data preprocessing before phase discrimination.Based on the joint simulation analysis of Vivado and MATLAB,the results show that the algorithm has a good suppression of high-order harmonics, and can effectively solve the problem of slow harmonic introduction and closed-loop response.Key words:second order generalized integrator；orthogonal transform；filter；PLL；FPGA；time calibration EEACC：1290B doi：10・3969/j・i s sn.1005-9490・2020・06・033一种用于高精度时基校准的二阶广义积分器及FPGA实现裴永浩，苏淑靖*，杨峰，沈三民(中北大学电子测试技术重点实验室，山西太原030051)摘要：针对应用于高精度时基校准器的数字式锁相环中，参考信号输入端的A/D欠采样时钟频率扰动带来的高次谐波引入和闭环响应速度迟滞的问题,利用二阶广义积分器(SOGI)构建基于FPGA的正交变换算法,完成鉴相前的数据预处理。

基于欠奈奎斯特采样的超宽带信号总体最小二乘重建算法

中图分类号：Ｔ９Ｎ２ＤＩ１．２／ＰＪ１６０９０７Ｏ：０７４Ｓ．１４．０．８９３．２０
文献标识码：Ａ
文章编号：１０— ９（０００— １— ０９５６２１）６１８５８４０
ＡｏａａｔＳｕｒｓＲｅｏｓｒｔｏｇｒｔｍｆＵＷＢＴｔｌＬｅｓｑａｅｃｎｔｕｃｉｎＡｌｏｉｈｏＳｇａｓＢａｅｎｕ — ｑｉｔＳｍｐｌｇｉｎｌｓｄｏＳｂＮｙｕｓａｉｎ
ａｇｒｈｌｏｉｍｓｐｏｏｅ０ｅｔｍａｅｔｅｐｒｍｅｅｓｏｈｍｐｉｕｅｎｉｅｓｉｓｏｍｐｌｅｓｇａｓｔｉｒｐｓｄｔｓｉｔｈａａｔｒｆｔｅａｌｄｓａｄｔｍｈｆｆｉｕｓｉｎｌ．Ｔｈｔｔｅ
ＹａｇＦｎｎｅｇＨｕＪａ－ａｉｎｈｏＬｈｏｑａｉＳａ — ｉｎ
（ａｏａＫｙａｏｕｉｔｎ，ｎｅｉＥｅｔｎｃｃｎｅａｄＴｃｎｌｙｆｈａＣｅｇｕ１０４ＣｉａＮｔｎｌｅｂｌｍｍｎｃｉｓＵｉｒｔ０ｌｒｉＳｉｃｎｅｏｇｉ，ｈｎｄ０５，ｈ）ｉＬｏＣａｏｖｓｙ，ｃｏｅｈｏｏＣｎ６ｎ
Ａｂｔａｔｓｒｃ：Ａｕ — ｑｉｔｓｍｐｉｇｍｅｈｄｉｒｓｎｅｏｒｄｃｈｓｂＮｙｕｓａｌｔｏｓｎｐｅｅｔｄｔｅｕｅｔｅＡＤＯａｓｍｐｉｇｒｔｎＵＷＢｒｌｓｌａｅｉｎｗｉｅｅｓｃｍｍｕｉａｉｎ．ａｐｉｇｒｔｆｈｒｐｓｄｍｅｈｄｉｅａｅｏｔｅｓｇｌｎｏａｉｎｒｔ，ｉｈｉｂｕｎｏｎｃｔｏｓＳｍｌａｅｏｅｐｏｏｅｔｏｓｒｌｔｄｔｈｉｎａｎｖｔｏａｅｗｈｃｓａｏｔｏｅｎｔｉｔｎｈｏｈｑｉｔｒｔｎｃｎｅｔｏａｈｎｏａｅｔｆｔｅＮｙｕｓａｅｉｏｖｎｉｎｌＳａｎｎｓｍｐｉｇｔｅｒｍ．ｏｒｅｒｎｆｒｏｆｃｅｔｆｔｅＵＷＢｌｈｏｅｎＦｕｉｒｔａｓｏｍｃｅｉｎｓｏｈｉ

压缩感知求解欠定方程

压缩感知求解欠定方程摘要：一、压缩感知技术简介二、欠定方程问题三、压缩感知求解欠定方程方法四、算法应用与性能分析五、结论与展望正文：压缩感知（Compressed Sensing，CS）技术是一种近年来快速发展的新型信号处理方法，它突破了传统的奈奎斯特采样定理限制，实现对稀疏信号的高效采集与重建。

在许多实际应用中，信号往往是欠定（underdetermined）的，即已知观测数据无法唯一确定原始信号。

本文将探讨如何利用压缩感知技术求解这类欠定方程问题。

一、压缩感知技术简介压缩感知是一种基于信号稀疏特性的采样与重建方法。

其基本思想是：首先将原始信号通过一个合适的变换矩阵，得到变换域中的系数；然后根据一定的准则，对这些系数进行压缩采样；最后利用重建算法从压缩采样数据中恢复出原始信号。

二、欠定方程问题欠定方程问题是指已知方程组中未知数的个数大于方程数的线性方程组问题。

在实际应用中，这类问题常见于图像、音频、视频等领域。

由于方程组欠定，直接求解往往面临病态问题，导致解的不稳定性。

三、压缩感知求解欠定方程方法针对欠定方程问题，压缩感知提供了一种新的求解思路。

在压缩感知框架下，将欠定方程问题转化为一个优化问题。

具体来说，假设原始信号为x，观测到的信号为y，变换矩阵为A，则求解过程可以表示为以下最小化问题：min_x ||y - Ax||_2^2其中，||·||_2表示L2范数。

通过求解该优化问题，可以得到原始信号的估计。

四、算法应用与性能分析压缩感知求解欠定方程方法在许多领域都有广泛应用，如图像重建、音频信号处理等。

与传统方法相比，压缩感知技术具有以下优势：1.采样率提高：压缩感知技术可以实现远低于奈奎斯特采样率的信号重建，有利于降低数据量。

2.抗噪声性能强：压缩感知方法在一定程度上了提高了信号的抗噪声能力。

3.高精度重建：通过优化算法，可以实现对原始信号的高精度重建。

五、结论与展望压缩感知技术在求解欠定方程问题方面具有显著优势，已成功应用于众多领域。

雷达成像基础

1.2
在本文的安排上，将在第2章介绍压缩感知理论的基本原理和主要思想内容，然后在第3章介绍脉冲压缩的基本原理，并对线性调频信号的特性进行分析，并在此基础上完成线性调频信号的建模和采样、频谱分析和脉冲压缩，并通过MATLAB仿真完成验证，接下来在第4章对逆合成孔径雷达进行简要介绍并讨论合成孔径雷达成像的工作原理。
3.巡航导弹与低空飞机飞行高度低至10米以下，目标的截面积小到0.1至0.01平方米。因此，对付低空入侵是雷达技术发展的又一个挑战。采用升空平台技术，宽带雷达技术，脉冲多普勒雷达技术以及毫米波雷达技术能有效对付低空入侵。
4.成像雷达技术的发展，为目标识别创造了前所未有的机会。目前工作的合成孔径雷达分辨力达到，的系统已经研制成功，为大面积实时侦察与目标识别创造了条件。多频段、多极化合成孔径雷达已经投入使用。
雷达技术的发展现状可以概括为以下几个方面：
1.军用雷达面临电子战中反雷达技术的威胁，特别是有源干扰和反辐射导弹的威胁。现在发展了多种抗有源干扰与抗反辐射导弹的技术，包括自适应天线方向图置零技术、自适应宽带跳频技术、多波段共用天线技术、诱饵技术以及低截获频率技术等。
2.隐身飞机的出现，使得微波波段的雷达的截面积减低了20至30dB，要求雷达的灵敏度相应提高同样量级。反隐身雷达已经采用低频段（米波、短波等）雷达技术，双（多）基地雷达技术，无源定位技术等。
压缩感知理论的核心思想主要包括两点。第一个是信号的稀疏结构。传统的香农信号表示方法只开发利用了最少的被采样信号的先验信息，即信号的带宽。但是，现实生活中很多广受关注的信号本身具有一些结构特点。相对于带宽信息的自由度，这些结构特点是由信号的更小的一部分自由度所决定。换句话说，在很少的信息损失情况下，这种信号可以用很少的数字编码表示。所以，在这种意义上，这种信号是稀疏信号（或者近似稀疏信号、可压缩信号）。另外一点是不相关特性。稀疏信号的有用信息的获取可以通过一个非自适应的采样方法将信号压缩成较小的样本数据来完成。理论证明压缩感知的采样方法只是一个简单的将信号与一组确定的波形进行相关的操作。这些波形要求是与信号所在的稀疏空间不相关的。

一种基于分频编码的最小二乘裂步偏移方法

一种基于分频编码的最小二乘裂步偏移方法黄建平;孙郧松;李振春;曹晓莉;李闯【摘要】相位编码是提高海量数据处理效率的重要策略,目前已逐步用于地震叠前偏移成像和全波形反演研究.本文在传统静态和动态编码的基础上,在频率域对炮集采用分频方式进行编码,实现了一种基于分频编码方式的最小二乘裂步偏移方法.通过模型试算及不同编码方式的对比得到如下几点认识:①通过对国际标准盐丘模型成像试处理,验证了方法的正确性;②通过对不同编码方式的成像效果对比表明,本文介绍的分频编码方式既能获得较好的偏移效果,又能在一定程度上提高海量数据偏移成像效率.【期刊名称】《石油地球物理勘探》【年(卷),期】2014(049)004【总页数】6页(P702-707)【关键词】相位编码;叠前偏移成像;动态编码;分频编码;最小二乘【作者】黄建平;孙郧松;李振春;曹晓莉;李闯【作者单位】中国石油大学(华东),山东青岛266580;中国石油大学(华东),山东青岛266580;中国石油大学(华东),山东青岛266580;中国石油大学(华东),山东青岛266580;中国石油大学(华东),山东青岛266580【正文语种】中文【中图分类】P6311 引言随着勘探开发走向精细化，三维高密度采集获取的海量数据已经逐步从100G量级向T量级发展［1，2］。

海量数据的高效处理方法逐步成为研究人员关注的焦点。

出现了大量实用性很强且能有效减少计算量、提高计算效率的波动方程叠前深度偏移方法［3～7］。

近年来一种将炮集先组合成超炮道集后进行偏移的方法代替了传统的分别对单个炮集进行偏移的成像方式，引起人们的关注［8，9］。

传统偏移的计算量是每炮单独偏移计算量与总炮数的乘积；而基于超道集的偏移方法减少了偏移次数，使得计算量大幅减少。

简单应用超道集偏移方法也会存在一些不足：多个道集同时偏移会产生较为严重的由不同道集相干项引起的串扰噪声耦合效应，偏移结果中存在偏移假象，无法获取高品质的偏移结果。

超宽带信号的一种带通采样与重建方法

超宽带信号的一种带通采样与重建方法
杨峰;胡剑浩;李少谦
【期刊名称】《系统工程与电子技术》
【年(卷),期】2010(032)004
【摘要】针对超宽带无线通信中需要设计采样速率高达数十GHz高速模/数转换器的问题,提出了一种带通采样和总体最小二乘重建算法.该算法所要求的采样速率与信号新息率相当,远远低于传统香农采样理论所要求的奈奎斯特率.分析和仿真结果证明,所提出的采样和重建算法,能够准确地恢复原始超宽带信号,并具有良好的抗噪声性能.
【总页数】5页(P686-690)
【作者】杨峰;胡剑浩;李少谦
【作者单位】电子科技大学通信抗干扰技术国家重点实验室,四川,成都,610054;电子科技大学通信抗干扰技术国家重点实验室,四川,成都,610054;电子科技大学通信抗干扰技术国家重点实验室,四川,成都,610054
【正文语种】中文
【中图分类】TN92
【相关文献】
1.一种基于DDS和PLL的Chirp超宽带信号源设计与实现 [J], 刘健余;林基明;樊孝明;章兴良;徐兴华
2.一种改进的基于EMD分解的超宽带信号消噪算法 [J], 王海梁;熊华钢;吴庆;刘成
3.一种结合符号速率的带通采样速率选取方法 [J],
4.欠采样技术的超宽带信号子空间重建方法 [J], 杨峰;胡剑浩;李少谦
5.正电子心脑功能仪图象重建方法——一种特殊的不完备投影数据的图象重建方法[J], 李元景;金永杰
因版权原因，仅展示原文概要，查看原文内容请购买。

一种基于欠奈奎斯特采样的宽带信号检测识别方法[发明专利]

专利名称：一种基于欠奈奎斯特采样的宽带信号检测识别方法专利类型：发明专利
发明人：潘乐炳,肖世良,刘建坡,程勇博,陈昕韡,袁晓兵
申请号：CN201410466563.X
申请日：20140912
公开号：CN104270234A
公开日：
20150107
专利内容由知识产权出版社提供
摘要：本发明涉及一种基于欠奈奎斯特采样的通信信号检测与识别方法，流程如下：模拟前端的欠奈奎斯特采样数据作为信号重构模块的输入，信号重构以SOMP算法为基础，在每次迭代计算中产生一个能量观测值用于频谱检测，同时恢复的频域信号用于循环谱估计。

频谱检测采用一个恒虚警检测器实现宽带频谱二元判决，多用户识别模块利用用户带宽约束消除由恒虚警检测器产生的毛刺。

循环谱估计模块利用恢复的信号和多用户识别的结果对每个用户的循环谱进行估计，最后根据各种数字通信信号的循环谱特征实现各用户信号的调制格式识别，符号速率估计和载波估计。

本发明能够同时实现宽频谱检测和数字通信信号识别。

申请人：中国科学院上海微系统与信息技术研究所
地址：200050 上海市长宁区长宁路865号5号楼505室
国籍：CN
代理机构：上海泰能知识产权代理事务所
更多信息请下载全文后查看。

一种高精度加权最小二乘算法

第3期
王向阳等:一种高精度加权最小二乘算法
179
%. =R. + =&. ' c(< — < ) +
+ + =B$p! e%&
(1)
其中：
R: %槡> —+ (% — ?) + —
!=*!
2,・・・6,6 & 4;%.为卫星。到接收机j的伪距;=&.为
星历误差；=.为卫星钟差；<：为接收机钟差； = $.,：
ownweight
北斗卫星导航系统是我国自行研制的全球卫星导航定位系统,广泛应用于交通运输、海洋渔业、
水文监测等领域'1(。随着北斗卫星导航系统建设的快速发展，国内外学者对接收机钟差、电离层、对流层等相关误差进行了研究，分析并纠正了相关误差后，评估了伪距单点定位的精度。传统的伪距单点定位算法有最小二乘(least square,简称LS)算法囚、高斯牛顿迭代最小二乘(Gauss-Neton iterative least square,简称GNILS)算法囚Kalman滤波算法等&由于GNILS算法的定位精度较LS算法高，目前伪距单点定位普遍采用GNILS算法。利用 GNILS算法进行定位解算时,对观测站坐标的初始
第39卷第3期 2019年6月
பைடு நூலகம்
桂林电子科技大学学报
Journal of Guilin University of Electronic Technology
Vol. 3 9, No. 3 Jun.2019
一种高精度加权最小二乘算法
王向阳，蔡成林，张文波，蔡劲
(桂林电子科技大学信息与通信学院，广西桂林541004)

基于梯度场的紧致差分最小二乘面形重建算法

Least square surface reconstruction method with compact flnite difference scheme from measured gradient field
Wu Ling1, Wu Conghai2, Chen Niannian1, Fan Yong1
摘要：为快速准确根据测得的梯度场重建表面面形，针对基于最小二乘全局积分的重建技术，采用紧致差分算子建立全局最优化的代价函数以提高重建精度，将代价函数表示为Sylvester方程，利用 Hessenberg-Schur算法求解，将常用最小二乘全局积分技术的空间和时间复杂度分别从O(N?)和 0(2*)降低到O(N)和O(N3/2)o实验结果表明：采用四阶精度的紧致差分算子时，文中算法重建精度比高阶截断误差最小二乘积分法(HFLI)和全局最小二乘法(GLS)提高了一个数量级，采用六阶精度的紧致差分算子时重建精度比基于样条的最小二乘积分法(SLI)提高了一个数量级；鲁棒性优于GLS,弱于HFLI和SLI；重建速度显著优于HFLI和SLI,略优于GLS。关键词：三维面形重建；梯度场；最小二乘全局积分；紧致差分；Sylvester方程中图分类号：TN247 文献标志码：A DOI： 10.3788/IRLA201948.0825002
0825002-1
第8期
红外与激光工程
第48卷
0引言
三维面形重建是利用测得的表面梯度(斜率)或法向矢量数据重建物体表面形貌的过程，是光学测量、机器视觉中的一个经典问题，是哈特曼波前检测、干涉测量、光栅投影测量等技术的关键步骤之一 II。
设有3D表面Z(x,y),其梯度场表示为VZ=(乙， Z,.)=OZ/dx, dZ/dy)=(p,q),具体到离散状态，可用有限差分的形式来表示，因此基于梯度场的表面重建方法常采用积分运算。但直接积分很容易受到噪声和表面不连续性的干扰，目前多采用更鲁棒的全局积分技术，通过最小化一定的代价函数来对重建结果进行约束以减小整体重建误差。通常以所测梯度场与真实斜率间整体差异作为代价方程，来增加斜率的可积性(可积性约束)。因此，代价函数的选择是重建的关键步骤之一。

OMP

提出了不少成熟的信号重建算法，如基追踪法（Ｂａｓｉｓ
２Ｏｌ５０３ ’ 广东通信技术
技术交流
Ｐｕｒｓｕｉｔ，ＢＰ）、正交匹配追踪法（ｏｒｔｈｏｇｏｎａｌｍａｔｃｈｉｎｇ
失真地恢复模拟信号，然而随着对信息需求量的不断增
加，信号的带宽越来越宽，以奈奎斯特为基础的信息获取对采样速率和处理速度也提出了越来越高的要求。为了克服传统信号处理中对奈奎斯特采样定理要求的限制，２００６年由Ｄ．Ｄ。ｎ。ｈ。、Ｅ．ｃａｎｄｅｓ及Ｔａｏ提出了一种新的信息获取理论，即压缩感知（ｃ。ｍｐｒｅｓｓｉｖｅｓｅｎｓｉｎｇ，ｃｓ）
其特点是重建速度快、重建方法实现简便。文章首先介绍了压缩感知的基本理ＩＩ论，然后介绍了压缩感知重建算法，使用ＯＭＰ算法分析了一维信号和二维图像信
潮０磷酶
０ｌｌｌ０
ｌ＿ｌ
徐伟尧男，助教，南京邮电大学硕士研究生，任职枣庄学院光电工程学院。目前研
１－５］
。
疏域的选取，它是压缩感知理论的基础和前提；（２）观
测矩阵的选取，可证明多数具有一致分布的随机矩阵可以作为观测矩阵；（３）重建算法的设计。信号重建算法是ｃｓ理论中的关键部分，指由Ｍ维测量向量Ｙ重建出长度为Ｎ的信号ｘ的过程（Ｍ‘ Ｎ）。由于观测数量远小于信号长度，可使数据采集量大大减少，但需要付出的代价是信号重建算法的软件成本，所以ｃｓ重建算法的好坏直接影响

递归最小二乘循环神经网络

递归最小二乘循环神经网络赵杰 1张春元 1刘超 1周辉 1欧宜贵 2宋淇1摘要针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大, 提出一种新的迷你批递归最小二乘优化算法. 所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度, 逐层导出RNNs 参数的迷你批递归最小二乘解. 相较随机梯度下降算法, 所提算法只在RNNs 的隐藏层和输出层分别增加了一个协方差矩阵, 其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右. 此外, 本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法. 仿真结果表明, 无论是对序列数据的分类问题还是预测问题, 所提算法的收敛速度要优于现有主流一阶优化算法, 而且在超参数的设置上具有较好的鲁棒性.关键词深度学习, 循环神经网络, 递归最小二乘, 迷你批学习, 优化算法引用格式赵杰, 张春元, 刘超, 周辉, 欧宜贵, 宋淇. 递归最小二乘循环神经网络. 自动化学报, 2022, 48(8): 2050−2061DOI 10.16383/j.aas.c190847Recurrent Neural Networks With Recursive Least SquaresZHAO Jie 1 ZHANG Chun-Yuan 1 LIU Chao 1 ZHOU Hui 1 OU Yi-Gui 2 SONG Qi 1Abstract In recurrent neural networks (RNNs), the first-order optimization algorithms usually converge slowly,and the second-order optimization algorithms commonly have high time and space complexities. In order to solve these problems, a new minibatch recursive least squares (RLS) optimization algorithm is proposed. Using the inact-ive linear output error to replace the conventional activation output error for backpropagation, together with the equivalent gradients of the weighted linear least squares objective function with respect to linear outputs of the hid-den layer, the proposed algorithm derives the minibatch recursive least squares solutions of RNNs parameters layer by layer. Compared with the stochastic gradient descent algorithm, the proposed algorithm only adds one covari-ance matrix into each layer of RNNs, and its time and space complexities are almost three times as much. Further-more, in order to address the adaptive problem of the forgetting factor and the overfitting problem of the proposed algorithm, two approaches are also presented, respectively, in this paper. The simulation results, on the classifica-tion and prediction problems of sequential data, show that the proposed algorithm has faster convergence speed than popular first-order optimization algorithms. In addition, the proposed algorithm also has good robustness in the selection of hyperparameters.Key words Deep learning, recurrent neural network (RNN), recursive least squares (RLS), minibatch learning, op-timization algorithmCitation Zhao Jie, Zhang Chun-Yuan, Liu Chao, Zhou Hui, Ou Yi-Gui, Song Qi. Recurrent neural networks with recursive least squares. Acta Automatica Sinica , 2022, 48(8): 2050−2061循环神经网络(Recurrent neural networks,RNNs)作为一种有效的深度学习模型, 引入了数据在时序上的短期记忆依赖. 近年来, RNNs 在语言模型[1]、机器翻译[2]、语音识别[3]等序列任务中均有不俗的表现. 但是相比前馈神经网络而言, 也正因为其短期记忆依赖, RNNs 的参数训练更为困难[4−5].如何高效训练RNNs, 即RNNs 的优化, 是RNNs 能否得以有效利用的关键问题之一. 目前主流的RNNs 优化算法主要有一阶梯度下降算法、自适应学习率算法和二阶梯度下降算法等几种类型.最典型的一阶梯度下降算法是随机梯度下降(Stochastic gradient descent, SGD)[6], 广泛应用于优化RNNs. SGD 基于小批量数据的平均梯度对参数进行优化. 因为SGD 的梯度下降大小和方向完全依赖当前批次数据, 容易陷入局部极小点, 故而学习效率较低, 更新不稳定. 为此, 研究者在SGD收稿日期 2019-12-12 录用日期 2020-04-07Manuscript received December 12, 2019; accepted April 7, 2020国家自然科学基金(61762032, 61662019, 11961018)资助Supported by National Natural Science Foundation of China (61762032, 61662019, 11961018)本文责任编委曹向辉Recommended by Associate Editor CAO Xiang-Hui1. 海南大学计算机科学与技术学院海口 5702282. 海南大学理学院海口 5702281. School of Computer Science and Technology, Hainan Uni-versity, Haikou 5702282. School of Science, Hainan University,Haikou 570228第 48 卷第 8 期自动化学报Vol. 48, No. 82022 年 8 月ACTA AUTOMATICA SINICAAugust, 2022的基础上引入了速度的概念来加速学习过程, 这种算法称为基于动量的SGD算法[7], 简称为Momen-tum. 在此基础上, Sutskever等[8]提出了一种Nes-terov动量算法. 与Momentum的区别体现在梯度计算上. 一阶梯度下降算法的超参数通常是预先固定设置的, 一个不好的设置可能会导致模型训练速度低下, 甚至完全无法训练. 针对SGD的问题, 研究者提出了一系列学习率可自适应调整的一阶梯度下降算法, 简称自适应学习率算法. Duchi等[9]提出的AdaGrad算法采用累加平方梯度对学习率进行动态调整, 在凸优化问题中表现较好, 但在深度神经网络中会导致学习率减小过快. Tieleman等[10]提出的RMSProp算法与Zeiler[11]提出的AdaDelta 算法在思路上类似, 都是使用指数衰减平均来减少太久远梯度的影响, 解决了AdaGrad学习率减少过快的问题. Kingma等[12]提出的Adam算法则将RMSProp与动量思想相结合, 综合考虑梯度的一阶矩和二阶矩估计计算学习率, 在大部分实验中比AdaDelta等算法表现更为优异, 然而Keskar等[13]发现Adam最终收敛效果比SGD差, Reddi等[14]也指出Adam在某些情况下不收敛.基于二阶梯度下降的算法采用目标函数的二阶梯度信息对参数优化. 最广泛使用的是牛顿法, 其基于二阶泰勒级数展开来最小化目标函数, 收敛速度比一阶梯度算法快很多, 但是每次迭代都需要计算Hessian矩阵以及该矩阵的逆, 计算复杂度非常高. 近年来研究人员提出了一些近似算法以降低计算成本. Hessian-Free算法[15]通过直接计算Hessi-an矩阵和向量的乘积来降低其计算复杂度, 但是该算法每次更新参数需要进行上百次线性共轭梯度迭代. AdaQN[16]在每个迭代周期中要求一个两层循环递归, 因此计算量依然较大. K-FAC算法(Kro-necker-factored approximate curvature)[17]通过在线构造Fisher信息矩阵的可逆近似来计算二阶梯度. 此外, 还有BFGS算法[18]以及其衍生算法(例如L-BFGS算法[19−20]等), 它们都通过避免计算Hessian矩阵的逆来降低计算复杂度. 相对于一阶优化算法来说, 二阶优化算法计算量依然过大, 因此不适合处理规模过大的数据集, 并且所求得的高精度解对模型的泛化能力提升有限, 甚至有时会影响泛化, 因此二阶梯度优化算法目前还难以广泛用于训练RNNs.除了上面介绍的几种类型优化算法之外, 也有不少研究者尝试将递归最小二乘算法(Recursive least squares, RLS)应用于训练各种神经网络. RLS是一种自适应滤波算法, 具有非常快的收敛速度. Azimi-Sadjadi等[21]提出了一种RLS算法, 对多层感知机进行训练. 谭永红[22]将神经网络层分为线性输入层与非线性激活层, 对非线性激活层的反传误差进行近似, 并使用RLS算法对线性输入层的参数矩阵进行求解来加快模型收敛. Xu等[23]成功将RLS算法应用于多层RNNs. 上述算法需要为每个神经元存储一个协方差矩阵, 时空开销很大. Peter 等[24]提出了一种扩展卡尔曼滤波优化算法, 对RN-Ns进行训练. 该算法将RNNs表示为被噪声破坏的平稳过程, 然后对网络的状态矩阵进行求解. 该算法不足之处是需要计算雅可比矩阵来达到线性化的目的, 时空开销也很大. Jaeger[25]通过将非线性系统近似为线性系统, 实现了回声状态网络参数的RLS求解, 但该算法仅限于求解回声状态网络的输出层参数, 并不适用于一般的RNNs训练优化.针对以上问题, 本文提出了一种新的基于RLS 优化的RNN算法(简称RLS-RNN). 本文主要贡献如下: 1) 在RLS-RNN的输出层参数更新推导中, 借鉴SGD中平均梯度的计算思想, 提出了一种适于迷你批样本训练的RLS更新方法, 显著减少了RNNs的实际训练时间, 使得所提算法可处理较大规模数据集. 2) 在RLS-RNN的隐藏层参数更新推导中, 提出了一种等效梯度思想, 以获得该层参数的最小二乘解, 同时使得RNNs仅要求输出层激活函数存在反函数即可采用RLS进行训练, 对隐藏层的激活函数则无此要求. 3) 相较以前的RLS 优化算法, RLS-RNN只需在隐藏层和输出层而非为这两层的每一个神经元分别设置一个协方差矩阵, 使得其时间和空间复杂度仅约SGD算法的3倍.4) 对RLS-RNN的遗忘因子自适应和过拟合预防问题进行了简要讨论, 分别给出了一种解决办法.1 背景1.1 基于SGD优化的RNN算法X s,t∈R m×a H s,t∈R m×h O s,t∈R m×d s tm ah dU s−1∈R a×h W s−1∈R h×hV s−1∈R h×d sb H s−1∈R1×h b O s−1∈R1×dττRNNs处理时序数据的模型结构如图1所示.一个基本的RNN通常由一个输入层、一个隐藏层(也称为循环层)和一个输出层组成. 在图1中, , 和分别为第批训练样本数据在第时刻的输入值、隐藏层和输出层的输出值, 其中, 为迷你批大小, 为一个训练样本数据的维度, 为隐藏层神经元数, 为输出层神经元数; , 和分别为第批数据训练时输入层到隐藏层、隐藏层内部、隐藏层到输出层的参数矩阵;和分别为隐藏层和输出层的偏置参数矩阵; 表示当前序列数据共有时间步. RNNs的核心思想是在模型的不同时间步对参8 期赵杰等: 递归最小二乘循环神经网络2051数进行共享, 将每一时间步的隐藏层输出值加权输入到其下一时间步的计算中, 从而令权重参数学习到序列数据不同时间步之间的关联特征并进行泛化. 输出层则根据实际问题选择将哪些时间步输出,比较常见的有序列数据的分类问题和预测问题. 对序列数据预测问题, 输出层每一时间步均有输出;对序列数据分类问题, 输出层没有图1虚线框中的时间步输出, 即仅在最后一个时间步才有输出.图 1 RNN 模型结构Fig. 1 RNN model structureRNNs 通过前向传播来获得实际输出, 其计算过程可描述为H s,t =φ(X s,t U s −1+H s,t −1W s −1+1×b H s −1)(1)O s,t =σ(H s,t V s −1+1×b O s −1)(2)1m φ(·)σ(·)其中, 为行全1列向量; 和分别为隐藏层和输出层的激活函数, 常用的激活函数有sig-moid 函数与tanh 函数等. 为了便于后续推导和表达的简洁性, 以上两式可用增广矩阵进一步表示为R H s,t ∈R m ×(a +h +1)R O s,t ∈Rm ×(h +1)ΘH s −1∈R(a +h +1)×hΘO s −1∈R(h +1)×d其中, , 分别为隐藏层与输出层的输入增广矩阵; , 分别为隐藏层与输入层的权重参数增广矩阵, 即R H s,t =[X s,tH s,t −11](5)R Os,t =[H s,t1](6)RNNs 的参数更新方式和所采用的优化算法密切相关, 基于SGD 算法的RNNs 模型优化通常借助于最小化目标函数反向传播完成. 常用目标函数有交叉熵函数、均方误差函数、Logistic 函数等. 这里仅考虑均方误差目标函数Y ∗s,t ∈Rm ×dX s,t Θs −1t 0t 0=τt 0=1其中, 为对应的期望输出; 为网络中的所有参数矩阵; 表示输出层的起始输出时间步, 如果是分类问题, , 如果是序列预测问题, 则 , 下文延续该设定, 不再赘述.ˆ∇O s=∂ˆJ (Θs −1)∂ΘOˆ∇O s 令 , 由式(9)和链导法则, 则为ˆ∆O s,t=∂ˆJ(Θs −1)∂Z O其中, , 即◦Z Os,t 式中, 为Hadamard 积, 为输出层非激活线性输出, 即则该层参数更新规则可定义为α其中,为学习率.ˆ∇H s =∂J (Θs −1)∂ΘH s −1令 , 根据BPTT (Back propag-ation through time)算法[26], 由式(9)和链导法则可得ˆ∆H s,t=∂ˆJ(Θs −1)∂Z H s,t其中, 为目标函数对于隐藏层非激活线性输出的梯度, 即˜∆H s,t =[ˆ∆O s,t ,ˆ∆H s,t +1],˜ΘH s −1=[V s −1,W s −1],Z H s,t 其中, 为隐藏层非激活线性输出, 即则该层参数更新规则可定义为1.2 RLS 算法RLS 是一种最小二乘优化算法的递推化算法,2052自动化学报48 卷X t ={x 1,···,x t }Y ∗t ={y ∗1,···,y ∗t }不但收敛速度很快, 而且适用于在线学习. 设当前训练样本输入集 , 对应的期望输出集为 . 其目标函数通常定义为w λ∈(0,1]其中, 为权重向量; 为遗忘因子.∇w J (w )=0令 ,可得整理后可表示为其中,为了避免昂贵的矩阵求逆运算且适用于在线学习, 令将式(21)和式(22)改写为如下递推更新形式由Sherman-Morrison-Woodbury 公式[27]易得其中,g t 其中,为增益向量. 进一步将式(23)、(25)和(26)代入式(20), 可得当前权重向量的更新公式为其中,2 基于RLS 优化的RNNs 算法RLS 算法虽然具有很快的学习速度, 然而只适用于线性系统. 我们注意到在RNNs 中, 如果不考虑激活函数, 其隐藏层和输出层的输出计算依旧是σ(·)σ−1(·)线性的, 本节将基于这一特性来构建新的迷你批RLS 优化算法. 假定输出层激活函数存在反函数 , 并仿照RLS 算法将输出层目标函数定义为s s Z O ∗n,t 其中,代表共有批训练样本; 为输出层的非激活线性期望值, 即因此, RNNs 参数优化问题可以定义为H s,t O s,t Z Os,t 由于RNNs 前向传播并不涉及权重参数更新,因此本文所提算法应用于RNNs 训练时, 其前向传播计算与第1.1节介绍的SGD-RNN 算法基本相同, 同样采用式(3)计算, 唯一区别是此处并不需要计算 , 而是采用式(12)计算 . 本节将只考虑RLS-RNN 的输出层和隐藏层参数更新推导.2.1 RLS-RNN输出层参数更新推导∇ΘO =∂J (Θ)∂ΘO令 , 由式(31)和链导法则可得∆O n,t =∂J (Θ)∂Z O其中, , 即ΘO ∗∇ΘO =0为了求取最优参数 , 进一步令 , 即将式(35)代入式(36), 得ΘO s 整理可得的最小二乘解其中,类似于RLS 算法推导, 以上两式可进一步写成8 期赵杰等: 递归最小二乘循环神经网络2053如下递推形式R O s,t,k ∈Rh +1(R O s,t )T k Z O ∗s,t,k ∈R d (Z O ∗s,t )Tk A O s 其中, 为的第列向量, 为的第列向量. 但是, 由于此处RN-Ns 基于迷你批训练, 式(41)并不能像式(24)那样直接利用Sherman-Morrison-Woodbury 公式求解的逆.ΘO s −1A O s −1B Os −1考虑到同一批次中各样本 , 和是相同的, 借鉴SGD 计算迷你批平均梯度思想, 接下来采用平均近似方法来处理这一问题. 因为式(41)和式(42)可以重写为如下形式其中,(A O s )−1ΘOs 因而可使用如下公式来近似求得和为P O s =(A O s )−1令 , 根据式(47)和式(38)以及Sherman-Morrison-Woodbury 公式, 整理后得如下更新式为∆O s,t,k ∈R d(∆O s,t )T k 其中, 为的第列向量, 且ΛO s,t,k =P O s −1R Os,t,k(51)2.2 RLS-RNN 隐藏层参数更新推导∇ΘH =∂J (Θ)∂ΘH令 , 由式(31)和链导法则可得∆H n,t =∂J (Θ)∂Z H n,t其中, , 使用BPTT 算法计算其具体形式为´∆H n,t =∆O n,t ,∆H n,t +1∇ΘH =0其中, . 进一步令 , 可得φ′(Z Hs,t )ΘH 然而, 式(54)非常复杂, 且一般为非线性, 我们并不能将式(54)代入式(55)求得隐藏层参数的最小二乘解.∆H n,t ΘH J H (ΘH )接下来我们提出一种新的方法来导出的等价形式, 藉此来获得的最小二乘解. 临时定义一个新的隐藏层目标函数Z H ∗n,t J (Θ)→0J H (ΘH )→0其中, 为该层非激活线性输出期望值. 显然, 如果 , 那么 . 即∂J H(ΘH)∂ΘH=0令 , 得∆H n,t 对比式(55)和式(58), 可以得到的另一种等价定义形式ηηZ H n,t =R H n,t ΘH其中, 为比例因子. 理论上讲,不同迷你批数据对应的应该有一定的差别. 但考虑到各批迷你批数据均是从整个训练集中随机选取, 因此可忽略这一差别. 根据式(16)可知 , 且将式(59)代入式(55), 得ΘH s 进一步整理, 可得的最小二乘解2054自动化学报48 卷其中,P H s =(A H s )−1式(61)的递归最小二乘解推导过程类似于输出层参数更新推导. 令 , 同样采用上文的近似平均求解方法, 易得∆H s,t,k ∈R h (∆H s,t )Tk 其中, 为的第列向量, 且ΛH s,t,k =P H s −1RHs,t,k(66)Z H ∗s,t ∆H s,t 需要说明的是, 因为我们并不知道隐藏层期望输出 , 所以实际上不能通过式(59)来求取. 幸运的是, 式(54)与(59)等价, 因此在算法具体实现中, 采用式(54)来替换式(59).综上, RLS-RNN 算法如算法 1所示.算法 1. 基于RLS 优化的RNN 算法{(X 1,Y ∗1),(X 2,Y ∗2),···,(X N ,Y ∗N )},τληαRequire: 迷你批样本时间步 , 遗忘因子 , 比例因子 , 协方差矩阵初始参数 ;ΘH 0ΘO0P H 0=αI H ,P O 0=αI O ;Initialize: 初始化权重矩阵和 , 初始化协方差矩阵 s =1,2,···,N for do H s,0=0 设置 ;t =1,2,···,τ for do H s,t 用式(3)计算 ;Z s,t 用式(12)计算 ; end fort =τ,τ−1,···,1 for do ∆O s,t 用式(35)计算 ;∆H s,t 用式(54)计算 ;k =1,···,m for doΛO s,t,k G O s,t,k 用式(51), (52)计算 , ;ΛH s,t,k G H s,t,k 用式(66), (67)计算 , ; end for end forP Os ΘO s 用式(49), (50)更新 , ;P Hs ΘH s 用式(64), (65)更新 , ; end for .3 分析与改进3.1 复杂度分析τm a h d a d h 在RNNs 当前所用优化算法中, SGD 是时间和空间复杂度最低的算法. 本节将以SGD-RNN 为参照, 来对比分析本文提出的RLS-RNN 算法的时间和空间复杂度. 两个算法采用一个迷你批样本数据集学习的时间和空间复杂度对比结果如表1所示. 从第1节介绍可知, 表示序列数据时间步长度, 表示批大小, 表示单个样本向量的维度, 表示隐藏层神经元数量, 表示输出层神经元数量.在实际应用中, 和一般要小于 , 因而RLS-RNN 的时间复杂度和空间复杂度大约为SGD-RNN 的3倍. 在实际运行中, 我们发现RLS-RNN 所用时间和内存空间大约是SGD-RNN 的3倍, 与本节理论分析结果正好相吻合.所提算法只需在RNNs 的隐藏层和输出层各设置一个矩阵, 而以前的RLS 优化算法则需为RNNs 隐藏层和输出层的每一个神经元设置一个与所提算法相同规模的协方差矩阵, 因而所提算法在时间和空间复杂度上有着大幅降低. 此外, 所提算法采用了深度学习广为使用的迷你批训练方式, 使得其可用于处理较大规模的数据集.λ3.2 自适应调整λλλ众多研究表明, 遗忘因子的取值对RLS 算法性能影响较大[28], 特别是在RLS 处理时变任务时影响更大. 由于本文所提算法建立在传统RLS 基础之上, 因而RLS-RNN 的收敛质量也易受的取值影响. 在RLS 研究领域, 当前已有不少关于自适应调整方面的成果[28−29], 因此可以直接利用这些成果对RLS-RNN 作进一步改进.λs 在文献[29]基础上, 本小节直接给出一种自适应调整方法. 对第迷你批样本, RLS-RNN 各层中的遗忘因子统一定义为λmax κ>1λs κλs ξλs q s σes其中, 接近于1, 用于控制更新, 一般建议取2, 通常取值越小, 更新越频繁; 是一个极小的常数, 防止在计算时分母为0; , 8 期赵杰等: 递归最小二乘循环神经网络2055σv s 和定义为µ07/8;µ1=1−1/(ς1m )ς1≥2;µ2=1−1/(ς2m )ς2>ς1其中, 建议取 , 通常 , 且 .λs λλ当然, 采用以上方式更新将会引入新的超参数, 给RLS-RNN 的调试带来一定困难. 从使用RLS-RNN 的实际经验来看, 也可采用固定的进行训练, 建议将取值设置在0.99至1之间.3.3 过拟合预防传统RLS 算法虽然具有很快的收敛速度, 但也经常面临过拟合风险, RLS-RNN 同样面临这一风险. 类似于第3.2节, 同样可以利用RLS 领域关于这一问题的一些研究成果来改进RLS-RNN.L 1Ek șio ğlu [30]提出了一种正则化RLS 方法,即在参数更新时附加一个正则化项. 对其稍加改进,则在式(50)和式(65)的基础上可分别重新定义为γG O s,t =G O s,t,1,···,G Os,t,m G H s,t =[G H s,t,1,···,G H s,t,m ]其中, 为正则化因子, ,.实际上, 除了这种方法外, 读者也可采用其他正则化方法对RLS-RNN 作进一步改进.4 仿真实验αη为了验证所提算法的有效性, 本节选用两个序列数据分类问题和两个序列数据预测问题进行仿真实验. 其中, 两个分类问题为MNIST 手写数字识别分类[31]和IMDB 影评正负情感分类, 两个预测问题为Google 股票价格预测[32]与北京市PM2.5污染预测[33]. 在实验中, 将着重验证所提算法的收敛性能、超参数和选取的鲁棒性. 在收敛性能验证中, 选用主流一阶梯度优化算法SGD 、Momentum 和Adam 进行对比, 所有问题的实验均迭代运行150Epochs; 在超参数鲁棒性验证中, 考虑到所提算法收敛速度非常快, 所有问题的实验均只迭代运行50Epochs. 为了减少实验结果的随机性, 所有实验均重复运行5次然后取平均值展示结果. 此外, 为了观察所提算法的实际效果, 所有优化算法在RN-Ns 参数更新过程均不进行Dropout 处理. 需要特别说明的是: 对前两个分类问题, 由于时变性不强,所提算法遗忘因子采用固定值方式而不采用第3.2表 1 SGD-RNN 与RLS-RNN 复杂度分析Table 1 Complexity analysis of SGD-RNN and RLS-RNNSGD-RNNRLS-RNN时间复杂度O s O (τmdh )—Z s —O (τmdh ) H s O (τmh (h +a ))O (τmh (h +a ))∆O sO (4τmd ) O (3τmd ) ∆H sO (τmh (h +d ))O (τmh (h +d )) P O s —O (2τmh 2) P H s—O (2τm (h +a )2)ΘO s O (τmdh ) O (τmdh ) ΘH s O (τmh (h +a )) O (τmh (h +a ))合计O (τm (3dh +3h 2+2ha ))O (τm (7h 2+2a 2+3dh +6ha ))空间复杂度ΘO s O (hd ) O (hd ) ΘH sO (h (h +a ))O (h (h +a )) P Hs —O ((h +a )2)P O s—O (h 2)合计O (h 2+hd +ha )O (hd +3ha +a 2+3h 2)2056自动化学报48 卷节所提方式; 对后两个预测问题, 所提算法遗忘因子将采用第3.2节所提方式; 所提算法对4个问题均将采用第3.3节所提方法防止过拟合.4.1 MNIST 手写数字识别分类28×28MNIST 分类问题的训练集与测试集分别由55 000和10 000幅像素、共10类灰度手写数字图片组成, 学习目标是能对给定手写数字图片进行识别. 为了适应RNNs 学习, 将训练集和测试集中的每张图片转换成一个28时间步的序列, 每时间步包括28个像素输入, 图片类别采用One-hot 编码.tanh (·).tanh (·)tanh −1(1)tanh −1(−1)tanh −1(x )x ≥0.997tanh −1(x )=tanh −1(0.997)x ≤−0.997,tanh −1(x )=tanh −1(−0.997)该问题所用RNN 模型结构设置如下: 1) 输入层输入时间步为28, 输入向量维度为28. 2) 隐藏层时间步为28, 神经元数为100, 激活函数为 3) 输出层时间步为1, 神经元数为10, 激活函数为. 由于和分别为正、负无穷大, 在具体实现中, 对 , 我们约定: 若, 则 ; 若则 . RNN 模型权重参数采用He 初始化[34].在收敛性能对比验证中, 各优化算法超参数设ληαγβ1β2ϵ10−8αηλ=0.9999γ=0.0001η=1α=0.01,0.1,0.2, (1)=0.9999,γ=0.0001α=0.4,η=0.1,1,2,···,10置如下: RLS 遗忘因子为0.9999, 比例因子为1, 协方差矩阵初始化参数为0.4, 正则化因子为0.0001; SGD 学习率为0.05; Momentum 学习率为0.05, 动量参数0.5; Adam 学习率0.001, 设为0.9, 为0.999, 设为 . 在超参数和选取的鲁棒性验证中, 采用控制变量法进行测试: 1)固定 , 和 , 依次选取验证; 2) 固定和依次选取验证.αηαα在上述设定下, 每一Epoch 均将训练集随机划分成550个迷你批, 批大小为100. 每训练完一个Epoch, 便从测试集中随机生成50个迷你批进行测试, 统计其平均分类准确率. 实验结果如图2(a)、表2和表3所示. 由图2(a)可知, RLS 在第1个Epoch 便可将分类准确率提高到95%以上, 其收敛速度远高于其他三种优化算法, 且RLS 的准确率曲线比较平滑, 说明参数收敛比较稳定. 表2和表3记录了该实验取不同的和时第50 Epoch 的平均分类准确率. 从表2中不难看出, 不同初始化因子在第50 Epoch 的准确率都在97.10%到97.70%之间波动, 整体来说比较稳定, 说明对算法性能图 2 收敛性比较实验结果Fig. 2 Experimental results on the convergence comparisons8 期赵杰等: 递归最小二乘循环神经网络2057ηηαη影响较小. 从表3中可知, 不同取值的准确率均在97.04%到97.80%之间, 波动较小, 取值对算法性能的影响也不大. 综上, RLS 算法的和取值均具有较好的鲁棒性.4.2 IMDB 影评情感分类IMDB 分类问题的训练集和测试集分别由25 000和10 000条电影评论组成, 正负情感评论各占50%,学习目标是能对给定评论的感情倾向进行识别. 为了适应RNNs 学习, 首先从Keras 内置数据集加载训练集和测试集的各条评论, 选取每条评论前32个有效词构成一个时间步序列, 然后对该评论中的每个有效词以GloVe.6B 预训练模型[35]进行词嵌入, 使得每个时间步包括50个输入维度, 评论的正负情感类别采用One-hot 编码.tanh (·)tanh (·)tanh −1(x )该问题所用RNN 模型结构设置如下: 1) 输入层输入时间步为32, 输入向量维度为50. 2) 隐藏层时间步为32, 神经元数为100, 激活函数为 .3) 输出层时间步为1, 神经元数为2, 激活函数为. 问题和RNN 模型权重参数的初始化按第4.1节方式同样处理.ληαγβ1β2ϵ10−8αηλ=0.9999,γ=0.001η=1α=0.01,0.1,0.2,···,1λ=0.9999,γ=0.001α=0.4η=0.1,1,2,···,10在收敛性能对比验证中, 各优化算法超参数设置如下: RLS 遗忘因子为0.9999, 比例因子为1, 协方差矩阵初始化参数为0.4, 正则化因子为0.001; SGD 学习率为0.05; Momentum 学习率为0.05, 动量参数0.5; Adam 学习率0.0001, 设为0.9, 设为0.999, 设为 . 在超参数和选取的鲁棒性验证中, 同样采用控制变量法进行测试: 1) 固定和 , 依次选取验证; 2) 固定和 , 依次选取验证.αηααηηαη在上述设定下, 每一Epoch 均将训练集随机划分成250个迷你批, 批大小为100. 每训练完一个Epoch, 便从测试集中随机生成50个迷你批进行测试, 统计其平均分类准确率. 实验结果如图2(b)、表2和表3所示. 由图2(b)可知, SGD 与Mo-mentum 的收敛不太稳定, 波动比较大, 而Adam 的准确率曲线则比较平滑, 这三者在训练初期的准确率都比较低. 相比之下, RLS 在训练初期的准确率已经比较接近后期预测准确率, 前期收敛速度极快, 整体准确率也明显优于其余三种优化算法. 表2和表3记录了IMDB 实验取不同的和时第50Epoch 的平均分类准确率. 由表2易知不同的情况下准确率浮动范围比较小, 因此不同对算法的影响比较小. 由表3可知, 采用不同时其准确率在72.86%到73.82%之间浮动, 可见的取值对算法性能影响较小. 综上, RLS 算法的和取值在本实验中同样都具有较好的鲁棒性.4.3 Google 股票价格预测Google 股票价格预测问题的数据源自Google 公司从2010年1月4日到2016年12月30日的股价记录, 每日股价记录包括当日开盘价、当日最低价、当日最高价、交易笔数及当日调整后收盘价五种数值, 学习目标是能根据当日股价预测调整后次日收盘价. 为了适应RNNs 学习, 首先对这些数值进行归一化处理, 然后以连续50个交易日为单位进行采样, 每次采样生成一条5维输入序列数据,同时将该次采样后推一个交易日选取各日调整后收盘价生成对应的一维期望输出序列数据, 取前1 400条序列数据的训练集, 后续200条序列数据为测试α表 2 初始化因子鲁棒性分析αTable 2 Robustness analysis of the initializing factor α0.010.10.20.30.40.50.60.70.80.9 1.0MNIST 分类准确率 (%)97.1097.3697.3897.3597.5797.7097.1997.2797.4297.2597.60IMDB 分类准确率 (%)72.2173.5073.2473.3274.0273.0173.6873.2573.2073.4273.12×10−4股价预测MSE ( ) 5.32 5.19 5.04 5.43 5.42 5.30 4.87 4.85 5.32 5.54 5.27×10−3PM2.5预测MSE ( )1.581.551.531.551.611.551.551.541.571.581.57η表 3 比例因子鲁棒性分析ηTable 3 Robustness analysis of the scaling factor η0.1 1.0 2.0 3.0 4.0 5.0 6.07.08.09.010.0MNIST 分类准确率 (%)97.8097.5997.4897.6197.0497.6297.4497.3397.3897.3797.45IMDB 分类准确率 (%)73.5873.4673.6273.7673.4473.8273.7172.9772.8673.1273.69×10−4股价预测MSE ( ) 5.70 5.32 5.04 5.06 5.61 4.73 5.04 5.14 4.85 4.97 5.19×10−3PM2.5预测MSE ( )1.531.551.561.591.561.531.581.551.541.501.522058自动化学报48 卷。

基于少样本学习的遥感图像超分辨率重建算法

Chinese Academy of Sciences, Beijing 100190 China;
4. National Key Lab of Microwave Imaging Technology, Chinese Academy of Sciences, Beijing 100190 China )
2. School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049 China;
3. Key Laboratory of Technology in Geo-spatial Information Processing and Application System,
利用深度学习的方法来进行超分辨率重建，本质上就是通过训练神经网络学习高低分图像的非线性映射关系，以此来模拟低分图像的退化过程的逆过程，再将训练得到的模型用于低分图像，从而得到重建图像。训练得到的模型的好坏，取决于对低分图像退化过程的逆过程的模拟程度。由此带来一个问题，对于实际应用场景来说，不同的低分图像退化过程往往不尽相同，因此很难利用大量数据训练出普适的模型，因为若训练集包含各种不同退化核的低分图像，则训练出的神经网络不能很好地模拟任何一种退化核的逆，而是它们的综合，则对于任何一种退化核的低分图像来说，超分效果都不会很好。
超分辨率重建，就是通过低分辨率图像 L 来得到接近高分辨率图像 H 的重建图像。当退化核已知的时候，即非盲超分，问题相对较简单，目前大部分超分方法都是针对这种情形，甚至有很多超分方法忽略了模糊核和加性噪声的影响，只考虑下采样核，即对高分辨率图像做固定的下采样操作来得到低分辨率图像，以此构成高低分对来进行训练，再将训练得到的模型用于用同样的下采样方式得到的低分测试图像，使问题大大简化，因而往往能得到不错结果。而当退化核未知的时候，即盲超分，问题相对较困难，而实际应用场景大多如此，往往很难得到较好结果。

欠采样技术的超宽带信号子空间重建方法

欠采样技术的超宽带信号子空间重建方法杨峰;胡剑浩;李少谦【摘要】针对超宽带脉冲信号采样中需要设计超高速模数变换器的问题,提出了一种带通采样结构和子空间重建算法.超宽带脉冲信号通过一个带通滤波器后,以数倍信号新息率进行采样,然后采用子空间重建算法可以准确地恢复出超宽带脉冲信号的幅度和时移.分析和仿真结果表明,该算法所要求的采样率低于传统香农采样定理要求的奈奎斯特率;当信号受到噪声影响时,子空间重建算法的性能优于现有的零化滤波重建算法.【期刊名称】《电子科技大学学报》【年(卷),期】2010(039)006【总页数】5页(P841-844,849)【关键词】带通采样;新息率;子空间重建;超宽带【作者】杨峰;胡剑浩;李少谦【作者单位】电子信息控制重点实验室,成都,610036;电子科技大学通信抗干扰技术国家重点实验室,成都,611731;电子科技大学通信抗干扰技术国家重点实验室,成都,611731【正文语种】中文【中图分类】TN92针对UWB脉冲信号的采样问题，本文提出了一种带通采样结构和子空间重建算法，该方法避免了传统香农采样定理所要求的最小奈奎斯特率采样，所要求的ADC采样率仅为UWB脉冲信号新息率的数倍；当UWB脉冲信号受噪声影响时，子空间重建算法的性能优于现有的零化滤波重建算法。

UWB脉冲信号的数学表达式为：式中 i为UWB信号数据帧中的第i个脉冲；p为UWB信号一帧中脉冲的个数；Ai为直接序列扩频伪随机序列；β⎣i/p⎣为PAM调制脉冲幅度；Tf为脉冲重复周期；ci为跳时扩频随机码；Tc为跳时扩频时移；δα⎣i/p⎣ 为PPM调制脉冲时移；g(t)为UWB脉冲信号波形，最常见的脉冲波形是高斯单脉冲。

将式(1)写为高斯单脉冲g(t)与冲激串信号x(t)的卷积有：本文将探索如何按照信号新息率进行采样和重建UWB脉冲信号的方法，所提出的采样与重建系统结构如图1所示。

UWB信号s(t)通过一个带宽大于(等于)信号新息率的带通滤波器h(t)，以数倍信号新息率进行采样，将采样得到的离散时间信号y[n]变换到频域后，采用简单的迫零均衡算法获得冲激串信号x(t)的傅里叶变换X[k]。

基于压缩感知和改进自适应正交匹配的稀疏信号重构

基于压缩感知和改进自适应正交匹配的稀疏信号重构张宗福【摘要】针对传统香农-奈奎斯特采样定理指出在保证原始信号重构精度的前提下,采样频率必须为原始信号频率的2倍,提出了一种基于压缩感知理论和改进的自适应正交匹配追踪算法的稀疏信号重构方法;首先引入了压缩感知模型和信号重构目标函数,然后在对经典正交匹配追踪类算法进行分析和总结的基础上,为克服其不足,设计了一种二次筛选支配原子集的方法,即通过计算信号的QR分解并计算具有最大势能的原子从而得到能量候选原子集,通过计算余量与原子的相关性选出相关性最大的原子从而得到相关候选原子集,并将能量候选原子集和相关候选原子集的交集作为最终支配原子集;最后定义了具体的采用自适应正交匹配算法实现信号重构的算法;在Matlab仿真环境下试验,结果表明:文章方法能有效地进行稀疏信号重构,具有较小的重构误差,且与其它方法相比,具有收敛速度快和重构效果好的优点.【期刊名称】《计算机测量与控制》【年(卷),期】2014(022)005【总页数】4页(P1568-1571)【关键词】信号重构;压缩感知;正交匹配;噪声【作者】张宗福【作者单位】广东江门职业技术学院,广东江门 529090【正文语种】中文【中图分类】TP3120 引言为有效和快速地对规模巨大的数据量进行处理，需要首先对信号进行压缩，然后再基于压缩的信号进行各类操作［1］。

香农－奈奎斯特采样定理指出：对于任何一个连续带宽的有限信号，只有当信号采样频率大于或等于信号带宽的2倍时，才能保证的无损重构［2－3］，但随着待处理信号的带宽增大时，香农－奈奎斯特采样定理主要面临着下面两个问题［4］：（1）存储资源、传输资源和计算资源等硬件成本增大而信号获取效率减少；（2）当获取数据后，先压缩再进行存储或传输的处理方式导致了资源利用率的降低。

因此，如何建立一个有效的信号处理框架，能以远小于香农－奈奎斯特采样定理中要求的采样频率对原始信号进行无损地采样，同时保证信号能精确地恢复成原始信号，是信号处理领域的一个重要研究方向［5］。

基于核矩阵等距映射的无线传感网络节点定位算法

基于核矩阵等距映射的无线传感网络节点定位算法杨海;李兵【摘要】针对无线传感网络(Wireless Sensor Network,WSN)中节点位置信息呈现非线性的问题,基于偏最小二乘法(Partial Least Squares,PLS)稳健的多元线性回归特点,结合流形学习中的非线性降维方法,提出了一种基于PLS的核矩阵等距映射(Isometric Feature Mapping,ISOMAP)节点定位算法.通过节点间测地距离表征节点非相似性,利用样本点贡献率找寻和剔除邻域中的“短路”边,经质心变换和核变换后映射至高维特征区间,采用PLS方法求得节点位置.仿真结果表明,相比ISOMAP和多维尺度(Multidimensional Scale Method,MDS)算法,该算法具有良好的拓扑稳定性、泛化能力、稳健性和定位精度,降低了计算复杂度.【期刊名称】《华东师范大学学报（自然科学版）》【年(卷),期】2019(000)001【总页数】9页(P115-123)【关键词】无线传感网络;节点定位;核矩阵;等距映射【作者】杨海;李兵【作者单位】湖南机电职业技术学院,长沙410151;湖南机电职业技术学院,长沙410151;合肥工业大学电气与自动化工程学院,合肥230009【正文语种】中文【中图分类】TN929.5;TP212.90 引言节点定位是无线传感网络(WSN)应用的关键技术之一.根据节点定位算法结构.节点定位分为非学习型和学习型,后者对信标节点(已知位置节点)密度要求低且定位精度高,目前应用较广.学习型中应用较多的多维尺度(MDS)算法是一种线性降维方法,通过节点间欧氏距离表征节点非相似性,将高维空间数据以图形形式在低维空间再现,实现维数约减,进而估计节点位置[1-6].但节点间信号受路径损耗、多径传播、环境温湿度及节点位置的随机性等因素影响[7],节点位置信息呈现非线性关系,高维空间中呈现扭曲,线性降维方法难以实现维数约减,尤其当高维数据集在欧式空间相应的子集非凸时,数据集的低维嵌入结构还会产生较大的变形.ISOMAP算法是在MDS算法框架基础上,采用节点间测地距离替代欧式距离,通过双质心变换实现算法降维的非线性扩展[8-10].但数据集中存在噪声干扰,使得质心变换后距离矩阵无法满足半正定条件,算法泛化能力差[11-12].Heeyoul等学者提出了基于核矩阵的ISOMAP算法KISOMAP,通过构建核矩阵保证距离平方矩阵的半正定性,提高了算法泛化能力[13].但ISOMAP和KISOMAP算法均基于最小二乘法(Least Square,LS)求解,对数据异常点敏感,求解难易度依赖于邻域大小选择,限制了算法稳健性和拓扑稳定性,且样本增加时,需重新计算全部样本测地距离,运算复杂度呈指数增加[14].本文基于PLS的KISOMAP(PLS-KISOMAP)节点定位算法是在ISOMAP算法基础上,利用PLS辅助分析方法中的贡献率找寻和剔除邻域中的“短路”边(离群点),提高了算法运算效率和定位精度;通过构造核矩阵改进了算法泛化能力;在高维特征区间里,采用PLS求解节点相对位置,进一步提高了其稳健性和网络拓扑性;与经典MDS、ISOMAP和KISOMAP定位方法进行了比较,仿真结果验证了本文所提出的PLS-KISOMAP定位算法的有效性.1 ISOMAP节点定位算法高维空间中,假设传感器节点集为X={X1,···,Xm,Xm+1,···,XN},其中Xi=(xi,1,···,xi,w)是节点i的坐标,N(N=m+n)是网络节点个数,m和n分别为网络中信标节点和未知节点数目,w为空间维度(等于2或3),则节点i和j的欧氏距离di,j为其中,∥·∥是 Frobenius范数.考虑测量误差和噪声干扰,则节点i和j的实际欧氏距离Ri,j为其中,ξi,j是噪声干扰和测量误差,假定服从正态分布,即ISOMAP节点定位算法通过构造邻域图,利用样本向量间测地距离表示节点非相似性,通过等距映射获得高维空间观测数据集在低维空间的表示,真实再现其内在非线性几何结构,实现了算法的非线性扩展,具有较高的定位精度.ISOMAP节点定位算法步骤简要描述如下.(1)选取K邻域(或ε-邻域),构造邻域图G(V,E),其中V是传感器网络节点集合,E是边的集合.计算节点i和j的欧氏距离di,j,如果节点i和j为邻域点,则边的权值(2)计算质心化测地距离平方矩阵K.如果图G有边,则DG(i,j)=di,j,否则DG(i,j)=∞.利用Dijkstra算法确定图G的测地距离矩阵DG,根据希尔伯特空间理论和双质心变换方法计算其中为元素等于1的行向量,I为n×n阶单位矩阵.(3)基于LS方法,对矩阵K运用奇异值分解方法求解节点相对位置坐标.2 基于PLS法的KISOMAP节点定位算法PLS-KISOMAP节点定位算法是在ISOMAP算法基础上,利用PLS方法寻找和剔除邻域图中的“短路”边,再根据核技术思想构建Mercer核矩阵,最后利用PLS方法求解节点相对位置.2.1 “短路”边的确定邻域大小直接决定ISOMAP算法的拓扑稳定性、鲁棒性及运算效率,邻域过大将破坏数据集流形结构,产生“短路”边,使得邻域不能正确地表达数据集结构,邻域过小则影响流形结构的连续性.传统ISOMAP算法邻域的确定通过预先设置邻域参数,依靠映射“质量”(残差矩阵)大小判定参数选取的好坏,运算效率低.通过寻找和剔除邻域图中的“短路”边,使得算法对邻域大小不再敏感,则可以避开邻域大小难以有效选取的问题,提高运算效率.空间离群点检测算法有基于聚类、距离、密度和统计等类型,当空间数据存在严重自相关性和异质性等约束条件时,基于统计的算法具有较好的效果.PLS方法是一种适合于回归和分类研究的第二代建模方法,广泛运用于机器学习和化学分析等领域,利用输入和输出向量之间的协方差信息提取数据潜在特征,可同时实现多元线性回归、主成份分析和典型相关分析,对样本数量要求少,运行速度快,易于区分有效信息和噪声,适合于自变量存在严重多重相关性的场合[10].样本点贡献图利用样本点中各变量对解释变量空间中潜变量的贡献分析其对总趋势的影响,可以检测出对模型影响较大的离群点,是PLS方法特有的离群点检测技术,具有较强的检测能力.假设流形结构中样本点分布是一致的,即所有样本点对数据集的潜变量贡献一致.令测地距离矩阵中样本点i中解释变量j对潜变量th的贡献率Contij,h为其中,sh是潜变量th的标准差D=(PTW)−1WT,P和W 分别是自变量载荷系数矩阵和权重迅速矩阵,Xij是中心化的第i个样本点对第j个解释变量的观测值.则样本点i对潜变量th(h=1,2,···,p)的总贡献率Contij为如果远大于或者远大于其他样本点的总贡献率,则认为样本点i是“短路”边.参照留一交叉验证法,构造全体样本总贡献率方差矩阵CCσ(e)和删除样本点i后的样本总贡献率方差矩阵CCσ(e,−i),两者差值为∆CCi,如果∆CCi大于预先设定值,则认为该样本点为“短路”边.该方法关键是如何确定合适的预先设定值,结合偏F检验方法,根据偏F统计量衡量样本点偏离群体的程度,避免预先设定值的选取问题[10].按照定义有采用∆CCi作为衡量样本点i与其他样本点贡献率的偏差程度的统计量,构造偏F统计量即统计量Fi服从F(1,n−p−1)分布,如果Fi>F(1,n−p−1),则认为样本点i为“短路”边.2.2 核矩阵的构建ISOMAP算法是通过非线性映射将给定空间内的线性不可分问题在相应高维特征空间内转换为线性可分问题,但存在非线性映射形式选择及特征空间维数等问题,维数较高时会产生运算“维数灾难”.根据希尔伯特空间理论(希尔伯特空间下正定核函数存在和判定的充分必要条件),K需满足Mercer条件,为半正定矩阵,由于噪声影响及测地距离近似性,K无法保证其正定性,算法泛化能力差.核技术就是利用核函数替代非线性映射中的内积运算,避免映射形式选择和“维数灾难”问题.ISOMAP算法被视为核主成分分析(Principal Component Analysis,PCA)方法,采用增加常量的方法将K变换为Mercer核矩阵,可以同时保证测地距离的不变性及的半正定性,利用核矩阵的对角化获得高维数据的低维嵌入,提高算法的泛化能力[9].令c∗为矩阵的最大特征值,取c>c∗>0,变换后测地距离矩阵DG为其中,δij是Kronecker delta函数.经过双质心变换,K相应的Mercer核矩阵为根据Mercer核矩阵定义,可以表示为其中,Φ(·)为非线性映射形式.2.3 节点相对位置求解从第2.2节可以看出,ISOMAP节点定位算法可以表述为最优化问题其中,EDM为测地距离矩阵集,K∗为K相应的低维空间重构矩阵.式(10)实质就是利用LS方法求解半定规划(Semi-De finite Programming,SDP)问题[10],通常采用矩阵奇异值分解方法.高维特征空间里,N个样本点的协方差矩阵为对协方差矩阵C做特征值分解,并对相应的特征向量矩阵做归一化处理,便得到样本点在的特征空间里的相对位置坐标.假设DG中测量误差和噪声干扰服从高斯分布,经过双质心变换,根据式(7)、式(8)、式(9),核矩阵中的元素为从式(12)可以看出,矩阵 eK的元素不再服从高斯分布,而是集合高斯分布和χ2分布的一种混合分布,同时节点间的噪声误差扩散到其他节点,造成噪声污染．LS方法解决优化问题时,要求样本点相互独立且联合分布服从多元正态分布,当噪声不服从高斯分布时,对异常点敏感,无法得到最优解[8].采用PLS方法求解式(10)时,则可以表述为最优化问题其中,U和V分别为高维特征(对偶)空间的特征向量矩阵.PLS-KISOMAP算法中,回归模型中输入矩阵X为核矩阵,PLS方法演变为核偏最小二乘(Kernel Partial Least Squares,KPLS)方法,变形为最优化问题PLS方法采取非参数估计方法,避免了LS方法严格要求参数问题,对样本数据无分布要求,均能得到渐进正确的估计.PLS-KISOMAP算法结合了PLS和核技术的优点,实现了PLS线性回归到高维非线性空间的延伸,同时回归模型中输入矩阵为质心矩阵,消除了偏置项影响,减少了回归系数矩阵维数及计算复杂度.2.4 新增样本点的处理样本维数为l,个数为N时,ISOMAP算法的计算复杂度为O(lN2)[8-9];而样本增加时,ISOMAP算法通过合并全部数据集后重新学习获取其低维流形结构,则算法计算时间成指数倍增加,学习效率低,限制了样本集规模.根据核矩阵特征向量求解方法,新增样本点xl的低维向量为其中,λi表示 eK的第i个特征值,vi表示相应的特征向量.则xl与原有数据点xj的测地距离平方矩阵为根据式(8)、式(11)有则xl与xj的测地距离为按照矩阵分块思想,则式(14)可以表示为其中,Knew表示新增样本与原样本的测地距离矩阵.从式(18)、式(19)可以看出,当新增样本时,只需计算xl与原样本的测地距离矩阵,而K∗可以直接运用,减小了计算量.3 仿真实验为验证本文算法的有效性,将PLS-KISOMAP节点定位方法与经典MDS、ISOMAP和KISOMAP定位方法进行对比.假设传感器网络节点部署在10 m×10m×2 m空间内,网络全连通.实验中,定位算法性能评价采用平均定位误差作为评价指标[1-2],为其中,r是节点通信半径,xe,i和xr,i分别是节点i的估计位置和实际位置.实验中,参数m=10,r取定值2 m.图1为节点规则部署且位于同一平面网络拓扑结构时,经典MDS、ISOMAP、KISOMAP和PLS-KISOMAP算法的定位误差曲线.从图1看出,随着采样次数增加,从网络结构中获取的有关距离信息越多,经典MDS算法中重构的相似性矩阵误差越小,ISOMAP算法及其改进算法中最短路径距离替代欧式距离的精度越高,4种算法的定位误差均呈现下降趋势.ISOMAP与MDS算法基本框架一致,当节点为规则平面网络结构时,节点间测地距离近似于欧氏距离,ISOMAP退化成MDS算法.因此4种算法定位误差相差不大,彼此差异主要来源于LS和PLS方法求解SDP问题的解偏差.图1 节点平面布置场景下定位误差曲线Fig.1 The localization error curve in plane layout图2和图3为节点网络部署在鞍形曲面上时,MDS、ISOMAP、KISOMAP和PLSKISOMAP 算法的定位效果,图中“”、“”、“+”和“＊”分别表示MDS、ISOMAP、KISOMAP和PLS-KISOMAP节点估计位置,“”表示节点实际位置.MDS平均定位误差为34.2%,最大误差达到43.5%;ISOMAP平均定位误差为28.8%,最大误差为32.6%;KISOMAP平均定位误差为22.8%,最大误差为32.7%;PLS-KISOMAP平均定位误差为17.8%,最大误差为26.6%.结果表明,当节点部署在曲面上时,MDS算法只能寻找节点间的线性关系,而ISOMAP、KISOMAP 和PLS-KISOMAP算法可以发现节点间的非线性关系,因而后3者定位效果要优于前者.在曲面图形的边沿位置,由于获取的有关节点位置信息较少,定位效果相对较差.同时,PLS-KISOMAP算法利用PLS辅助分析方法中的贡献率找寻和剔除邻域中的“短路”边,提高了算法定位精度.图2 节点曲面布置场景下定位效果三维图Fig.2 3D diagram of the localization e ff ect curve plane图4为噪声水平改变情况下,经典MDS、ISOMAP、KISOMAP和PLS-KISOMAP 这4种算法的定位误差比较结果.可以看出,4种算法定位误差均随着噪声水平增大而增加,PLS-KISOMAP、KISOMAP和ISOMAP算法较MDS误差增加趋势缓慢.同样噪声条件下,PLS-KISOMAP算法通过剔除样本集中的特异点,减少了噪声影响,同时采用PLS方法提高了求解精确度,误差最小且变化相对平稳.图5为节点定位算法执行时间与样本数目的关系.从图5中看出,样本增加时,MDS、ISOMAP和KISOMAP算法需要对包括原样本集的整个新样本集进行重新计算,而PLS-KISOMAP算法只需计算新增样本与原始样本之间的测地距离,减少了计算复杂度,算法执行速度快.当样本个数大于350时,四种算法的执行时间均急剧增加,是因为MDS、ISOMAP、KISOMAP和PLS-KISOMAP算法是将定位问题转化成SDP问题,而SDP的算法复杂度高,当样本数量较大时,SDP算法执行时间较长.图3 定位效果X-Y面投影图Fig.3 The X-Y plane projection diagram of localization e ff ect图4 噪声对定位误差的影响Fig.4 The e ff ect of noise on localization error 图5 算法定位时间比较Fig.5 Comparison of localization time4 结论本文提出了一种PLS-KISOMAP节点定位算法,有效利用了ISOMAP保持数据集全局结构的特性;通过PLS方法中的样本点贡献率寻找并剔除邻域中的“短路”边,避免了ISOMAP算法中邻域大小选择困难问题;利用PLS方法对样本分布不敏感和核矩阵的半正定性特点,运用PLS求解节点位置坐标,降低了噪声分布形式变化对算法影响,提高了算法泛化能力和求解精度;基于分块核思想求解新增样本点,进一步提高了算法运行速度.PLS-KISOMAP节点定位算法是在MDS算法框架基础上发展而成的一种非线性降维学习方法,适合于全部MDS节点定位算法应用场合,同时适应于凸区域和非凸区域.本文研究中假定节点通信半径为定值,而实际网络中,由于环境影响及传感器自身性能差异,网络中节点通信半径存在差异,影响着算法定位效果.下一步工作将研究节点通信半径改变及节点位置移动时的定位问题.[参考文献]【相关文献】[1]丁英,孙雨耕,李婷雪.基于多维校正的无线传感器网络多维标度定位算法[J].仪器仪表学报,2009,30(5):1002-1011.[2]KUMAR S,KUMAR R,RAJAWAT K.Cooperative localization of mobile networks via velocity-assisted multidimensional scaling[J].IEEE Transactions on SignalProcessing,2016,64(7):1744-1758.[3]郝志凯,王硕,谭民.基于优化策略的混合定位算法[J].自动化学报,2010(5):711-719.[4]叶飞虎,白光伟,沈航.无线传感器网络距离自调整的MDS定位算法[J].计算机科学,2012(5):40-43.[5]CUI W,WU C D,MENG Wi,et al.Dynamic multidimensional scaling algorithm for 3-D mobile localization[J].IEEE Transactions on Instrument andMeasurement,2016,65(12):2853-2865.[6]MANDANAS F D,KOTROPOULOS C L.robust multidimensional scaling using a maximum correntropy criterion[J].IEEE Transactions on Signal Processing,2017,65(4):919-932.[7]ZHAO Y,CHENG H W,YI D Y,et al.Initial state estimation for boost phase object basedon linear least square estimation[J].Journal of Electronics and Information Technology,2010,32(12):2884-2889.[8]TENENBAUM J B,DE SILVA V,LANGFORD J C.A global geometric framework for nonlinear dimensionality reduction[J].Science,2000,290:2319-2323.[9]ROWEIS S T,SAUL L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290:2323-2326.[10]LAW M H C,JAIN A K.Incremental nonlinear dimensionality reduction by manifold learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(3):377-391.[11]邓文莲.无线传感器网络节点定位的仿真研究[J].计算机仿真,2012(5):56-73.[12]陈璋鑫,宋玉梅,万群.LAD准则下的无线传感器网络节点定位方法[J].电子科技大学学报,2009,38(1):43-46.[13]CHOI H,KATAKE A,CHOI S,et al.Alpha-integration of multiple evidence[C]//2010 IEEE International Conference on Acoustics,Speech and Signal Processing.IEEE,2010:2210-2213.[14]LI B,HE Y G,GUO F M,et al.A novel localization algorithm based on isomap and partial least squares for wireless sensor networks[J].IEEE Transactions on Instrument and Measurement,2013,62(2):304-314.。

基于压缩感知稀疏信号重建的迭代硬阀值算法

基于压缩感知稀疏信号重建的迭代硬阀值算法吕园;李炳杰;叶萌;李广飞【摘要】For the signal sampling under the Nyquist rate, the signal can be reconstructed efficiently and accurately when the sampling system is well behaved and the signal is approximately expressed by a sparse vector. For no noise signal, the effectiveness of iterative hard thresholding (IHT) algorithm is investigated by using the fixed sparse basis and random observable matrix. If observable matrix satisfies RIP, and sparse basis is incoherent with random observable matrix, sparse projection of original signal can be reconstructed with high probability by the algorithm. Taking Hadamard orthonormal matrix as sparse basis and Gaussian random matrix as observable matrix, the sparse projection of the original signal was reconstructed. The effectiveness of the algorithm is verified by reconstructing result.%Nyquist采样速率条件下的信号采样,采样系统表现良好并且信号可以被稀疏向量近似表示时,信号可以被有效而精确地重构.针对无噪声信号,利用确定的稀疏基和随机的观测矩阵,研究迭代硬阀值算法的有效性.若观测矩阵满足有限等距性质(RIP),且稀疏基与随机观测矩阵不相干时,通过该算法,原始信号的稀疏投影可以被高概率重构.最后,利用哈达码正交矩阵作为稀疏基,高斯随机矩阵作为观测矩阵,对原始信号的稀疏投影进行重构,结果验证了该算法的有效性.【期刊名称】《现代电子技术》【年(卷),期】2012(035)006【总页数】3页(P87-89)【关键词】压缩感知;稀疏基;观测矩阵;迭代硬阀值【作者】吕园;李炳杰;叶萌;李广飞【作者单位】空军工程大学理学院,陕西西安 710051;空军工程大学理学院,陕西西安 710051;空军工程大学理学院,陕西西安 710051;空军工程大学理学院,陕西西安710051【正文语种】中文【中图分类】TN911.72-340 引言Nyquist-Shannon采样定理50多年来一直作为信号获取系统的基础。

基于稀疏非负最小二乘编码的高光谱遥感数据分类方法

基于稀疏非负最小二乘编码的高光谱遥感数据分类方法齐永锋;杨乐;火元莲【摘要】为了提高高光谱遥感影像的分类精度,提出了一种基于稀疏非负最小二乘编码的高光谱数据分类方法.采用非负最小二乘方法,将待测样本表示为训练样本的线性组合,并将得到的系数作为待测样本的特征向量,通过最小误差方法对待测样本进行分类.提出的方法在AVIRIS Indian Pines和萨利纳斯山谷高光谱遥感数据集上进行分类实验,并和主成分分析(PCA)、支持向量机(SVM)和基于稀疏表示分类器(SRC)方法进行比较,在2个数据集上本文方法的总体识别精度分别达到85.31％和99.56％,Kappa系数分别为0.8163和0.9867.实验结果表明本文方法的总体识别精度和Kappa系数都优于另外3种方法,是一种较好的高光谱遥感数据分类方法.【期刊名称】《农业机械学报》【年(卷),期】2016(047)007【总页数】6页(P332-337)【关键词】稀疏非负最小二乘;高光谱遥感;数据分类【作者】齐永锋;杨乐;火元莲【作者单位】西北师范大学计算机科学与工程学院,兰州730070;西北师范大学计算机科学与工程学院,兰州730070;西北师范大学物理与电子工程学院,兰州730070【正文语种】中文【中图分类】TP751.1高光谱遥感图像具有图谱合一的特征，光谱分辨率较高。

高光谱图像中每个像元的光谱特征都以向量的形式存在，不同的数值对应不同波段下的光谱响应值。

高光谱图像往往有数十个甚至数百个波段，覆盖范围从可见光到近红外。

高光谱图像包含的地物信息量大，对地表覆盖的识别能力强，在军事监视、环境监测、矿物识别等领域得到了广泛的应用，其中高光谱图像分类是最重要的应用之一[1]。

高光谱遥感图像为地物分类和识别提供了细致丰富的光谱特征信息，但其谱间的大量冗余信息也给分类带来了困难。

如果直接使用高光谱数据对地物进行分类，容易产生Hughes现象[2]，且计算量大、耗时长。

用于调制宽带转换器压缩频谱感知的重构失败判定方法

用于调制宽带转换器压缩频谱感知的重构失败判定方法郑仕链;杨小牛【摘要】调制宽带转换器(Modulated Wideband Converter,MWC)压缩采样应用于频谱感知的一个基本前提是信号在频域上的稀疏性.如果信号不稀疏,将导致MWC重构结果不正确.该文提出了一种MWC压缩采样重构成败的判定方法.该方法利用连续两次重构得到的子带能量之间的相关性进行判决.仿真结果表明,该方法能够较准确地判断重构是否成功,应用于认知无线电频谱感知中能够避免频谱不稀疏时认知用户对主用户造成干扰,达到保护主用户的目的.【期刊名称】《电子与信息学报》【年(卷),期】2015(037)001【总页数】5页(P236-240)【关键词】认知无线电;频谱感知;压缩感知;调制宽带转换器【作者】郑仕链;杨小牛【作者单位】西安电子科技大学通信工程学院西安710071;通信信息控制和安全技术重点实验室嘉兴314033【正文语种】中文【中图分类】TN921 引言认知无线电频谱感知需要对很宽的频段进行频谱检测[1]。

在 Shannon采样理论下，要瞬时覆盖宽频段往往需要多路模数转换器，硬件实现较为复杂。

压缩采样（也称为压缩感知）则有望以低于 Nyquist采样率的速率完成宽频段采样[2]，因此，很多学者将压缩采样应用到宽带频谱感知中[3 7]-。

目前针对模拟信号的压缩采样方式主要有两种：随机解调采样[8]以及调制宽带转换器（Modulated Wideband Converter, MWC）采样[9]。

随机解调采样假设信号满足多音模型，而MWC采样的信号模型为多子带信号模型，与实际情况更为接近[10]。

本文的研究针对MWC采样。

在 MWC采样应用于频谱感知方面，文献[11]中给出了一些实验结果，文献[12]将文献[11]的工作进行扩展，提出了一种更为详细的基于MWC采样的宽带频谱感知流程，并给出了仿真结果。

文献[13]进一步讨论了MWC压缩采样后的循环平稳检测方法。