基于同质性降维和CMP算法的高光谱图像分类

基于同质性降维和CMP算法的高光谱图像分类
晁拴社;楚恒
【摘要】According to the fact that high-dimensionality and redundant information between bands of hyperspectral data, the paper proposes a new classification method based on homogeneity dimensionality reduction and Combined Matching Pursuit(CMP)algorithm. Firstly, the proposed method segments hyperspectral image by mean shift algorithm and obtains homogeneous blocks, and builds dimensionality reduction mapping function of the image block by manifold learning. And then the method trains sparse least squares SVM for low-dimensional data, but the method proposes a new sparse reconstruction method based on CMP algorithm for solving multiple iterations of Orthogonal Matching
Pursuit(OMP) algorithm. By classification results of hyperspectral data can be drawn that the proposed method effectively improves the hyperspectral image classification accuracy.%针对高光谱数据维数高,波段间冗余信息大的问题,提出一种基于同质性降维和组合匹配追踪算法的高光谱图像分类方法.该方法首先利用均值漂移算法对高光谱图像进行分割得到同质性图像块,对同质性的图像块进行流行学习得到降维映射函数,然后由降维后的高光谱数据训练稀疏最小二乘支持向量机分类模型,为避免正交匹配追踪稀疏重构算法迭代次数多的缺点,提出一种基于组合匹配追踪的稀疏重构求解方法.通过高光谱数据的分类结果可以得出,该方法有效提高了高光谱图像的分类精度.
【期刊名称】《计算机工程与应用》
【年(卷),期】2017(053)013
【总页数】5页(P206-210)
【关键词】高光谱图像分类;同质性降维;稀疏最小二乘支持向量机;组合匹配追踪算法
【作者】晁拴社;楚恒
【作者单位】重庆邮电大学通信与信息工程学院,重庆 400065;重庆邮电大学通信与信息工程学院,重庆 400065;西南大学地理科学学院,重庆 400715
【正文语种】中文
【中图分类】TP391
高光谱图像由成百上千个连续的窄波段形成，覆盖可见光到近红外区域，光谱分辨率高，可以进行地物间的精细分类，已经被应用在矿物勘测、精细农业、医学检验等民用领域和军事侦察、战场地图绘制等军事领域[1-2]。

同时现有的高光谱图像
分析识别精度仍远不能满足实际应用的需要，寻找新的分类算法，完善分类方法和模型仍然是现阶段的研究热点。

支持向量机（Support Vector Machine，SVM）分类器由于在解决小样本、高维特征、含不确定的数据分类问题上有较好的性能，被广泛地应用于高光谱图像的分类[3-4]。

最小二乘支持向量机（Least Square SVM，LSSVM）是为了解决SVM求解时凸优化的问题而提出来的，但是也存在
不稀疏的问题[5]，文献[6]提出一种新的稀疏LSSVM分类方法，简称为CLSSVM。

近年来利用高光谱数据本身的稀疏特性将稀疏表示用于高光谱图像分类[7]，都取
得不错的分类结果。

虽然这些方法以及基于这些方法的研究有效提高了高光谱图像分类精度，但是分类精度仍然有待提高。

文献[8]提出了一种基于压缩感知的稀疏
最小二乘支持向量机空谱分类方法（Coupled Compressed Sensing inspired sparsespatial-spectral LSSVM，CCS4-LSSVM），将空间信息和压缩感知技术
引入到高光谱图像分类中，不仅解决了最小二乘支持向量机不稀疏的问题而且利于像元间的空间信息，提高了高光谱图像分类。

但是此方法利用正交匹配追踪算法进行稀疏重构使得迭代次数过多并且对单个原子的依赖性太强。

本文对高光谱图像利用均值漂移算法进行分割，利用分割后区域的同质性构建降维目标函数，然后用本文提出的基于组合匹配追踪的稀疏最小二乘支持向量机对降维后的高光谱数据进行分类，最后由最大投票法对分割图和分类图进行融合得到最终的分类结果。

本文在对高光谱图像分类时提出了两个不同的观点：（1）利用分割后图像块之间的同质性和非同质性构建降维目标函数对原高光谱数据进行降维处理；（2）对原有的OMP算法[9]进行改进，提出组合匹配追踪算法的稀疏最小二乘支持向量机分类模型。

本文方法的优点：（1）在对高光谱数据进行降维处理时，充分考虑了高光谱数据的低维流形结构；（2）利用组合匹配追踪算法对原有的稀疏最小二乘支持向量机进行求解解决了OMP算法每次迭代只能选择一个原子，稀疏重构缓慢的缺点；（3）融合分割图和分类图得到最终的基于空谱信息的分类图，充分利用高光谱数据的特点实验结果表明本文提出的方法使高光谱分类精度更高。

2.1 基于区域同质性的降维
传统的空间信息约束方法经常将高光谱图像按照局部空间关系均匀的分成大小相等的平方块（超像素），没有考虑不同类别的尺度大小及边缘信息。

经常会使不同类别的地物划分到同一个平方块超像素中，使得空间约束信息没有实际的作用甚至影响分类精度。

本文利用分割的方法获得更合理的空间约束信息。

先通过主成分分析提取出高光谱数据的第一主成分信息，然后对第一主成分信息对应的高光谱图像利用均值漂移算法[10-11]进行分割，得到封闭的高光谱图像分割图，如图1所示，用假彩色图代表高光谱图像。

真实的高光谱数据因为地物类别尺度不同，样本分布复杂多变，所以分割区域之间可能不是同质区域，不能简单地根据相邻区域来构造相似性矩阵，进而构造降维目标函数保持局部流形的局部近邻结构。

流形学习的目标是从高维观测数据中恢复低维流形结构，实现高维数据的维数约简或数据可视化。

目前利用流形学习进行维数约简时只单纯地将邻域空间的像元认为是同质区域[12]，没有考虑邻域空间中存在不同类别的像元。

本文提出一种基于区域同质性的降维方法，利用上文得到的分割区域，对每一个分割区域中的像元做平均得到新的像元样本。

在利用流形学习构建降维目标函数时，不仅考虑了新样本邻域空间的同质性像元信息同时也考虑了不同质像元信息，真实地反应了高光谱数据的局部结构信息。

设分割后的图像块均值向量组成新的像元样本数据集为X=(x1,x2,…,xn)，在一个邻域空间中，已知像元xi的类别，将其他像
元分为两类：与xi同类的和与xi不同类的。

邻域空间中与xi同类的像元有M个，与xi不同类的像元有N个。

设局部像元集为：Xi=[xi,xsi1,…,xsiM,xdi1,…,xdiN]，设降维到低维流形空间的映射矩阵为V,y=vTx为低维空间的映射向量，Yi= [yi,ysi1,…,ysim,ydi1,…,ydin]。

为了使相邻的同质像元在降维处理后依然保持相邻，相邻的不同质像元在降维处理后尽量分离[13]，构造降维目标函数：
目标函数的第一部分描述在低维空间中同质像元的距离之和，第二部分描述在低维空间中不同质像元的距离之和。

σ为非负数，用来控制同质性像元与非同质像元在目标函数在中的权重。

令Γi=[1,…1,-σ,…, -σ]∈R(M+N)(M+N)上式可化简为：
根据方阵的性质‖‖A2=tr(ATA)，目标函数可以化简为：
其中Π将这些目标函数累加起来得到全部的流形学习降维目标函数：
本文将限制条件VTV=I加入到上式中，避免了平凡解。

引入拉格朗日乘子法将上
述问题转化为特征值求解问题：
k=1,2,…,d，求解得出上式的d个最大特征值λ={λ1, λ2,…,λd}所对应的特征向量
{v1,v2,…,vd}即为所求的从高维空间到低维流形的映射函数V。

由映射函数对原高
光谱数据进行降维，将降维后的数据分类训练样本和测试样本。

利用训练样本训练支持向量机（Support Vec-tor Machine，SVM）分类模型，将测试样本输入到
支持向量机分类模型中进行分类得到分类标签。

但是标准的SVM在求解中有存在凸优化问题，本文提出基于组合匹配追踪的S-LSSVM（Sparse Least Square Support Vector Machine，S-LSSVM）分类模型，避免了OMP算法在稀疏重构时单路径迭代对原子索引的敏感。

2.2 基于组合匹配追踪的S-LSSVM分类
LSSVM采用最小二乘线性系统作为损失函数，代替标准SVM采用的二次规划方法。

通过对偶理论，可以将LSSVM的最大间隔的分类超平面函数为：
约束条件是0≤αi≤C,i=1,2,…,n，其中α为拉格朗日乘子。

K(xi,xj)=φ(xi)⋅φ(xj)为
核函数。

将上式化为矩阵的形式：
LSSVM虽然解决了SVM凸优化的问题，但同时也丧失了支持向量机的稀疏特性。

通过压缩感知理论对其进行稀疏求解[6]
其中A=可以通过贪婪算法，比如正交匹配追踪算法（Orthogonal Matching Pursuit，OMP）对上式求解，但是OMP算法通过单路径的迭代进行稀疏重构，每次选择一个原子索引，最终得到唯一的信号索引集。

尽管OMP算法原理简单并且重建效果较好，但重建结果对每一步选择的原子索引很敏感，如果在算法迭代过程中选择到了一个错误的原子索引，那么OMP算法最终得到的结果就会出错。

本文提出了一种CMP算法，将单路径的OMP算法与多路径的MMP算法[14]组合起来进行信号重构，用于解决OMP算法对单个原子索引敏感，导致当迭代次数很大时，重构误差大的问题。

如图2所示，对提出的组合路径匹配追踪算法和OMP算法的迭代过程进行举例比较，设其迭代次数为5，稀疏度为5，每个候选
集寻优路径数为2，左边是OMP算法的迭代过程，每次都只能选取一个原子作为
索引，右边表示本文提出的组合路径匹配追踪算法算法的迭代过程，在初始迭代时与正交匹配追踪算法一样，每次选取一个原子作为索引，当迭代精度下降时利用多路径匹配追踪的方法选取原子作为迭代索引最后在不同路径得出的索引集中选取最优路径。

下面是CMP算法的步骤。

输入：观测信号感矩阵ΦΨ，稀疏度S，迭代路径L
输出：稀疏系数
初始化：冗余，初始迭代t=1
步骤1利用OMP算法进行迭代重构，计算出每次迭代后的迭代索引集合Λt，迭
代次数t，残差rt；
步骤2设置迭代时间函数且t＜S时继续迭代；
步骤3若不成立，则利用MMP算法进行多路径迭代重构，最后取几组索引集与
传感矩阵残差最小的进行稀疏重构。

将测试样本输入到训练好的基于组合匹配追踪的S-LSSVM分类模型中得到分类标签，进而得到高光谱图像的分类图。

2.3 最大投票融合分割图和分类图
由2.1节得到分割图，通过分割图建立新的数据集并由流形学习对其进行非线性降维处理，得到符合高光谱数据内在低维结构的数据，再由降维后数据训练支持向量机分类模型得到分类图。

作为一种监督的分类方法，基于组合匹配追踪的S-LSSVM可以对降维后的高光谱数据有很好的分离，从而保证分类的正确率。

然后，由于训练分类模型时忽略了空间信息，使得分类图的区域一致性不太好，本文将能代表空间上下文的分割图的信息加入到分类图中，利用最大投票方法对分割图与分类图进行融合。

如图3所示，不同的灰度分别代表不同的地物类别，选取局部区
域中最多的像元所属的类别作为本区域地物类别，再利用后正则化方法对融合图进行处理，消除掉块区域中的与区域类别不同的单个像元，具体过程如图3所示。

图中的1、2、3、4分别代表4种不同的地物类别且用不同的颜色标记，其中4（黑色）代表分割块区域中的奇异点。

基于LSSVM和文献[5]提出CLSSVM的高光谱影像分类方法以及文献[7]中提出的CCS4-LSSVM分类方法都是目前分类效果较好的方法，因此，本文将本文分类方
法与以上三种方法进行比较分析。

为了使研究结果具有可比性，本文实验数据采用Indiana pines高光谱数据和Pavia-U高光谱数据。

Indiana pines数据有16种
地物类别，145×145个像元，220个光谱波段，每个类别的像素点有20到2
468不等；Pavia-U数据有115个波段、340×610个像素点，总共有9类地面真实地物，每个地物类别的像素点由从947到18 649不等。

本文实验均选取10%
训练样本。

本文实验参数主要包括惩罚系数C、高斯核参数σ，主成分降维阀值T，在分类时需要预先设置，C的取值范围设置为{10-4,10-3,…,102}。

对于实验数据
一C值可通过训练样本的交叉验证获得，最优值为0.005，σ最优值为0.03。

对
于实验数据二C的最优值为0.6，σ最优值为0.1。

CCS4-LSSVM分类方法的惩罚系数设置为100，σ设置为10。

本文采用了LSSVM lab工具箱（http：
//.tw/～cjlin/libsvm/）对LSSVM进行分类，而且研究内容都是在此基础上进行改进，包括利用CMP算法进行S-LSSVM稀疏求解也是在此工具箱基础上进行改进。

图4是实验数据一Indiana Pines数据的4种分类结果图，通过比较可以很明显地看出本文提出的方法的分类图椒盐现象基本没有，分类效果更好。

由表1可以看出本文分类方法的总体分类精度OA达到了94.73%，平均分类精度AA达到了92.79%，Kappa系数也达到了0.918，分别高于文章中提到的同类型的分类方法。

各个地物类别的分类精度在不同程度都有提高，具体分类情况见表1所示，其中需要强调的是本文对于少样本类别比如苜蓿、燕麦地的分类也
达到了很高的精度。

图5是本文实验二采用的Pavia-U高光谱数据的分类结果图，同样可以看出本文
方法的分类效果更好。

限于文章篇幅这里只将其总体分类精度OA，Kappa系数列出来，如表2所示。

本实验还对本文提出分类方法的性能进行了分析，由表1可知本文分类方法的训练时间为58.7 s，与CLSSVM，CCS4-LSSVM分类方法相比都有不同程度上的减少，但是比LSSVM分类方法所用时间多，也就是其利用了一部分时间获取了更高的分类精度。

图6是对LSSVM、CLSSVM、CCS4-LSSVM和本文分类方法对于训练样本敏感度的测试，可以看出本文方法选取10%的训练样本时其分类精度最高。

当选取5%时，其他两种分类方法的总体分类精度OA都低于70%，而本文方法可以达到80%。

4结束语
本文提出了一种基于同质性降维和组合匹配追踪算法的高光谱图像分类方法，利用高光谱数据内在的低维结构进行区域同质性降维，然后对降维后的数据训练基于组合匹配追踪的稀疏最小二乘支持向量机分类模型进而对测试样本进行分类，最后由分割图和分类图进行融合得到最终的分类结果。

本文方法有效地利用了高光谱数据的内在特征和空谱信息进行分类，提高了分类精度，减少了“椒盐”现象。

在今后的研究中，需要利用多尺度分割方法对高光谱图像进行分割处理，然后与分类方法结合起来进行研究。

【相关文献】
[1]Landgrebe D.Hyperspectral image data analysis[J].Signal Processing Magazine，2002，19（1）：17-28.
[2]郭仕德，马廷，林旭东.高光谱遥感及其影像空间结构特征分析[J].测绘科学，2005，30（3）：35-37.
[3]谭琨，杜培军.基于支持向量机的高光谱遥感图像分类[J].红外与毫米波学报，2008，27（2）：123-128.
[4]Camps-Valls G，Bruzzone L.Kernel-based methods for hyperspectral image
classification[J].IEEE Transactions on Geoscience and Remote Sensing，2005，43（6）：1351-1362.
[5]Suykens J A K，Vandewalle J.Least squares support vector machine classifiers[J].Neural Processing Letters，1999，9（3）：293-300.
[6]Yang J，Bouzerdoum A，Phung S L.A training algorithm for sparse LS-SVM using compressive sampling[C]// Proceedings of IEEE International Conference on Acoustics Speech and Signal Processing，Dallas，TX，2010：2054-2057.
[7]Chen Y，Nasrabadi N M，Tran T D.Sparse representation for target detectionin hyperspectral imagery[J].IEEE Journal of Selected Topics in Signal Processing，2011，5（3）：629-640.
[8]Yang L，Yang S，Li S，et al.Coupled compressed sensing inspired sparse spatial-spectral LSSVM for hyperspectral image classification[J].Know ledge-Based Systems，2015，79（1）：80-89.
[9]Pati Y C，Rezaiifar R，Krishnaprasad P S.Orthogonal matching pursuit：Recursive function approximation w ith applications to wavelet decomposition[C]//Proceedings of the Twenty-Seventh Asilomar Conference on Signals，Systems and Computers，1993：40-44.
[10]Li Z，Tang Q L，Sang N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters，2008，44（10）：622-623.
[11]Chen Chunzhong，Guo Baofeng，Wu Xiangwei，et al.An edge detection method for hyperspectral image classification based on mean shift[C]//Proceedings of IEEE International Congress on Image and Signal Processing.[S.l.]：IEEE Press，2014：1-7. [12]Tao D，Liang L，Jin L，et al.Sim ilar handw ritten Chinese character recognition using discrim inative locality alignment manifold learning[C]//Proceedings of International Conference on Document Analysis and Recognition（ICDAR），2011：1012-1016. [13]Craw ford M M，Ma L，Kim W.Exploring nonlinear manifold learning for classification of hyperspectral data[J]. Optical Remote Sensing，2011，3：207-234.
[14]Kwon S，Wang J，Shim B.Multipath matching pursuit[J]. IEEE Transactions on Information Theory，2014，60（5）：2986-3001.。