融合谱-空域信息的DBM高光谱图像分类方法

融合谱-空域信息的DBM高光谱图像分类方法

杨建功;汪西莉;刘侍刚

【摘要】在高光谱图像分类问题中,提取能够有效表达地物特征的信息是分类方法中的关键问题.为了提高高光谱图像分类精度,提出一种基于深度玻尔兹曼机的高光谱图像分类方法.该方法首先对高光谱图像数据进行主成分分析法白化处理,并提取像元的空域信息,与像元光谱信息组成综合的谱-空域信息;然后通过多层深度玻尔兹曼机模型从像元的谱-空域信息中提取深层次类别特征;最后通过逻辑回归模型对所提取特征进行分类.这种深度玻尔兹曼机模型能够利用数据的先验知识对高维数据进行特征提取,并且所提取的特征内在地表示了地物的空间结构和光谱特征.实验结果表明,这种方法能够有效地提高高光谱图像的分类精度.

【期刊名称】《西安电子科技大学学报（自然科学版）》

【年(卷),期】2019(046)003

【总页数】7页(P109-115)

【关键词】高光谱图像;特征提取;深度学习;深度玻尔兹曼机

【作者】杨建功;汪西莉;刘侍刚

【作者单位】陕西师范大学计算机科学学院,陕西西安 710119;陕西师范大学计算机科学学院,陕西西安 710119;陕西师范大学计算机科学学院,陕西西安710119

【正文语种】中文

【中图分类】TP751.1

随着遥感成像技术的不断进步，高光谱遥感图像已经成为人们生产生活中的重要资源，应用到了许多领域[1-3]。在这些应用领域中，分类是一个关键技术。为了实

现高光谱图像的分类，研究人员相继提出了大量的分类方法，如随机选择法[4]、

马尔科夫随机场[5]、神经网络、支持向量机[6]等。这些方法在特定的遥感图像中

表现出优良的分类能力，但是对于高光谱遥感图像中地物形态变化多样、光谱波段多、维度高以及存在大量冗余的特点，传统模式识别方法分类能力有限。

近年来，深度学习方法在许多应用中取得了瞩目的成绩[7]。作为一类机器学习算法，它以受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)[8]为基本单元，通过叠加方式构造一个深层次的结构。常见的深度学习模型包括自动编码器(Auto Encoder, AE)、深度信念网络(Deep Belief Network, DBN)、深度玻尔兹曼机(Deep Boltzmann Machine, DBM)以及卷积神经网络[7]等。在高光谱图像分类

方面，已有多种深度学习方法得到应用[9-10]。文献[11]中提出基于自动编码模型的高光谱图像场景分类方法。虽然将多个自动编码模型叠加起来构建的深度学习模型能够学习到高光谱数据的深度特征，但是其侧重于学习数据的重建信息，这限制了其在分类任务中的判别能力。文献[12]中提出基于深度信念网络模型的高光谱数据分类方法，通过无监督的预训练和有监督的微调过程，深度信念网络模型能够学习到数据的判别信息。但由于深度信念网络模型的预训练算法中每一隐层的节点只接收来自下面层节点的信息而忽略了上面层节点的信息，从而限制了模型学习数据间依赖关系的能力。文献[13]使用卷积神经网络进行合成孔径雷达图像的目标检测，该模型具有平移不变性，并且能够解决部分目标的缺失问题。但对于缺乏有标记样本的高光谱数据，该方法容易陷入过拟合。

针对深度学习模型深度信念网络算法，Salakhutdinov等人指出深度信念网络模

型中每层隐节点的激活值只依赖于与其相邻的单侧隐节点的输入信息，而忽略了另

一侧隐节点的信息，导致模型难以充分学习数据中的深层关系，并提出了深度玻尔兹曼机[14]。在深度玻尔兹曼机模型中，每一层隐节点同时接收来自相邻两侧隐层节点的信息，从而使模型在相同数量隐节点的条件下，学习到的特征更具判别性。由于高光谱数据所固有的高维度性与冗余性的特点，笔者提出一种融合谱-空域信

息的基于深度玻尔兹曼机模型的高光谱图像分类方法。该方法首先构造每个像元谱-空域综合信息，然后通过深度玻尔兹曼机模型对像元的谱-空域信息进行特征提取，获得每个像元的高层级的抽象表示，最后利用逻辑回归(Logistic Regression, LR)模型对提取特征进行分类，获得每个像元的类别标记。

1 深度学习与深度玻尔兹曼机模型

1.1 深度学习模型

受限玻尔兹曼机(RBM)[8]是一种特殊的玻尔兹曼机，由一组可见层节点和一组隐

层节点组成，它限制模型的同层内各节点间无连接，相邻两层间的节点全连接。

图1 受限玻尔兹曼机结构图

如图1所示，记可见层节点为v=(v1,v2,…,vm)，隐层节点为h=(h1,h2,…,hn)。

b=(b1,b2,…,bm),c=(c1,c2,…,cn),分别是可见层节点和隐层节点的偏置向量。

W={wij},是两层节点间的连接权值矩阵。对于所有节点的任一种状态，模型的能量函数为

(1)

其中，模型参数θ={W,b,c} 。

给定一组训练样本{vi}，可用梯度下降法求取模型参数的最优值。Hinton等人给出了受限玻尔兹曼机模型的快速学习算法[8]，相应参数的梯度值Δθ可通过下面迭

代公式求得：

(2)

(3)

(4)

其中，分别是参数在第t步迭代的梯度值;是训练样本v的k步吉布斯采样值。

受限玻尔兹曼机模型只能提取数据的浅层表示。Hinton等人[15]提出将多个受限玻尔兹曼机以层叠的方式叠加起来形成一种深度结构，前一层的隐层同时作为后一层的可见层，这种结构模型称为深度信念网络(DBN)。图2(a)所示为由两个受限玻尔兹曼机叠加起来的深度信念网络模型，从深度信念网络角度来看，它包含一个可见层v和两个隐层h1、h2 。W1,W2分别是可见层v与隐层h1以及两个隐层h1与h2之间的权值连接矩阵。对于深度信念网络模型，Hinton等人提出了一种快速的逐层贪心预训练算法[13]。其核心思想是以逐层的方式对深度网络进行训练学习，每次只训练一层，然后不断重复，直到学习完所有层。完成了预训练过程后，使用反向传播算法对整个模型进行微调。

图2 DBN和DBM模型结构图

由于深度信念网络模型所具有的多层级特征，它能够在从低到高的不同层级上提取到数据的不同层级的特征。因此，随着深度信念网络模型层次的增加，能够提取到目标的具有语义信息的特征，它更利于目标类别判定[15]。

1.2 深度玻尔兹曼机

尽管深度信念网络模型以其深度结构能够学习到数据深层次的特征信息，但是在计算隐层节点的激活值时，只考虑来自下面隐层的输入信息，忽略了来自上面隐层的输入信息，导致深度信念网络模型难以充分学习到数据间的深度依赖关系。针对此问题，Salakhutdinov等人提出了深度玻尔兹曼机模型[14]，其结构和节点连接方