基于深度迁移学习的图像分类研究

2019年6月Jun.2019

1引言

深度学习模式下的混合模型迁移图像分类算法，相较于以往单一的手工图像识别方法，其具备自动学习特征,但该算法所需时间比较长，模型中涉及到的数据量相对较大。最新研究成果对卷积神经网络表现出的实际特征进行反卷积处理，将与之一一对应的输入刺激进行重新组织构建，在模型的支撑下，完成分析重构，对图片中刺激网络产生情况及特征进行探究，给出了具体的模型优化方法。将受限玻尔兹曼机模型与卷积神经网络结合，对图像进行分类，准确率高，适应性强。

2图像分类和卷积神经网络概念

2.1图像分类

图像分类即借助计算机网络对图像进行自动分类，使其从属于各语义类别，在医疗、监控和信息检索

等方面均得到了应用。目前图像分类研究热点主要包含两个方面：（1）分类算法[1]研究成果有神经网络、决策树等，可以借助支持向量机使分类结果更加准确；（2）特征提取算法，采用SIFT方法、SURF方法、SPM 模型等加强图像特征识别。但上述方法在图像特征提取时仅能获得底层特征，无法获得高级语义。因此亟需探究全新的深度学习算法。

2.2卷积神经网络

卷积神经网络应用原理为借助图像逐层抽取，获取结构化特征，用于对单幅图像高级语义进行表示。层级越高，模型特征越抽象，更能够对图像主题进行展示，很大程度上提高了分类过程中的识别能力[2]。受限玻尔兹曼机具有很强的无监督特征学习能力，能够从最大化对数似然的角度，学习输入数据规律，构建图像高级识别能力统计特征。卷积神经网络对图像各层抽象时，每层都包含很多数字滤波器，以此为载体，把输入数据的典型特点作为提取对象，得出结构特征的同时，还要使其与图像高级语义相符合。应用卷积神经网络进行图像识别，需要完成相

基于深度迁移学习的图像分类研究

栾庆磊

（安徽建筑大学机械与电气工程学院，安徽合肥230601）

摘要:提出一种基于受限玻尔兹曼机和卷积神经网络混合模型的迁移学习图像分类方法,该方法由其它两种模型特征的学习能力融合而来,把图像结构性高阶统计特征提取出来,进行主题分类。算法实现过程为首先使用受限玻尔兹曼机替代卷积神经网络模型中的全连接层,并针对卷积神经网络型的小目标集形成新的功能结构,以目标集为载体,对受限波尔兹曼机层和Soft max层进行重新训练;其次该过程中采用BP 算法对相关参数予以调整,受限玻尔兹曼机层关联maps的同时,还从最大对数似然的角度完成目标集统计特征的学习,有效地防止了数据集差异条件对迁移学习特征的负面影响,保证了数据学习的合理性。研究表明,该方法分类准确率高,适用性强。

关键词:图像分类;深度学习;混合模型;受限玻尔兹曼机;卷积神经网络

中图分类号:TP391.41文献标识码:A文章编号:1672-447X(2019)03-0011-05

收稿日期:2019-02-28

基金项目：安徽省高校优秀青年人才支持计划项目(gxyqZD2018058)

作者简介:栾庆磊(1979-),安徽界首人,硕士,安徽建筑大学机械与电气工程学院,讲师,研究方向为机器视觉与图像处理。

化，以保证模型拥有较高水平的特征学习能力。卷积神经网络模型训练过程中，涉及到的参数有上百万个，标记样本需求量大，而在小样本集上往往对预训练模型特征提取进行直接应用[3]。

3理论基础

基于卷积神经网络模型迁移学习，数据集之间存在内容差异，致使提取特征识别力受到影响。可以采取如下方法：CNN网络模型达到目标集时，使用受限波尔兹曼机来替代传统的卷积神经网络模型，对全连接的各种特征maps进行全方位组合，使之以整体结构性特征形式存在。实际在特征提取过程中，需要对maps进行输入，加强目标集统计特征学习，达到提取图像结构性高阶特性的目的，使图像分类更加准确[4]。如图1所示是基于受限玻尔兹曼机和卷积神经网络混合模型迁移学习的结构图。

图1RBM和CNN模型迁移学习结构示意图

在大数据集上，对卷积神经网络模型进行预训练，借助该种方式，使各卷积层和全连接层参数更加直观，继而把这一模型迁移至小目标集，通过各层参数将图像卷积层特点maps提取出来，通过串联，生成单个特征map。完成上述工作之后，把RBM 模型和输入特征map连接起来，对R6和R7层参数进行无监督学习，同时借助BP算法，对Soft max 回归、R6和R7层参数作出监督微调。由此才能在此项技术基础上，形成已训练混合模型分类器结构。最终，发挥这一混合模型优势，采用正确的方式，科学计算目标集中的待分类图像类别[5]。

4混合模型迁移学习实现

将预训练卷积神经网络模型迁移至其它数据集，并对目标集特点进行重新学习。本次研究中提做出迁移处理，使其在目标集系统中有所体现，并与受限玻尔兹曼机模型进行融合，在添加高阶统计特征的基础上，对数据集之间的差异进行控制，避免其影响目标集特征识别能力。

4.1预训练中的卷积神经网络模型

迁移学习需要依靠大量的数据集作为载体，完成卷积神经网络模型的预训练。该模型构成结构中，卷积层与全连接层是其功能展示的基础。其中，Soft max分类器包含在全连接层内。卷积神经网络模型训练中，正向传播和反向调参这两个环节，是构成整体流程的基础。假定网络处理中，K类训练样本的设定个数为m。由此，单个输入样本则可表示为（x（i）,y（i））指代n维输入向量，而x（i）和y（i）表示该样本中已经被标记的所属类别[6]。以数字1表示当前层，该层的输入特征向量可用x l-1来表示，同样输出特征向量可用x l表示，此外结构中的某一滑动卷积滤波器权值与偏置可分别表示为w l和b l。各层输入特征如下：

x l=f（u l），u l=w l x l-1+b l（1）

通常情况下，f（·）为sigmoid函数。样本集{（x（1），y（1）），…，（x（m），y（m））}中样本数量为m个，卷积神经网络模型整体代价函数为：

J（w，b）=1m m i=1∑（12||h w，b（x（i））-y（i）||2）

+λ2n l-1l=1∑s l i=1∑n l+1j=1∑（w（l）ji）2（2）上式λ指权重衰减参数；n l为网络总层数；S l为网络l层节点数量。实现批量梯度下降，来对具体的应用参数进行调整，控制整体代价函数的阈值。各层参数w（l）ij和b（l）i更新如下：

w（l）ij=w（l）ij-αəəw（l）

ji j

J（w，b）

b（l）i=b（l）i-αəəb（l）

ji

J（w，b）（3）（3）式中，α指代学习速率。通过对各层残差进行计算，对代价函数的偏导展开运算分析。代价误差达到最小时，便能够得出卷积神经网络模型，并保证该模型的预训练质量[7]。FC8是卷积神经网络模型中位于最末的全连接层，其实质是Soft max回归分类器中的一种，相应的标签可以借助多值向量来展现。将x输入到已知测试中，借助已经完成训练的soft max分类器程序，估计当x对应不同分类结果时的

FC6FC8

FC7

C1C2C3C4C5Softmax

R6R7

Softmax 卷积层RBM