基于深度卷积神经网络的图像分类

Equation Chapter 1 Section 1

令狐采学

SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究

姓名: 高小宁

专业：控制科学与工程

基于卷积神经网络的自然图像分类技术研究

摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较年夜的影响。为改良卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论阐发，并通过年夜量的比较实验，得出了影响卷积网络性能的因素。结合理论阐发及比较实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等办法，在CIFAR10数据集上取得了88.1%的分类精度，有效地提高了卷积神经网络的分类效果。

关键词：卷积神经网络，图像分类，Batch Normalization，Dropout

Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, 88.1% classification accuracy is achieved on CIFAR10 dataset. Which improves the classification effect of convolution neural network.

Key Words:Convolution neural network(CNN), image classification, Batch Normalization,Dropout

目录

基于卷积神经网络的自然图像分类技术研究- 1 -

1引言-2-

2卷积神经网络的模型阐发-3-

2.1网络基本拓扑结构- 3 -

2.2卷积和池化- 4 -

2.3激活函数- 5 -

2.4 Softmax分类器与价格函数- 6 -

2.5学习算法- 7 -

2.6 Dropout- 9 -

2.7 Batch Normalization- 10 -

3模型设计与实验阐发-10-

3.1 CIFAR10数据集- 10 -

3.2 模型设计- 11 -

3.3 实验结果与阐发- 14 -

4结论-21-

参考文献-21-

1 引言

1986 年, Rumelhart 等提出人工神经网络的反向传播算法(Back propagation, BP), 掀起了神经网络在机器学习中的研究热潮。可是由于BP神经网络存在容易产生过拟合、训练时间长的缺陷, 90年代兴起的基于统计学习理论的支持向量机具有很强的小样本学习能力。学习效果也优于BP神经网络，招致了神经网络的研究再次跌入低估。

年, Hinton 等人在Science 上提出了深度学习. 这篇文章的两个主要观点是: 1) 多隐层的人工神经网络具有优异的特征学习能力, 学习到的数据更能反应数据的实质特征，有利于可视化或分类;2) 深度神经网络在训练上的难度, 可以通过逐层无监督训练有效克服。理论研究标明为了学习到可暗示高层笼统特征的庞杂函数, 需要设计深度网络。深度网络由多层非线性算子构成, 典范设计是具有多层隐节点的神经网络。可是随着网络层数的加年夜, 如何搜索深度结构的参数空间成为具有挑战性的任务。近年来, 深度学习取告捷利的主要原因有：

1) 在训练数据上, 年夜规模训练数据的呈现(如ImageNet),为深度学习提供了好的训练资源;

2) 计算机硬件的飞速成长(特别是GPU 的呈现) 使得训练年夜规模神经网络成为可能。

卷积神经网络(Convolutional neural networks, CNN) 是一种带有卷积结构的神经网络, 卷积结构采取权值共享的方法减少了深层网络占用的内存量, 也减少了网络的参数个数, 缓解模型的过拟合问题。为了包管一定水平的平移、标准、畸变不变性, CNN 设计了局部感受野、共享权重和空间或时间下采样, 提出用于字符识另外卷积神经网络LeNet5。LeNet5 由卷积层、下采样层、全连接层构成, 该系统在小规模手写数字识别中取得了较好的结果。年, Krizhevsky等采取称为AlexNet 的卷积网络在ImageNet 竞赛图像分类任务中取得了最好的成果, 是CNN 在年夜规模图像分类中的巨年夜胜利。AlexNet 网络具有更深层的结构, 并设计了ReLU (Rectified linear unit) 作为非线性激活函数以及Dropout 来避免过拟合。在AlexNet 之后, 研究者由提出了网络层数更深的神经网络，例如谷歌设计的谷歌Net和MSRA设计的152层的深度残差网络等。表 1 是ImageNet 竞赛历年来图像分类任务的部分领先结果,可以看出，层数越深的网络往往取得的分类效果更好。为了更好地改进卷积神经网络, 本文在CIFAR10数据集上研究了不合的网络层设计、损失函数的设计、激活函数的选择、正则化等对卷积网络在图像分类效果方面的影响，本文引入了Batch Normalization与dropout结合的办法，通过加深卷层神经网络的层数，有效地提高了卷积神经网