基于机器学习的图像分类

– 5个卷积层+3个全连接层 – 2、4、5卷积层的输入均来自同一块GPU
核心结构与算法（5）
• Details of Learning
– stochastic gຫໍສະໝຸດ Baiduadient descent – 权重更新算法
实验结果
•
总结
• • • • 通过深度卷积神经网络实现图像分类 采用新的激活函数、2块显卡等策略提升速度 Overlapping pooling, Data Augmentation减少过拟合 获得了相对于已有算法突破性的性能提升
研究问题
• 如何快速有效的实现对海量图像的分类
– – – – 基于深度卷积神经网络 采用一些新的特征降低训练时间 多种技术降低overfitting 获得相对于已有算法更好的性能
核心结构与算法（1）
• 提高训练速度
– ReLU Nonlinearity
• non-saturating nonlinearity • 采用ReLU （Restricted Linear Units）作为激活函数，相对于传 统的激活函数可以更快速地收敛
– Training on Multiple GPUs
• 采用2块显卡来进行并行计算 • 在网络结构上，部分分布在不同显卡上面的前后层节点之间无 连接，从而提高计算速度
核心结构与算法（2）
• 减少过拟合
– Overlapping Pooling
• adjacent pooling units overlap • 训练中发现可以减少过拟合
谢谢！
基于深度学习的图像分类
[1] A. Krizhevsky, I. Sutskever, G. E. Hinton, "ImageNet classification with deep convolutional neural networks," Advances in neural information processing systems (NIPS), 2012.
– Data Augmentation
• 随机crop
– 训练时候，对于256＊256的图片进行随机crop到224＊224，并通 过水平翻转 – 测试时候，对左上、右上、左下、右下、中间做了5次crop，然 后翻转，共10个crop，之后对结果求平均
• 对RGB空间做PCA，对主成分做高斯扰动
– 实际图像的性质，光照的强度和颜色的变化
核心结构与算法（3）
• 提升识别性能
– Local Response Normalization
• 同层相邻节点的响应进行局部归一化提高了识别率
– Dropout
• 将一些隐藏层节点的输出置零 • 学习出来的隐含层不依赖上一层的某一个特征，使得所学特征 更加鲁棒
核心结构与算法（4）
• Overall Architecture
提纲
• • • • 研究背景以及研究问题 核心结构与算法 实验结果 总结
研究背景
• 随着多媒体信息技术的发展，网络中的数字图像 数量呈爆炸性增长，对海量图像进行自动管理的 迫切需求促使图像分类成为学术界的研究热点 • 基于机器学习，已有算法虽然较好地处理小型数 字图像集合，但如果直接应用于海量图像的处理， 则会由于复杂度过高而难以在实际系统中实现 • 需要更为高效的图像分类算法！