模式识别课程报告2.0

3 3 深度检测技术演进 5 5 讨论与致谢
2
1 卷积神经网络
R-CNN算法
Fast R-CNN
z
第一阶段
第三阶段
第二阶段
R-CNN Faster R-CNN z
3 深度检测技术演进
R-CNN算法的核心思想
深度对象检测的开山之作——R-CNN(Regions with CNN)
对每个区域通过CNN提取特征，然后接上一个分类器预测这个
3 深度检测技术演进
R-CNN算法的工作流程
1 2 3 4
候选区域生成：一张图像用SS方法生成1K~2K个候选区域
特征提取： 对每个候选区域，使用深度卷积网络提取特征（CNN） 类别判断： 特征送入每一类的SVM 分类器，判别是否属于该类 位置精修： 使用回归器精细修正候选框位置
3 深度检测技术演进
3 深度检测技术演进
深度网络提取特征
使用两个数据库： 一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类
别；
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别
和位置。
使用识别库进行预训练得到CNN（有监督预训练），而后用检测库调优 参数，最后在检测库上评测。
3 深度检测技术演进
Fast R-CNN算法
发现问题
每一个ROI由四元 组 （r,c,h,w)表示， 其中（h,w）代表 高度和宽度 introduction
解决方案
核心思路
工作流程
效果对比
Roi_pool层的作用
Roi_pool层将每个候选区域均匀分成M×N块，对每块进行max pooling操作 将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层
西南科技大学模式识别课程报告
卷积神经网络（CNN）在深度检测 方向的发展
报告人：第六组 日期：2017. 11. 7
目录 Contents 1
神经网络背景
2 卷积神经网络 44 全文总结
3 3 深度检测技术演进 5 5 讨论与致谢
2
目录 Contents
1
神经网络背景
2 卷积神经网络 44 全文总结
2 卷积神经网络
Part3 poolingБайду номын сангаас的工作方式
1. Pooling层主要的作用是下采样。 introduction 2. 通过去除Feature Map中不重要的样本，进一步减少参数数量。最常用的 方法是Max Pooling，Max Pooling实际上就是在n*n的样本中取最大值，
作为采样后的样本值。
候选框搜索阶段
采用Selective Search方法从图像中搜索出可能是物体的区域，即一 系列大小不同的矩形候选框。
由于CNN要求输入图片的大小固定，因此，需要将每个输入的候选框 缩放到固定的大小。
3 深度检测技术演进
候选框搜索阶段
两种不同的处理方法：
(1)各向异性缩放
(2)各向同性缩放
3 深度检测技术演进
Faster R-CNN算法
K个box是目标/非
生成网络 （RPN）用来代替Selective Search方法，以缩短搜寻时间。
3 深度检测技术演进 3 目标检测技术演进
Faster R-CNN算法
Faster R-CNN将一直以来分离的region proposal和CNN分类融合到 了一起，使用端到端的网络进行目标检测，无论在速度上还是精度上 都得到了不错的提高。 faster RCNN可以大致看做“区域生成网络（RPN）+fast RCNN“的 系统，且RPN网络和Fast RCNN共享卷积层特征。
3 深度检测技术演进
Fast R-CNN算法
发现问题
解决方案
核心思路
工作流程
效果对比
conclusion
Multi-task loss
将原来与网络分开的bbox regression的操作整合在了 网络内部，并设计了一个同时优化两个输出层的loss函数。
3 深度检测技术演进
Fast R-CNN算法
2.权值共享
目录 Contents
1
神经网络背景
2 卷积神经网络 44 全文总结
3 3 深度检测技术演进 5 5 讨论与致谢
2
2 卷积神经网络
Part1 卷积神经网络的层次
卷积层
+
pooling层
+
全连接层
introduction
输入一张图片，接着第一个卷积层对这幅图像进行了卷积操作， 得到了四个Feature Map,也就是我们熟悉的通过卷积变换提取到的 图像特征。
R-CNN
速度： R-CNN则采用Selective Search方法 训练集：R-CNN则采用深度网络进行特征提取
3 深度检测技术演进
Selective Search方法
Selective Search 主要思想:
1.使用一种过分割手段，将图像分割成小区域 (1k~2k 个) 2.查看现有小区域，按照合并规则合并可能性最高的相邻两个区域。重复 直到整张图像合并成一个区域位置 3.输出所有曾经存在过的区域，所谓候选区域
3 3 深度检测技术演进 5 5 讨论与致谢
2
1 背景介绍
卷积神经网络的发展
卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪 60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发 现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神 经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多 科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的 复杂前期预处理，可以直接输入原始图像，并且相较于全连接神经网络而言参数
它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到
全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。
3 深度检测技术演进
SVM分类阶段
多个SVM级联完成分类
1 卷积神经网络
Fast R-CNN算法
Fast R-CNN
z
第一阶段
第三阶段
第二阶段
R-CNN Faster R-CNN
区域包含一个感兴趣对象的置信度，也就是说，转换成了一个图像分
类问题（类似 imagenet ），后面接的这个分类器可以是独立训练的 svm也可以是简单的softmax分类。
3 深度检测技术演进
R-CNN算法与传统方法的对比
传统方法
速度：传统的目标检测算法使用滑动窗口判断所有可能的区域。 训练集：传统的目标检测算法在区域中提取人工设定的特征
3 深度检测技术演进
Fast R-CNN算法
发现问题 分类
解决方案
核心思路
工作流程
introduction
效果对比
边框回归
类似 单层 的SPPnet
1. 在SPPnet的基础上，通过RP层输出一 个固定维度的特征，再通过softmax 统一分类，减少resize过程时间提高 处理速度。 2. 把softmax（分类）和bbox regressor（回归）放入神经网络 内部形成混合模型，提高处理精 度。
2 卷积神经网络
Part2 卷积层的工作方式
2 卷积神经网络
Part2 卷积层的工作方式
2 卷积神经网络
Part2 卷积层的工作方式
introduction
左边是图像输入，中间部分就是滤波器filter（带着一组固定 权重的神经元），不同的滤波器filter会得到不同的输出数据，
比如颜色深浅、轮廓。
A、先扩充后裁剪
B、先裁剪后扩充
3 深度检测技术演进
CNN特征提取阶段
a. 网络结构设计阶段
选用Alexnet，其特 征提取部分包含5个 卷积层、2个全连接 层。 通过这个网络训练完 毕后，最后提取特征， 每个输入候选框图片 都能得到一个n维的 特征向量。
b.网络有监督预训练阶段 无监督预训练 预训练阶段的样本不需要 人工标注数据 有监督预训练 把一个任务训练好的参数， 作为神经网络的初始值， 相比于直接采用随机初始 化的方法，精度有很大的 提高。
C. fine-tuning阶段
将selective search 获 得的候选框对预训练的 CNN模型进行微调。 假设有N类待检测物体， 将预训练阶段的CNN模 型最后一层替换，继而 在该层直接采用参数随 机初始化的方法继续 SGD训练。
3 深度检测技术演进
SVM分类阶段
SVM的主要思想可以概括为两点： 它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法 将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维 特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。
2 卷积神经网络
Part4 全连接层的工作方式
在整个卷积神经网络中起到“分类器”的作用，就是将之前得到的所有特征综合起来。
1 卷积神经网络
Part5 卷积神经网络的发展 z
Fast R-CNN
第一阶段
第三阶段
第二阶段
R-CNN Faster R-CNN
目录 Contents
1
神经网络背景
2 卷积神经网络 44 全文总结
第二阶段
R-CNN
z
Faster R-CNN
3 深度检测技术演进 3 目标检测技术演进
Faster R-CNN算法
Fast R-CNN沿用SS方法获得候选区域，耗时占据了整体耗时的大部分， 且没有应用在GPU上。