图像分类网络大集合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图像分类
目录
• 1.VGG • 2.GoogleNet • 3.ResNet • 4.ResNeXt • 5.SENet • 6.DenseNet • 7.Xception • 总结
目录
1.深度压缩 2.SqueezeNet 3.MobileNet 4.MobileNet_v2 5.ShuffleNet 6.ShuffleNet_v2 7.Res2Net
ResNeXt(2016)
ResNeXt(2016)
SENet(2017)
SENet(2017)
• 部分细节： • 1.模型计算量增加的部分较少、增益大 • 2.对通道加权，提升重要特征抑制不重要特
征 • 3.灵活地添加到其他网络
SENet(2017)
SENet(2017)
SENet(2017)
ResNeXt(2016)
• 部分细节： 1.不需人为设计 2.引入分组卷积 split-transform-merge 3.特征图大小不变时标准堆叠， 特征图的大小减半通道数增加一倍 4.模型容量:参数量和计算量 5.增加基数比深度、宽度更高效
ResNeXt(2016)
ResNeXt(2016)
深度压缩(ICLR2016)
深度压缩(ICLR2016)
• Pruning 剪枝
深度压缩(ICLR2016)
• Quantization量化
• Huffman编码 • AlexNet的最后一个全连接层
SqueezeNet(ICLR2017)
SqueezeNet(ICLR2017)
• 部分细节： 1.squeeze模块：1*1卷积，降低通道数 2.expand模块：cat(1*1卷积,3*3卷积) 减少输入到3x3过滤器的通道数 3.去掉全连接层,用1*1卷积+全局池化代替 4.延迟下采样，池化步幅2
目录
1.NAS 2.NASNet 3.MNASNet 4.EfficientNet
VGG(2014)
VGG(2014)
• 部分细节： • 1.使用小的卷积核3*3 • 2.通道维度与空间维度成反比 • 3.相同卷积层的堆叠 • 4.用浅层网络权重初始化深层网络 • 5.降采样：maxpooling
• 部分细节： 1.增加通道数，保持信息传递 2.去掉最后一个ReLU，保留特征多样性，增 强网络的表达能力 3.全卷积网络，适应不同尺寸的图像 4.设计两种基础结构组合，一种用来降低特 征图大小，一种用来堆叠(shufflenet同)
MobileNet_v2(CVPR2018)
t 输入通道的倍增系数 n 是该模块重复次数 c 是输出通道数 s 是该模块第一次重复时的 stride（后面重复都是 stride 1）
ShuffleNet • 其他:NASNet、RIR等
why Deep Compression
1.参数少，更高效的分布式训练 2.传输模型到客户端的耗费较少 3.部署到芯片上
• fห้องสมุดไป่ตู้ster
四个派系
1.NetworkPruning 2.KnowledgeDistillation 3.ArchitechtureDesign 4.ParameterQuantization
• Transition:压缩通道数，*reduction(<1)
DenseNet(2017CVPR)
部分细节： 1.transition层：降采样 1.每一层跟前面几层都会有联系 2.特征复用，节省参数和计算量 3.数据量少时抗过拟合 4.消耗显存(已解决)
DenseNet(2017CVPR)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet_v2(CVPR2018) 倒残差结构
沙漏vs纺锤
MobileNet_v2(CVPR2018)
MobileNet_v2(CVPR2018)
SENet(2017)
DenseNet(2017CVPR)
DenseNet(2017CVPR)
DenseNet(2017CVPR)
• DenseBlock:降维 • 输入通道数K0 ,第 L 层通道数K0 K(L 1)
• BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)
Xception(2017CVPR)
Xception(2017CVPR)
Xception(2017CVPR)
• 部分细节： 1.分离通道的卷积与空间的卷积 2.残差连接的深度可分离卷积层的线性堆叠
总结
• 堆叠block • 加模块 • 残差网络：更深 • 分组卷积、密集连接：更宽 • 注意力机制 • 轻量型网络:SqueezeNet、MobileNet、
Inceptionv3
Inceptionv4
Inceptionv4
• ResNet(2015)
ResNet(2015)
• 部分细节： • 1.引入残差结构 • 2.降采样：池化卷积步长设为2
ResNet(2015) 理论基础：
ResNeXt(2016) 降维----分组----升维
ResNeXt(2016)
GoogleNet(2014)(Inceptionv1)
GoogleNet(2014)
GoogleNet(2014)
• 部分细节： • 1.提出多分支卷积网络
• 多尺度抽象特征融合
• 2.引入1*1卷积核进行通道的升降维 • 3.Inception模块堆叠特征图大小不变
Inceptionv3
MobileNet_v2(CVPR2018)
SqueezeNet(ICLR2017)
SqueezeNet(ICLR2017)
MobileNet(CVPR2017)
• 深度可分离卷积(DW,PW)
MobileNet(CVPR2017)
• 部分细节： 1.来源于Xception,减少参数、增加非线性 2.没有残差结构或者densenet结构 3.使用ReLu6作为激活函数，在嵌入式设备中 效果很好，鲁棒性强？ 4.引入宽度和分辨率乘子(通道数和特征图大 小以一定比例缩小) 5.DW卷积核大部分为0(通道数太少造成信息 丢失)
目录
• 1.VGG • 2.GoogleNet • 3.ResNet • 4.ResNeXt • 5.SENet • 6.DenseNet • 7.Xception • 总结
目录
1.深度压缩 2.SqueezeNet 3.MobileNet 4.MobileNet_v2 5.ShuffleNet 6.ShuffleNet_v2 7.Res2Net
ResNeXt(2016)
ResNeXt(2016)
SENet(2017)
SENet(2017)
• 部分细节： • 1.模型计算量增加的部分较少、增益大 • 2.对通道加权，提升重要特征抑制不重要特
征 • 3.灵活地添加到其他网络
SENet(2017)
SENet(2017)
SENet(2017)
ResNeXt(2016)
• 部分细节： 1.不需人为设计 2.引入分组卷积 split-transform-merge 3.特征图大小不变时标准堆叠， 特征图的大小减半通道数增加一倍 4.模型容量:参数量和计算量 5.增加基数比深度、宽度更高效
ResNeXt(2016)
ResNeXt(2016)
深度压缩(ICLR2016)
深度压缩(ICLR2016)
• Pruning 剪枝
深度压缩(ICLR2016)
• Quantization量化
• Huffman编码 • AlexNet的最后一个全连接层
SqueezeNet(ICLR2017)
SqueezeNet(ICLR2017)
• 部分细节： 1.squeeze模块：1*1卷积，降低通道数 2.expand模块：cat(1*1卷积,3*3卷积) 减少输入到3x3过滤器的通道数 3.去掉全连接层,用1*1卷积+全局池化代替 4.延迟下采样，池化步幅2
目录
1.NAS 2.NASNet 3.MNASNet 4.EfficientNet
VGG(2014)
VGG(2014)
• 部分细节： • 1.使用小的卷积核3*3 • 2.通道维度与空间维度成反比 • 3.相同卷积层的堆叠 • 4.用浅层网络权重初始化深层网络 • 5.降采样：maxpooling
• 部分细节： 1.增加通道数，保持信息传递 2.去掉最后一个ReLU，保留特征多样性，增 强网络的表达能力 3.全卷积网络，适应不同尺寸的图像 4.设计两种基础结构组合，一种用来降低特 征图大小，一种用来堆叠(shufflenet同)
MobileNet_v2(CVPR2018)
t 输入通道的倍增系数 n 是该模块重复次数 c 是输出通道数 s 是该模块第一次重复时的 stride（后面重复都是 stride 1）
ShuffleNet • 其他:NASNet、RIR等
why Deep Compression
1.参数少，更高效的分布式训练 2.传输模型到客户端的耗费较少 3.部署到芯片上
• fห้องสมุดไป่ตู้ster
四个派系
1.NetworkPruning 2.KnowledgeDistillation 3.ArchitechtureDesign 4.ParameterQuantization
• Transition:压缩通道数，*reduction(<1)
DenseNet(2017CVPR)
部分细节： 1.transition层：降采样 1.每一层跟前面几层都会有联系 2.特征复用，节省参数和计算量 3.数据量少时抗过拟合 4.消耗显存(已解决)
DenseNet(2017CVPR)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet(CVPR2017)
MobileNet_v2(CVPR2018) 倒残差结构
沙漏vs纺锤
MobileNet_v2(CVPR2018)
MobileNet_v2(CVPR2018)
SENet(2017)
DenseNet(2017CVPR)
DenseNet(2017CVPR)
DenseNet(2017CVPR)
• DenseBlock:降维 • 输入通道数K0 ,第 L 层通道数K0 K(L 1)
• BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)
Xception(2017CVPR)
Xception(2017CVPR)
Xception(2017CVPR)
• 部分细节： 1.分离通道的卷积与空间的卷积 2.残差连接的深度可分离卷积层的线性堆叠
总结
• 堆叠block • 加模块 • 残差网络：更深 • 分组卷积、密集连接：更宽 • 注意力机制 • 轻量型网络:SqueezeNet、MobileNet、
Inceptionv3
Inceptionv4
Inceptionv4
• ResNet(2015)
ResNet(2015)
• 部分细节： • 1.引入残差结构 • 2.降采样：池化卷积步长设为2
ResNet(2015) 理论基础：
ResNeXt(2016) 降维----分组----升维
ResNeXt(2016)
GoogleNet(2014)(Inceptionv1)
GoogleNet(2014)
GoogleNet(2014)
• 部分细节： • 1.提出多分支卷积网络
• 多尺度抽象特征融合
• 2.引入1*1卷积核进行通道的升降维 • 3.Inception模块堆叠特征图大小不变
Inceptionv3
MobileNet_v2(CVPR2018)
SqueezeNet(ICLR2017)
SqueezeNet(ICLR2017)
MobileNet(CVPR2017)
• 深度可分离卷积(DW,PW)
MobileNet(CVPR2017)
• 部分细节： 1.来源于Xception,减少参数、增加非线性 2.没有残差结构或者densenet结构 3.使用ReLu6作为激活函数，在嵌入式设备中 效果很好，鲁棒性强？ 4.引入宽度和分辨率乘子(通道数和特征图大 小以一定比例缩小) 5.DW卷积核大部分为0(通道数太少造成信息 丢失)