图像语义分割

THANKS
合精细分割
（2）结合多层卷积结果，保
留了较为充分的特征
Loss
ADD YOUR TITLE HERE
红框部分是dice coeff loss，绿 框部分是Binarycross entropy loss， P是网络输出的预测结果，GT是真实 标签，N是batchsize。要识别的部分 仅为图片的小部分，该Loss以应对类 别不平衡问题。
4
缺乏空间一致性
LinkNet
特点
（1）使用ResNet Block， 网络结构较深，特征提
取充分
（2）ResNet结构训练较快，
且不增加参数
03 4
DeepLab v2
特点 （1）Atrous Convolution
03
（2）Fully Connected CRF，考虑像素间关系
4
PART THREE D-LinkNet模型分析
添加全连接条件随机场进行 再训练，精确边缘分割效果
红外通道信息利用
利用红外通道信息，单独训练一 个 网 络 （ 优 先 U-Net ） ， 加 至 输 出层之前，辅助判别
Encoder部分调整
分 别 尝 试 ResNet 不 同 的已有网络结构，比较 最终结果
模型结构
ADD YOUR TITLE HERE
（2）保存的位置信息仅来自
池化层索引，位置信息
不充足
U-Net
特点
（1）Encoder-Decoder架 构
（2）分辨率较高HeatMap，
边缘部分分割较为精细
（3）添加Short-Cut结构
（1）主要针对医学影像分割，
不足
03
层数较浅，特征提取不 充分
（2）同FCN一样，没有考
虑到像素之间的关系，
U-Net: Convolutional Networks for
Biomedical Image
Segmentation
DeepLab V1 to
DeepLab V3+ LinkNet etc.
FCN
特点
（1）实现了END-END训练 （2）全卷积，保留了位置信
息
（3）添加Skip-Layer结构，
模型结构---C部分
技巧 test time augmentation
每张图片经过水平、垂直、对角线 翻转生成2*2*2章图片，保存每张图片 的OutPut，每个像素位置取均值。
ADD YOUR TITLE HERE
PART FOUR 模型改进
模型改进
Pooling位置保存
借 鉴 SegNet 想 法 ， 保 存 Pooling层索引以恢复位置 信息，精确化分割
模型结构
ADD YOUR TITLE HERE
模型改进
Pooling位置保存
借 鉴 SegNet 想 法 ， 保 存 Pooling层索引以恢复位置 信息，精确化分割
红外通道信息利用
利用红外通道信息，单独训练一 个 网 络 （ 优 先 U-Net ） ， 加 至 输 出层之前，辅助判别
模型结构
fully connected Conditional Random Field
ADD YOUR TITLE HERE
模型结构
ADD YOUR TITLE HERE
模型改进
Pooling位置保存
借 鉴 SegNet 想 法 ， 保 存 Pooling层索引以恢复位置 信息，精确化分割
添加CRF精确wenku.baidu.com判别
图像语义分割
----基于FCN及其变种
CONTENTS
主要任务与难点分析
基于深度网络模型的解决方案 及其发展概览 D-LinkNet模型分析
模型改进
PART ONE 主要任务与难点分析
主要任务
卫星图像 标注图层
以像素级的精细程度对每一个实体进 行检测并标记精确的边界。
从细节角度来说，每个像素都是一个 训练样本，判断该训练样本是否为带分割 目标的组成部分，为多分类或二分类任务。
ADD YOUR TITLE HERE
模型改进
Pooling位置保存
借 鉴 SegNet 想 法 ， 保 存 Pooling层索引以恢复位置 信息，精确化分割
添加CRF精确化判别
添加全连接条件随机场进行 再训练，而预测时候并不需 要添加，仅增加训练成本。 精确边缘分割效果
红外通道信息利用
利用红外通道信息，单独训练一 个 网 络 （ 优 先 U-Net ） ， 加 至 输 出层之前，辅助判别
PART TWO 基于深度网络模型的解决方案 及其发展概览
基于深度网络模型的发展
Fully convolutional networks for
semantic segmentation
(2014)
SegNet: A Deep Convolutional
Encoder-Decoder Architecture for Robust Semantic PixelWise Labelling
模型结构
ADD YOUR TITLE HERE
模型结构---B部分
ADD YOUR TITLE HERE
特点
（1）dilation convolution， 增加的感受野面积，而 不增加参数。
（2）级联加并行结合多层卷 积结果，保留了较为充 分的特征
模型结构---C部分
特点
（1）添加Short-Cut结构， 位置信息保留充分，适
提高了精度
（1）经过polling层的下采样
不足
03
与特征提取，位置空间 信息遭到了损失，结果
不太精确
（2）没有考虑到像素之间的
4
关系，缺乏空间一致性
（3）HeatMap分辨率较低
SegNet
0特3点
（1）通过复制池化层索引进 行上采样，用来恢复位
置信息
（2）参数少，无反卷积层，
4
易于训练
不足
（1）没有考虑到像素之间的 关系，缺乏空间一致性
难点分析
01
与图像分类任务单利用低分 辨率高阶特征不同，语义分
割不仅需要高阶特征捕捉整
体信息，还需要高分辨率的
低阶特征所包含的位置信息。
02
识别的目标具有跨度大和连 通性，需要感受视野广的高
阶特征。
03
识别目标分布在整张图片很 小一部分，背景像素数量远
大于前景像素，即类别不平
衡问题。
分辨率1024*1024 包含多种地形上的道路