【CN109886985A】融合深度学习网络和分水岭算法的图像精确分割方法【专利】

发明内容 [0011] 为了解决背景技术中存在的精确分割的问题，本发明提供了融合深度学习网络和 分水岭算法的图 像精确分 割方法 ，对初分 割结果 周围的区域再进行精分 割 ，能提高图 像分 割精度。 [0012] 本发明所采用技术方案如下： [0013] 步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测 物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色； [0014] 所述的待测物图像为完整包含有待测物的图像。 [0015] 具体实施中，所述的图像为母猪图像，图像中完整包含有母猪对象。 [0016] 步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到 待测物识别模型； [0017] 所述待测物图像为模型训练的已知样本图像。 [0018] 步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始 分割图 ； [0019] 步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2… BN表示 ，N为待定区域数量 ，每个待定区域的大小不一定相同 ； [0020] 步骤5：新建一幅与待定图像大小一致的图像作为参考图像C，然后针对步骤4中的 每一个待定区域 ，采用以下方式处理参考图像C ，并根据参考图像C结果处理初始分割图 ：
( 19 )中华人民 共和国国家知识产权局( 12 ) Nhomakorabea明专利申请
(21)申请号 201910060144 .9
(22)申请日 2019 .01 .22
(71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号
(72)发明人 饶秀勤 宋晨波 张小敏 高迎旺 应义斌 泮进明 郑荣进
步骤5 .2：将参考图像C与初始分割图对应相同位置的像素点逐对相乘，并将相乘的结 果更新赋值到参考图像C上；
步骤5 .3：将参考图像C上所有像素点的灰度值相加，获得灰度值总和S2； 步骤5 .4：如果S2>S1/2，则在初始分割图上将与待定区域相同位置图像区域的像素点 全部赋值为1，否则将与待定区域相同位置图像区域的像素点全部赋值为0； 步骤6：重复步骤5对所有待定区域处理后获得的初始分割图作为最后精确分割图 ，初 始分割图上赋值为1的区域代表待测物。 2 .根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法， 其特征在于： 所述的图像为可见光图像。 3 .根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法， 其特征在于： 所述步骤3的 初始分 割图 上 ，属于待测物的 像素点灰度值被赋值为1 ，不 属于待测物的 像素点的灰度值被赋值为0。
步骤2 ：对步骤1获得的所有待测物图 像采 用DeepLa b神经网络进行模型 训练 ，得到待测 物识别模型；
步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割 图；
步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…BN表 示，N为待定区域数量；
步骤5：新建一幅与待定图像大小一致的图像作为参考图像C，然后针对步骤4中的每一 个待定区域 ，采用以下方式处理参考图像C ，并根据参考图像C结果处理初始分割图 ：
步骤5 .1：选取一个待定区域，计算像素点数量S1，并参考图像C上将与待定区域相同位 置图像区域的像素点的灰度值设置为1，其余的像素点的灰度值设置为0；
(74)专利代理机构 杭州求是专利事务所有限公 司 33200
代理人 林超
(51)Int .Cl . G06T 7/12(2017 .01) G06T 7/187(2017 .01)
(10)申请公布号 CN 109886985 A (43)申请公布日 2019.06.14
( 54 )发明 名称 融合深度学习网络和分水岭算法的图像精
3
CN 109886985 A
说 明 书
2/4 页
征向量(主要为颜色与位置)与高斯核相结合的二元势能来反映像素和周边像素的关系。 [0009] DeepLab (CHEN L-C ,PAPANDREOU G ,KOKKINOS I ,et al .Semantic image segmentation with deep convolutional nets and fully connected crfs[J] .arXiv preprint arXiv:14127062 ,2014。CHEN L-C ,PAPANDREOU G ,KOKKINOS I ,et al .Deeplab: Semantic image segmentation with deep convolutional nets ,atrous convolution , and fully connected crfs[J] .IEEE transactions on pattern analysis and machine in tellig ence ,201 8 ,40 (4) :834-4 8。CHEN L-C ,PAPAN DR EO U G ,SCHROFF F ,e t al .Rethinking atrous convolution for semantic image segmentation[J] .arXiv preprint arXiv:170605587 ,2017。CHEN L-C ,ZHU Y ,PAPANDREOU G ,et al .Encoderdecoder with atrous separable convolution for semantic image segmentation[J] .arXiv preprint arXiv:180202611 ,2018)图像分割领域的主流模型。DeepLab的第一个版 本 引入了空 洞卷积代替池化 ，从而使得网络输出的 分辨率不会太低 ，也就避免了需要 引入 大尺寸的填充，同时在网络最后接上了条件随机场(CRF) ，利用图像的空间相关性精细化分 割结果。DeepLab的第二个版本使用了空洞空间金字塔池化，即借鉴了空间金字塔池化网络 [57]在不同尺度上使用了空洞卷积从而使得分割能适应不同尺度变化。DeepLab的第三版 本改进了空 洞空间金字塔池化的 模块 ，形成串联结构。最新版本命 名为V3+ ，主要是结合了 解码结构，使得输出在上采样的时候与同尺度的图像特征结合，获取更好的精度。 [0010] 在猪个体识别中，由于场景复杂且光照环境多变，采用深度学习模型得到猪分割 结果和真实结果不完全一致的 ，有些情况下 ，差距还很大 ，需研究进一步提高分割精度的方 法。
2
CN 109886985 A
说 明 书
1/4 页
融合深度学习网络和分水岭算法的图像精确分割方法
技术领域 [0001] 本发明涉及一种在现有技术分割图像基础上进一步提高图像分割精度的方法，具 体涉及一种融合深度学习网络和分水岭算法的图像精确分割方法。
背景技术 [0002] 图像分割是将图像区分为多个特定区域来代表不同的事物的过程，是目标识别中 重要的步骤。 [0003] 在猪的行为检测中，需要将猪从各种背景中识别出来，实现猪的图像分割，为进一 步的 行为分析打下基础。但由 于猪场内各 种设施的 存在及光照条件的 不断 变化 ，传统的图 像分割方法很容易失效。 [0004] 近年来，深度学习方法在图像分割中得到了应用。 [0005] FCN是图 像分 割最早的经典模型 (LONG J ,SHELHAMER E ,DARRELL T .Fully convolutional networks for semantic segmentation ；proceedings of the Proceedings of the IEEE conference on computer vision and pattern recognition ,F ,2015) ，其主要思想是将图像识别的神经网络模型的最后一层全连接层替 换成全卷积层。使得原来输出单个识别结果的模型可以进行像素级别的图像识别。 [0006] MaskRCNN(HE K ,GKIOXARI G ,DOLLáR P ,et al .Mask r-cnn；proceedings of the Computer Vision(ICCV) ,2017IEEE International Conference on ,F ,2017[C] .IEEE .)是 在Faster R-CNN(EN S ,HE K ,GIRSHICK R ,et al .Faster R-CNN:towards real-time o bje c t d e te c tion wi th reg ion pro posa l ne two rks ；proceed ing s of the International Conference on Neural Information Processing Systems ,F ,2015)基础 上做了另一条类似FCN结构的分支，其在图像分割领域成绩不俗。 [0007] SegNet(KENDALL A ,BADRINARAYANAN V ,CIPOLLA R .Bayesian segnet:Model uncertainty in deep convolutional encoder-decoder architectures for scene understanding[J] .arXiv preprint arXiv:151102680 ,2015。RONNEBERGER O ,FISCHER P , BROX T .U-net:Convolutional networks for biomedical image segmentation ； proceedings of the International Conference on Medical image computing and computer-assisted intervention ,F ,2015[C] .Springer .)的权重比FCN小很多，同时还有 简化版的网络用于道路情况的实时分割，简化版的权重仅有5MB。除了原版的SegNet，作者 还结合了贝叶斯概率原理设计了Bayesian SegNet，它主要利用了Dropout将每次网络的输 出变成了不 确定的 结果 ，单次网络的 前向 传播得出预 测概率是先验概率 ，而通过多次 传播 得到多个输出来确定总体的后验概率，得出置信度。 [0008] CRFasRNN(ZHENG S ,JAYASUMANA S ,ROMERA-PAREDES B ,et al .Conditional random fields as recurrent neural networks；proceedings of the Proceedings of the IEEE international conference on computer vision ,F ,2015[C])使用FCN输出像 素判别为某一类的概率作为CRF能量方程的一元势能 ，并设计了一个标签相性函数、像素特
确分割方法 ( 57 )摘要
本发明公开了一种融合深度学习网络和分 水岭算法的图像精确分割方法。采用DeepLab识 别模型并对待定图像进行识别 ，得到初始分割 图 ，采用分水岭算法对待定图像进行分割，得到 一组待定区域，将待定区域数量与初始分割图点 乘 ，将待定区域 划分为待 测物区域 ，否则将待 测 物区域内的待定区域去除。本发明综合利用待定 点与待测物质心的距离和待定点与前景及背景 的灰度差异来判断等点的属性，实现了图像的精 确分割。本发明利用分水岭将相邻灰度相近的像 素间分区的 特性 ，采 用深度学 习方法 ，建立待测 物核心区域，提高检测精度。
权利要求书1页 说明书4页 附图2页
CN 109886985 A
CN 109886985 A
权 利 要 求 书
1/1 页
1 .一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：包括如下 步骤：
步骤1 ：采集多幅不同 场景、不同时段、不同 拍摄 角度的 待测物图 像 ，对每一幅待测物图 像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；