【CN110555851A】深度学习模型的优化方法【专利】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(72)发明人 刘颖璐 李春阳 刘子坤 熊君君
(74)专利代理机构 中科专利商标代理有限责任 公司 11021
代理人 李敬文
(51)Int .Cl . G06T 7/11(2017 .01)
(10)申请公布号 CN 110555851 A (43)申请公布日 2019.12.10
( 54 )发明 名称 深度学习模型的优化方法
CN 110555851 A
CN 110555851 A
权 利 要 求 书
1/2 页
1 .一种深度学习模型的优化方法，包括： 根据分割特征和分类特征，得到联合损失；以及 根据所述联合损失，对深度学习模型进行优化。 2 .根据权利要求1所述的方法，所述分类特征包括各类的置信度，所述根据分割特征和 分类特征，得到联合损失包括： 根据所述分类特征，得到各类的置信度； 根据所述分割特征，得到所述各类的分割损失； 根据所述各类的置信度，对所述各类的分割损失的权重进行调整，得到所述联合损失。 3 .根据权利要求1所述的方法，还包括根据所述分割特征得到分割损失，根据所述分类 特征得到分类损失，所述对深度学习网络进行优化包括： 根据所述分割损失、所述分类损失和所述联合损失，得到总的损失； 根据所述总的损失，对深度学习网络进行优化。 4 .根据权利要求1所述的方法，还包括： 对基础特征进行分割处理，得到所述分割特征； 对基础特征进行分类处理，得到所述分类特征。 5 .根据权利要求1所述的方法，还包括： 根据分割特征得到分割损失，根据分类特征得到分类损失； 根据所述分割损失和/或分类损失，对所述深度学习网络进行优化。 6 .根据权利要求1所述的方法，其中所述联合损失根据以下公式计算：
其中，lcls-seg表示联合损失， 是图像中不包含的类别的集合， 是 的大小，l{·}是
指示函数，yk＝＝0表示图像中不包含第k类像素，qk表示第k类在图像中出现的概率，γ是用 于控制损失权重的超参数，pjk是第j个像素属于第k类的概率，M×N表示图像大小，K为类别 数。
7 .一种图像分割方法，包括： 根据深度学 习模型对图 像进行分 割 ，其中 ，所述深度学 习模型是根据联合 损失进行优 化的 ，所述联合损失是根据分割特征和分类特征得到的。 8 .一种深度学习模型的优化装置，包括： 联合损失模块，被配置为根据分割特征和分类特征得到联合损失； 优化模块，被配置为根据所述联合模块对深度学习模块进行优化。 9 .一种图像分割装置，包括： 分割模块 ，被配置为根据深度学习模型对图 像进行分割 ，其中 ，所述深度学习模型是根 据联合损失进行优化的 ，所述联合损失是根据分割特征和分类特征得到的。 10 .一种电子设备，包括： 处理器；以及
2
CN 110555851 A
权 利 要 求 书
2/2 页
存储器 ，配置 用于存储机器可读指令 ，所述指令在由所述处理器执行时 ，使得所述处理 器执行根据权利要求1-7中任一项所述的方法。
11 .一种包括指令的计wk.baidu.com机可读存储介质，所述指令在被处理器执行时使得所述处理 器执行如权利要求1-7中任一项所述的方法。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910103439 .X
(22)申请日 2019 .01 .31
( 66 )本国优先权数据 201810546215 .1 2018 .05 .30 CN
(71)申请人 北京三星通信技术研究有限公司 地址 100028 北京市朝阳区太阳宫中路12 号楼15层1503 申请人 三星电子株式会社
3
CN 110555851 A
说 明 书
1/7 页
深度学习模型的优化方法
技术领域 [0001] 本发明涉及图像处理技术领域，具体地涉及一种用于图像分割的方法和计算机可 读存储介质。
背景技术 [0002] 计算 机 视 觉 广泛的 应 用在人 工 智能 (AI) 领 域 ，大 体上 可以 划分 为图 像分 类 (image-level) 、目标检测 (region-level) 和语义分割 (pixel-level) 三大方向。相比 较而 言 ，语义分割是最具挑战性的 ，因为它需要对每个像素进行分类 ，而如果获知了每个像素的 类别 ，则可以 轻易的得到图像以 及region的标签label。语义分割的应 用是十分广泛的 ，是 许多AI应 用的 基础技术 ，比 如无人驾驶 ，虚拟试装、智能机器人等。深度学 习作为现在语义 分割的主流技术，无论在性能还是速度上都取得了极大的提升，然而相比较分类和检测，分 割性能还有很大的提升空间，还有很大的潜力有待挖掘。 [0003] 分割问题需要对每个像素点进行分类，故在网络中分辨率不能降低太多，否则会 带来性能的 直接损失 ，然而这也导致了分 割网络更关注图 像局部信息 ，对全局信息的 涵盖 不够。所以对于某些局部表观特征很相似的类别，比如猫、狗的局部区域，连衣裙、短裙的局 部区域 ，看上去是非常相似的 ，这个时候如果只看局部 ，即使人类也是很难区分的。但是如 果从全图看，就非常容易区分。然而现有的分割网络对全局信息的涵盖还不够，即使有些算 法包含了全局信息，也只是特征层面的融合，而没有在损失函数中直接体现，这种指导是不 够直接的。 [0004] 现有技术主要从两个方面解决：1)采用更强大的网络，提取更高级的特征，来提升 每个像素点语义分类的准确度，比如基础网络从VGG，升级到ResNet，再到Xception等，随着 基础网络的提升 ，分割性能也在随之提升。但是受限 于计算资源 ，网络加深的同时 ，带来了 空间 信息的 损失 ，导致边界不够准确。2) 结合多尺度的特征 ，从而既 保留 局部信息 ，又能扩 大感知野，看到更全局的统计信息，比如PSPNet采用多尺度池化(pooling)的方式，Deeplab 采 用ASPP结构获得不同 尺度的 特征。然而这 种结合只是特征层面的 结合 ，并没有给出直接 的指导关系。 [0005] 本发明的目的就是能够更有效地利用全局信息，从损失函数的层面将全局信息和 局部信息结合，从而提升分割精度，减少类间混淆。
( 57 )摘要 本发明提供了一种深度学习模型的优化方
法，包括：根据分割特征和分类特征，得到联合损 失 ；以 及根据所述联合 损失 ，对深度学 习模型进 行优化。本发明能够有效地利用全局分类信息来 调整局部分割区域的分割结果，有效地避免了相 似类别之间容易混淆的问题。
权利要求书2页 说明书7页 附图2页
(74)专利代理机构 中科专利商标代理有限责任 公司 11021
代理人 李敬文
(51)Int .Cl . G06T 7/11(2017 .01)
(10)申请公布号 CN 110555851 A (43)申请公布日 2019.12.10
( 54 )发明 名称 深度学习模型的优化方法
CN 110555851 A
CN 110555851 A
权 利 要 求 书
1/2 页
1 .一种深度学习模型的优化方法，包括： 根据分割特征和分类特征，得到联合损失；以及 根据所述联合损失，对深度学习模型进行优化。 2 .根据权利要求1所述的方法，所述分类特征包括各类的置信度，所述根据分割特征和 分类特征，得到联合损失包括： 根据所述分类特征，得到各类的置信度； 根据所述分割特征，得到所述各类的分割损失； 根据所述各类的置信度，对所述各类的分割损失的权重进行调整，得到所述联合损失。 3 .根据权利要求1所述的方法，还包括根据所述分割特征得到分割损失，根据所述分类 特征得到分类损失，所述对深度学习网络进行优化包括： 根据所述分割损失、所述分类损失和所述联合损失，得到总的损失； 根据所述总的损失，对深度学习网络进行优化。 4 .根据权利要求1所述的方法，还包括： 对基础特征进行分割处理，得到所述分割特征； 对基础特征进行分类处理，得到所述分类特征。 5 .根据权利要求1所述的方法，还包括： 根据分割特征得到分割损失，根据分类特征得到分类损失； 根据所述分割损失和/或分类损失，对所述深度学习网络进行优化。 6 .根据权利要求1所述的方法，其中所述联合损失根据以下公式计算：
其中，lcls-seg表示联合损失， 是图像中不包含的类别的集合， 是 的大小，l{·}是
指示函数，yk＝＝0表示图像中不包含第k类像素，qk表示第k类在图像中出现的概率，γ是用 于控制损失权重的超参数，pjk是第j个像素属于第k类的概率，M×N表示图像大小，K为类别 数。
7 .一种图像分割方法，包括： 根据深度学 习模型对图 像进行分 割 ，其中 ，所述深度学 习模型是根据联合 损失进行优 化的 ，所述联合损失是根据分割特征和分类特征得到的。 8 .一种深度学习模型的优化装置，包括： 联合损失模块，被配置为根据分割特征和分类特征得到联合损失； 优化模块，被配置为根据所述联合模块对深度学习模块进行优化。 9 .一种图像分割装置，包括： 分割模块 ，被配置为根据深度学习模型对图 像进行分割 ，其中 ，所述深度学习模型是根 据联合损失进行优化的 ，所述联合损失是根据分割特征和分类特征得到的。 10 .一种电子设备，包括： 处理器；以及
2
CN 110555851 A
权 利 要 求 书
2/2 页
存储器 ，配置 用于存储机器可读指令 ，所述指令在由所述处理器执行时 ，使得所述处理 器执行根据权利要求1-7中任一项所述的方法。
11 .一种包括指令的计wk.baidu.com机可读存储介质，所述指令在被处理器执行时使得所述处理 器执行如权利要求1-7中任一项所述的方法。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910103439 .X
(22)申请日 2019 .01 .31
( 66 )本国优先权数据 201810546215 .1 2018 .05 .30 CN
(71)申请人 北京三星通信技术研究有限公司 地址 100028 北京市朝阳区太阳宫中路12 号楼15层1503 申请人 三星电子株式会社
3
CN 110555851 A
说 明 书
1/7 页
深度学习模型的优化方法
技术领域 [0001] 本发明涉及图像处理技术领域，具体地涉及一种用于图像分割的方法和计算机可 读存储介质。
背景技术 [0002] 计算 机 视 觉 广泛的 应 用在人 工 智能 (AI) 领 域 ，大 体上 可以 划分 为图 像分 类 (image-level) 、目标检测 (region-level) 和语义分割 (pixel-level) 三大方向。相比 较而 言 ，语义分割是最具挑战性的 ，因为它需要对每个像素进行分类 ，而如果获知了每个像素的 类别 ，则可以 轻易的得到图像以 及region的标签label。语义分割的应 用是十分广泛的 ，是 许多AI应 用的 基础技术 ，比 如无人驾驶 ，虚拟试装、智能机器人等。深度学 习作为现在语义 分割的主流技术，无论在性能还是速度上都取得了极大的提升，然而相比较分类和检测，分 割性能还有很大的提升空间，还有很大的潜力有待挖掘。 [0003] 分割问题需要对每个像素点进行分类，故在网络中分辨率不能降低太多，否则会 带来性能的 直接损失 ，然而这也导致了分 割网络更关注图 像局部信息 ，对全局信息的 涵盖 不够。所以对于某些局部表观特征很相似的类别，比如猫、狗的局部区域，连衣裙、短裙的局 部区域 ，看上去是非常相似的 ，这个时候如果只看局部 ，即使人类也是很难区分的。但是如 果从全图看，就非常容易区分。然而现有的分割网络对全局信息的涵盖还不够，即使有些算 法包含了全局信息，也只是特征层面的融合，而没有在损失函数中直接体现，这种指导是不 够直接的。 [0004] 现有技术主要从两个方面解决：1)采用更强大的网络，提取更高级的特征，来提升 每个像素点语义分类的准确度，比如基础网络从VGG，升级到ResNet，再到Xception等，随着 基础网络的提升 ，分割性能也在随之提升。但是受限 于计算资源 ，网络加深的同时 ，带来了 空间 信息的 损失 ，导致边界不够准确。2) 结合多尺度的特征 ，从而既 保留 局部信息 ，又能扩 大感知野，看到更全局的统计信息，比如PSPNet采用多尺度池化(pooling)的方式，Deeplab 采 用ASPP结构获得不同 尺度的 特征。然而这 种结合只是特征层面的 结合 ，并没有给出直接 的指导关系。 [0005] 本发明的目的就是能够更有效地利用全局信息，从损失函数的层面将全局信息和 局部信息结合，从而提升分割精度，减少类间混淆。
( 57 )摘要 本发明提供了一种深度学习模型的优化方
法，包括：根据分割特征和分类特征，得到联合损 失 ；以 及根据所述联合 损失 ，对深度学 习模型进 行优化。本发明能够有效地利用全局分类信息来 调整局部分割区域的分割结果，有效地避免了相 似类别之间容易混淆的问题。
权利要求书2页 说明书7页 附图2页