【CN109903292A】一种基于全卷积神经网络的三维图像分割方法及系统【专利】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
方法及系统 ( 5Leabharlann Baidu )摘要
本发明公开了一种基于全卷积神经网络的 三维图 像分割方法及系统 ，包括以 下步骤 ：步骤 1，采集获取序列图像并进行标注，获得训练样本 数 据 ；步骤2 ，将步骤1获得的 训练样本数 据进行 归一化预处理 ；步骤3 ，应 用步骤2处理 后的 样本 数据对预构建的3-D全卷积残差U-net网络模型 进行有监督的 训练 ，训练至预设收 敛条件 ，获得 训练好的三维图像分割模型 ；步骤4 ，将待分割的 序列图 像数 据归一化处理 后 ，输入步骤3 训练好 的三维图像分割模型中 ，获得序列图像分割结 果。本发明可充分 利 用序列的 连续性 信息 ，能 够 在三维图像分割中获得一个相对较好的结果。
3
CN 109903292 A
说 明 书
1/7 页
一种基于全卷积神经网络的三维图像分割方法及系统
技术领域 [0001] 本发明属于三维序列图像分割技术领域，特别涉及一种基于全卷积神经网络的三 维图像分割方法及系统。
背景技术 [0002] 在图像处理领域，一般包括图像分割、配准、融合和三维重建过程。在图像分割领 域，现有的技术主要是通过对一个序列中每层图像进行分析，通过传统图形学手段、机器学 习方法和深度学习方法等，在二维平面上进行分割，然后再进行三维图像融合，从而实现三 维图像分割。通过现有方法进行的图像序列分割，一般只考虑到二维层面上像素之间的关 系，而忽略了每一层图像间的连续性，因而会损失较多上下文信息。 [0003] 例如，传统的基于阈值分割的算法原理简单，通过手动遍历选取最佳阈值实现图 像分割；但是其计算过程复杂，且容易受到噪声干扰，鲁棒性较差。基于边缘检测的算法，是 先检测图中边缘点，再按一定策略连接成轮廓，从而构成分割区域；其缺点在于抗噪性与检 测精度的矛盾，因此得到的分割经常是断续的、不完整的结构信息。 [0004] 综上，亟需一种新型的三维图像分割方法。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910067705 .8
(22)申请日 2019 .01 .24
(71)申请人 西安交通大学 地址 710049 陕西省西安市咸宁西路28号
(72)发明人 钱步月 刘小彤 张寅斌 张先礼 李扬 尹畅畅 陈欣 郑庆华
权利要求书2页 说明书7页 附图1页
CN 109903292 A
CN 109903292 A
权 利 要 求 书
1/2 页
1 .一种基于全卷积神经网络的三维图像分割方法，其特征在于，包括以下步骤： 步骤1，采集获取序列图像并进行标注，获得训练样本数据； 步骤2，将步骤1获得的训练样本数据进行归一化预处理； 步骤3，应用步骤2处理后的样本数据对预构建的3-D全卷积残差U-net网络模型进行有 监督的训练，训练至预设收敛条件，获得训练好的三维图像分割模型； 步骤4 ，将待分 割的 序列图 像数 据归一化处理 后 ，输入步骤3 训练好的 三维图 像分 割模 型中，获得序列图像分割结果。 2 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤1中 ，使 用图 像 勾画工具 ，将感兴趣区域从整张 序列图 像中画出来 ，作为机器学习的标 签；在二维平面上对序列图像进行标注，全部标注完成后，再将其合并为三维图像。 3 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤2的归一化预处理具体包括： (1)从原始序列图像中获取三维图像灰度矩阵 ； (2)将三维图像灰度矩阵的像素灰度值归一化在0-1之间； (3)将步骤2归一化后的图像的三维像素间距都归一化至预设值。 4 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤3中构建的3-D全卷积残差U-net网络模型分为编码器、解码器和注意力连接三个模块； 其中包括卷积、池化、ReLU、批标准化和反卷积操作。 5 .根据权利要求4所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤3中构建的3-D全卷积残差U-net网络模型共有8个残差块；编码器阶段包括4个下采样 残差块 ，每一次卷积操作后特征图的 大小不变 ，每一次 池化操作后特征图的 大小变为原来 的1/2，使用ReLU作为非线性激活函数，用于增加网络的非线性表达能力；加入批正则化，用 于加速网络收敛且 用于防 止网络太深时 梯度爆炸或 消失 ；解码器阶段包括4个上采样残差 块，每一次反卷积操作后特征图的大小变为原来的2倍；使用注意力连接机制将编码器中的 低维信息与解码器中的高维信息拼接起来，用于获取为分割提供更加精细的特征。 6 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 在步骤3进行有监督的模型训练过程中，加入随机剪切、翻转、随机平移、对比度增强以及弹 性变换中的一种或多种数据增广操作； 在训练过程中，使用Adam方法更新参数，损失函数选择交叉熵函数，并加入难例挖掘。 7 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 还包括： 步骤5，使用条件随机场方法对获得的分割结果进行优化处理。 8 .根据权利要求7所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤5具体包括：使用条件随机场方法对分割结果进行平滑去噪处理，最后将分割结果在序 列图像中框取出来，并确定分割结果的中心点坐标以及长、宽、高。 9 .一种基于全卷积神经网络的三维图像分割系统，其特征在于，包括： 样本采集模块，用于采集获取序列图像并进行标注，获得训练样本数据； 归一化预处理模块，用于将样本采集模块获得的训练样本数据进行归一化预处理； 模型分 割模块 ；应 用归一化预处理模块处理 后的 样本数 据对预构建的 3-D全卷积残差
(74)专利代理机构 西安通大专利代理有限责任 公司 61200
代理人 徐文权
(51)Int .Cl . G06T 7/11(2017 .01) G06N 3/04(2006 .01)
(10)申请公布号 CN 109903292 A (43)申请公布日 2019.06.18
( 54 )发明 名称 一种基于全卷积神经网络的三维图像分割
2
CN 109903292 A
权 利 要 求 书
2/2 页
U-net网络模型进行有监督的 训练 ，训练至预设收 敛条件 ，获得 训练好的 三维图 像分 割模 型；
输入输出模块 ；用于将待分 割的 序列图 像数 据归一化处理 后 ，输入模型分 割模块 训练 好的三维图像分割模型中，并输出序列图像分割结果。
本发明公开了一种基于全卷积神经网络的 三维图 像分割方法及系统 ，包括以 下步骤 ：步骤 1，采集获取序列图像并进行标注，获得训练样本 数 据 ；步骤2 ，将步骤1获得的 训练样本数 据进行 归一化预处理 ；步骤3 ，应 用步骤2处理 后的 样本 数据对预构建的3-D全卷积残差U-net网络模型 进行有监督的 训练 ，训练至预设收 敛条件 ，获得 训练好的三维图像分割模型 ；步骤4 ，将待分割的 序列图 像数 据归一化处理 后 ，输入步骤3 训练好 的三维图像分割模型中 ，获得序列图像分割结 果。本发明可充分 利 用序列的 连续性 信息 ，能 够 在三维图像分割中获得一个相对较好的结果。
3
CN 109903292 A
说 明 书
1/7 页
一种基于全卷积神经网络的三维图像分割方法及系统
技术领域 [0001] 本发明属于三维序列图像分割技术领域，特别涉及一种基于全卷积神经网络的三 维图像分割方法及系统。
背景技术 [0002] 在图像处理领域，一般包括图像分割、配准、融合和三维重建过程。在图像分割领 域，现有的技术主要是通过对一个序列中每层图像进行分析，通过传统图形学手段、机器学 习方法和深度学习方法等，在二维平面上进行分割，然后再进行三维图像融合，从而实现三 维图像分割。通过现有方法进行的图像序列分割，一般只考虑到二维层面上像素之间的关 系，而忽略了每一层图像间的连续性，因而会损失较多上下文信息。 [0003] 例如，传统的基于阈值分割的算法原理简单，通过手动遍历选取最佳阈值实现图 像分割；但是其计算过程复杂，且容易受到噪声干扰，鲁棒性较差。基于边缘检测的算法，是 先检测图中边缘点，再按一定策略连接成轮廓，从而构成分割区域；其缺点在于抗噪性与检 测精度的矛盾，因此得到的分割经常是断续的、不完整的结构信息。 [0004] 综上，亟需一种新型的三维图像分割方法。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910067705 .8
(22)申请日 2019 .01 .24
(71)申请人 西安交通大学 地址 710049 陕西省西安市咸宁西路28号
(72)发明人 钱步月 刘小彤 张寅斌 张先礼 李扬 尹畅畅 陈欣 郑庆华
权利要求书2页 说明书7页 附图1页
CN 109903292 A
CN 109903292 A
权 利 要 求 书
1/2 页
1 .一种基于全卷积神经网络的三维图像分割方法，其特征在于，包括以下步骤： 步骤1，采集获取序列图像并进行标注，获得训练样本数据； 步骤2，将步骤1获得的训练样本数据进行归一化预处理； 步骤3，应用步骤2处理后的样本数据对预构建的3-D全卷积残差U-net网络模型进行有 监督的训练，训练至预设收敛条件，获得训练好的三维图像分割模型； 步骤4 ，将待分 割的 序列图 像数 据归一化处理 后 ，输入步骤3 训练好的 三维图 像分 割模 型中，获得序列图像分割结果。 2 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤1中 ，使 用图 像 勾画工具 ，将感兴趣区域从整张 序列图 像中画出来 ，作为机器学习的标 签；在二维平面上对序列图像进行标注，全部标注完成后，再将其合并为三维图像。 3 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤2的归一化预处理具体包括： (1)从原始序列图像中获取三维图像灰度矩阵 ； (2)将三维图像灰度矩阵的像素灰度值归一化在0-1之间； (3)将步骤2归一化后的图像的三维像素间距都归一化至预设值。 4 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤3中构建的3-D全卷积残差U-net网络模型分为编码器、解码器和注意力连接三个模块； 其中包括卷积、池化、ReLU、批标准化和反卷积操作。 5 .根据权利要求4所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤3中构建的3-D全卷积残差U-net网络模型共有8个残差块；编码器阶段包括4个下采样 残差块 ，每一次卷积操作后特征图的 大小不变 ，每一次 池化操作后特征图的 大小变为原来 的1/2，使用ReLU作为非线性激活函数，用于增加网络的非线性表达能力；加入批正则化，用 于加速网络收敛且 用于防 止网络太深时 梯度爆炸或 消失 ；解码器阶段包括4个上采样残差 块，每一次反卷积操作后特征图的大小变为原来的2倍；使用注意力连接机制将编码器中的 低维信息与解码器中的高维信息拼接起来，用于获取为分割提供更加精细的特征。 6 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 在步骤3进行有监督的模型训练过程中，加入随机剪切、翻转、随机平移、对比度增强以及弹 性变换中的一种或多种数据增广操作； 在训练过程中，使用Adam方法更新参数，损失函数选择交叉熵函数，并加入难例挖掘。 7 .根据权利要求1所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 还包括： 步骤5，使用条件随机场方法对获得的分割结果进行优化处理。 8 .根据权利要求7所述的一种基于全卷积神经网络的三维图像分割方法，其特征在于， 步骤5具体包括：使用条件随机场方法对分割结果进行平滑去噪处理，最后将分割结果在序 列图像中框取出来，并确定分割结果的中心点坐标以及长、宽、高。 9 .一种基于全卷积神经网络的三维图像分割系统，其特征在于，包括： 样本采集模块，用于采集获取序列图像并进行标注，获得训练样本数据； 归一化预处理模块，用于将样本采集模块获得的训练样本数据进行归一化预处理； 模型分 割模块 ；应 用归一化预处理模块处理 后的 样本数 据对预构建的 3-D全卷积残差
(74)专利代理机构 西安通大专利代理有限责任 公司 61200
代理人 徐文权
(51)Int .Cl . G06T 7/11(2017 .01) G06N 3/04(2006 .01)
(10)申请公布号 CN 109903292 A (43)申请公布日 2019.06.18
( 54 )发明 名称 一种基于全卷积神经网络的三维图像分割
2
CN 109903292 A
权 利 要 求 书
2/2 页
U-net网络模型进行有监督的 训练 ，训练至预设收 敛条件 ，获得 训练好的 三维图 像分 割模 型；
输入输出模块 ；用于将待分 割的 序列图 像数 据归一化处理 后 ，输入模型分 割模块 训练 好的三维图像分割模型中，并输出序列图像分割结果。