基于改进残差U-Net的乳腺肿块图像分割方法

１．３ 残差连接模块 随着网络层次加深，训练时间越长，且更易造成
信息丢失产生错误。为解决这一问题，训练分割模 型时引入 Ｈｅ等［１９］于 ２０１５年 Ｉｍａｇｅｎｅｔ图像识别竞 赛中提出的残差网络原理，构造残差连接模块（Ｒｅｓ ｂｌｏｃｋ）。模块内 包 含 两 条 路 径，一 条 路 径 将 输 入 的 图像信息直接添加到该模块底层与另一条包含特征 提取功能的路径进行相加处理，构成残差短路连接。 这样的残差映射便是该模块需要学习的目标。图 ２ 所示为包含一次卷积的残差连接模块具体结构。
综上，计算机辅助诊断系统借助人工智能技术， 在乳腺肿块的分割领域已有较好的应用成果，可以 自动分割肿块病灶，达到提高诊断效率、减少漏检和 误检的目的，但仍存在局限：首先，大部分研究所使 用的是公开数据集，较为陈旧并且均来自欧美患者， 此外肿块的标注不够精确甚至完全错误，导致分割 性能下降；其次，数据样本中病灶区域与背景区域的 像素存在较大的数量差别，这会主导梯度的更新方 向，使模型更倾向于学习面积较大的背景区域，无法 学习到肿块相关信息。为此，本文提出基于对称残 差结构的乳腺肿块分割网络 ＳＲｅｓ－Ｕｎｅｔ，可在完整
模型整体框架如图 １所示。从上至下总共 ５层 对称结构，第一至三层的两端残差模块内部分别执 行 １～３次卷积，第三层后均执行 ３次卷积，并且每 完成一 次 卷 积 后 都 伴 随 批 量 归 一 化 和 ＰＲｅＬＵ激 活［１８］。网络通道数 （卷积核 个 数 或 ｆｅａｔｕｒｅｍａｐ数
７０
西 南 科 技 大 学 学 报 第 ３６卷
１．１ Ｕ－Ｎｅｔ模型简述 经典 Ｕ－Ｎｅｔ［１６］是 ２０１５年 ＭＩＣＣＡＩ会议上首先
被提出的一种全卷积网络分割模型，由两条对称路 径组成。左侧收缩路径用于获取上下文信息，右侧 扩展路径用于对目标精确定位，两条路径形成一个 “Ｕ”型。中间通过 Ｓｋｉｐ－Ｃｏｎｃａｔｅｎａｔｅ将图像各层次 的多维要素进行融合，提高网络对特征信息进行学 习并获取的敏感度。 １．２ ＳＲｅｓ－Ｕｎｅｔ模型结构
结果计算交叉熵，并将其作为网络整体的优化函数。
在医学图像分割中，通常只有病灶与背景两种分类，
损失函数此时 就 是 二 元 交 叉 熵 （ＢｉｎａｒｙＣｒｏｓｓＥｎｔｒｏ
第 ３６卷 第 ２期 ２０２１年 ６月
西 南 科 技 大 学 学 报 ＪｏｕｒｎａｌｏｆＳｏｕｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ
Ｖｏｌ．３６Ｎｏ．２ Ｊｕｎｅ２０２１
基于改进残差 Ｕ－Ｎｅｔ的乳腺肿块图像分割方法
虽然 Ｕ－Ｎｅｔ在分割精度和速度上都达到了较 高水平，但传统的卷积层和池化层在信息传递中普 遍存在信息丢失等问题，并且随着网络逐步加深，梯 度消失也随之出现［１７］。为克服上述问题，本文提出 一种新的改进模型：基于对称残差结构的 Ｕ－Ｎｅｔ分 割模型 ＳＲｅｓ－Ｕｎｅｔ。延续 Ｕ－Ｎｅｔ的对称结构以及 跳跃连接，同时嵌入改进的残差模块对分割细节进 行优化，通过图像增强缓解梯度消失的问题，有效提 升分割效率。
ＳＲｅｓ－Ｕｎｅｔ主要有以下 ３个特点：（１）将原始 Ｕ－Ｎｅｔ两条路径中共 ５层的 ３×３普通卷积替换为 残差结构的残差卷积模块，网络中间依旧采用跳跃 连接。（２）嵌 入 的 残 差 模 块 内 部 由 卷 积 层 （５×５ Ｃｏｎｖ２ｄ）、归一化层（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）、激活函数 ＰＲｅＬＵ层组成，水平向的残差连接采用 Ｅｌｅｍｅｎｔ－ ｗｉｓｅ。（３）利用 ２×２卷积层与 ２×２反卷积层代替 原始上采样和下采样的池化层，在特征图大小变化 的同时，能更好地分配不同像素点的权重，降低重要 信息丢失概率。
乳腺钼靶图像上直接对肿块进行像素级分割，无需 预先提取感兴趣区域。同时，为解决肿块区域像素 在完整乳腺图像内占比过小而造成网络训练的导向 偏差，使用 一 种 改 进 型 复 合 加 权 损 失 函 数 ｗＢＣＥ＿ ＤｉｃｅＬｏｓｓ平衡像素差，进一步提升分割的精准度。
１ 基于残差结构的乳腺图像肿块分割 方法
ＢｒｅａｓｔＭａｓｓＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎＡｌｇｏｒｉｔｈｍ Ｂａｓｅｄｏｎ ＩｍｐｒｏｖｅｄＲｅｓｉｄｕａｌＵ－Ｎｅｔ
ＺＨＯＵＹｕｗｅｉ１，ＬＩＵＺｈｉｑｉｎ１，ＷＡＮＧＱｉｎｇｆｅｎｇ１，ＨＵＡＮＧＪｕｎ１， ＷＡＮＧＹａｏｂｉｎ１，ＸＵＷｅｉｙｕｎ２
（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｕｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ， Ｍｉａｎｙａｎｇ６２１０１０，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ；２．ＭｉａｎｙａｎｇＣｅｎｔｒａｌＨｏｓｐｉｔａｌ，Ｍｉａｎｙａｎｇ６２１０００，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ）
医学人工智能（ＭｅｄｉｃａｌＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）受 到了国家层面的高度重视与战略扶持［６］，在许多生 物医学领域产生了重要的影响：淋巴结良恶性辅助 诊断［７］、胸部疾病辅助诊断［８－９］、眼底图像分割 、 ［１０］ 肠道息肉分割［１１］等，成为了当前的热门研究主题。
应用于乳腺肿块分割的人工智能算法可分为传 统机器学习算法与经典深度学习算法。传统的图像 分割算法约束条件较多，操作复杂，难以取得理想效 果。与传统机器学习方法相比，基于深度学习的图 像分割算法拥有更高效的特征提取能力，表现出极 大的优势与潜力，学者们也因此将深度学习应用于 乳腺图像处 理 并 进 行 了 相 关 研 究。 文 献 ［１２］提 出 基于快速扫描卷积神经网络的乳腺核磁共振图像分 割算法，提高了图像分割速度并保证分割精度不变。 文献［１３］提出利用 ＧＡＮ进行半监督训练，使网络 得以区分标签图像以及分割结果图像，此方法更加 适用于乳腺钼靶数据量较少时对感兴趣区域（ＲＯＩ， ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）进行大致的分割。文献［１４］构建 了乳腺肿块检测、分割和分类一体化的 ＣＡＤ系统， 并使用了一种新的深度全分辨率卷积网络 ＦｒＣＮ。 文献［１５］基于 Ｕ－Ｎｅｔ改进出一种双通道分割网 络，训练过程中两条路径信息相互叠加补充，同样也 需要在已提取的感兴趣区域内进行分割。
早期乳腺癌通常没有明显的临床症状，多表现 为无痛性肿块［３］。乳腺钼靶 Ｘ线摄影是筛查乳腺
收稿日期：２０２０－１２－２８；修回日期：２０２１－０４－０９ 基金项目：国家自然科学基金面上项目（６１６７２４３８） 作者简介：第一作者，周雨薇（１９９４— ），硕士研究生，Ｅｍａｉｌ：４３１４６８７４＠ｑｑ．ｃｏｍ；通信作者：刘志勤（１９６２— ），教授，研究方向为高性能计
乳腺癌作为一项死亡率极高的恶性疾病，已严 重威胁到全世界女性身心健康与生命安全。据美国 癌症协 会 统 计，２０１７年 美 国 乳 腺 癌 新 增 病 例 达 ２５５１８０例，乳腺癌死亡人数达 ４１０７０例［１］。我国
每年女性乳腺癌死亡病例约 ６．６０万例，占女性恶性 肿瘤死亡人数的 ７．８２％［２］。
量）随着网络层数不断加深而依次增加两倍，从 １６， ３２，６４，１２８到 ２５６。
左侧下采样路径中每一层的卷积结果都要同时 传递到右侧上采样路径所对称的卷积模块中，进行 叠加操作（Ｓｋｉｐ－Ｃｏｎｃａｔｅｎａｔｅ）以补充图像因压缩损 失的特征信息，既能够保留一部分丢失的信息，同时 提高肿块边界分割的准确性。网络最后的卷积层产 生与输入图像尺寸相同大小的特征图，经过 Ｓｉｇｍｏｉｄ 函数激活，映射出每个像素的前景 ／背景概率，如果 概率大于 ０．５为前景肿块区域，反之则为背景。
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｌｏｗｐｒｅｃｉｓｉｏｎｏｆｍａｓｓｓｅｇｍｅｎｔａｔｉｏｎｉｎｂｒｅａｓｔｍｏｌｙｂｄｅｎｕｍｔａｒｇｅｔ ｉｍａｇｅｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａＵ－ｓｈａｐｅｄｓｙｍｍｅｔｒｉｃｒｅｓｉｄｕａｌｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｍｏｄｅｌｎａｍｅｄＳＲｅｓ－ Ｕｎｅｔ，ｂａｓｅｄｏｎａｃｏｍｐｏｕｎｄｗｅｉｇｈｔｅｄｌｏｓｓｆｕｎｃｔｉｏｎ．Ｆｉｒｓｔ，ｔｈｅｒｅｓｉｄｕａｌｍｏｄｕｌｅｗａｓｅｍｂｅｄｄｅｄｉｎＵ－Ｎｅｔｔｏ ｉｍｐｒｏｖｅｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｎｅｔｗｏｒｋｍｏｄｅｌ．Ｔｈｅｎ，ｔｈｅｃｏｍｐｏｕｎｄｗＢＣＥ＿ＤｉｃｅＬｏｓｓｗａｓｕｓｅｄ ａｓｔｈｅｌｏｓｓｆｕｎｃｔｉｏｎｏｆｒｅｓｉｄｕａｌＵ－ｔｙｐｅｎｅｔｗｏｒｋ（ＳＲｅｓ－Ｕｎｅｔ）ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｓｅｒｉｏｕｓｉｍｂａｌａｎｃｅｏｆ ｓｅｇｍｅｎｔｅｄｐｉｘｅｌｃａｔｅｇｏｒｉｅｓｃａｕｓｅｄｂｙｌａｒｇｅｂａｃｋｇｒｏｕｎｄｉｎｂｒｅａｓｔｉｍａｇｅｓ，ａｎｄｔｈｅｄａｔａａｕｇｍｅｎｔａｔｉｏｎｗａｓ ｕｓｅｄｔｏｒｅｄｕｃｅｔｈｅｒｉｓｋｏｆｏｖｅｒｆｉｔｔｉｎｇ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｓｅｇｍｅｎｔａｔｉｏｎｍｏｄｅｌｃａｎａｃｈｉｅｖｅａ ｇｏｏｄｓｅｇｍｅｎｔａｔｉｏｎｅｆｆｅｃｔｆｏｒｂｒｅａｓｔｍａｓｓｅｓ，ｗｉｔｈＤＳＣａｎｄＭＩｏＵ ｒｅａｃｈｉｎｇ０．８２ａｎｄ０．８６，ｒｅｓｐｅｃｔｉｖｅｌｙ． ＣｏｍｐａｒｅｄｗｉｔｈＵ－Ｎｅｔ，ｔｈｅＤＳＣａｎｄＭＩｏＵｉｎｄｉｃａｔｏｒｓａｒｅｉｍｐｒｏｖｅｄｂｙ２％ ａｎｄ４％，ｒｅｓｐｅｃｔｉｖｅｌｙ． Ｋｅｙｗｏｒｄｓ：Ｍａｍｍｏｇｒａｐｈｙ；ＭｅｄｉｃａｌｉｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ；Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；Ｒｅｓｉｄｕａｌｓｔｒｕｃ ｔｕｒｅ；Ｄａｔａａｕｇｍｅｎｔａｔｉｏｎ
算、人工智能，Ｅｍａｉｌ：ｎｌｉｕ１９＠ｑｑ．ｃｏｍ
第 ２期 周雨薇，等：基于改进残差 Ｕ－Ｎｅｔ的乳腺肿块图像分割方法
６９
癌肿块首 选 的 无 创 性 检 测 手 段［４］。 肿 块 在 乳 腺 钼 靶图像上主要表现为大小各异、形状不均、边缘模糊 等特点。由于乳腺内其他组织的相互重叠，肿块病 灶往往难以辨认，海量的影像数据也给放射科医师 的阅片和诊断带来了巨大的工作量，并且受医师诊 断经验、情绪等主观因素的影响，可能导致漏检误诊 的发生［５］。
周雨薇１ 刘志勤１ 王庆凤１ 黄 俊１ 王耀彬１ 徐卫云２
（１．西南科技大学计算机科学与技术学院 四川绵阳 ６２１０１０；２．绵阳市中心医院 四川绵阳 ６２１０００）
摘要：针对乳腺钼靶图像中肿块体积小且常被致密组织掩盖导致肿块分割精度较低的问题，提出一种基于复合加权 损失函数的 Ｕ型对称残差语义分割模型 ＳＲｅｓ－Ｕｎｅｔ：首先将含有残差结构的卷积模块嵌入 Ｕ型网络架构中，提升 模型整体的特征提取 能 力；其 次，为 了 解 决 乳 腺 图 像 中 因 背 景 较 大 造 成 像 素 类 别 严 重 不 平 衡 问 题，利 用 复 合 型 ｗＢＣＥ＿ＤｉｃｅＬｏｓｓ作为残差 Ｕ型网络（ＳＲｅｓ－Ｕｎｅｔ）的损失函数，同时辅以数据增广以减小过拟合风险。实验结果表 明，所提分割模型对于乳腺肿块图像能够实现良好的分割效果，ＤＳＣ值与 ＭＩｏＵ值分别达到了 ０．８２和 ０．８６，对比传 统 Ｕ－Ｎｅｔ，在 ＤＳＣ和 ＭＩｏＵ指标上分别提升了 ２个百分点和 ４个百分点 。 关键词：乳腺钼靶图像 医学图像分割 卷积神经网络 残差结构 数据增强 中图分类号：ＴＰ１８３；ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１６７１－８７５５（２０２１）０２－００６８－０７
图 １ ＳＲｅｓ－Ｕｎｅｔ网络模型 Ｆｉｇ．１ ＳＲｅｓ－Ｕｎｅｔｎｅｔｗｏｒｋｍｏｄｅｌ
图 ２ 卷积残差块具体结构 Ｆｉｇ．２ Ｃｏｎｃｒｅｔｅｓｔｒｕｃｔｕｒｅｏｆｃｏｎｖｏｌｕｔｉｏｎｒｅｓｉｄｕａｌｂｌｏｃｋ
Байду номын сангаас
１．４ ｗＢＣＥ＿Ｄｉｃｅ损失函数
经典 Ｕ－Ｎｅｔ模型训练中利用 Ｓｏｆｔｍａｘ的输出