基于深度卷积神经网络的弱监督图像语义分割
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ａｂｓｔｒａｃｔ：Ｉｍａｇｅ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｔａｓｋ ａｎｄ ｉｔｓ ｇｏａｌ ｉｓ ｔｏ ｅｓｔｉｍａｔｅ
ｐｉｘｅｌ－ｌｅｖｅｌ ｏｂｊｅｃｔ ｃｌａｓｓ ｌａｂｅｌｓ ｏｎ ｉｍａｇｅｓ．Ｔｈｉｓ ｐｒｏｂｌｅｍ ｈａｓ ｂｅｅｎ ｒｅｃｅｎｔｌｙ ｈａｎｄｌｅｄ ｂｙ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ＤＣＮＮｓ）．Ｈｏｗｅｖｅｒ，ｌｅａｒｎｉｎｇ ＤＣＮＮｓ ｄｅｍａｎｄ ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ａｎｎｏｔａｔｅｄ ｔｒａｉｎｉｎｇ ｄａｔａ
ｔｏ ｌｅａｒｎ ｓｅｇｍｅｎｔａｔｉｏｎ．Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｏｖｅｒｖｉｅｗ ｏｆ ｗｅａｋｌｙ ｓｕｐｅｒ ｖｉｓｅｄ ａｐｐｒｏａｃｈｅｓ ｆ ｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａ一 收稿 日期 ：２０１８－０８－０３ 本刊网址 ：ｈｔｔｐ：∥ｎｙｚｒ．ｎｊｕｐｔ．ｅｄｕ．ｃｎ 基金项 目：国家 自然科学基金（６１８７６０９３，６１８８１２４１３０４８，６１６７１￣３，６１７ｏ１２５２，６１７６２０２１）和江苏省 自然科学基金（ＢＫ２０１８１３９３，ＢＫ２０１６０９０Ｂ）资助项 目 通 讯 作 者 ：郑 宝 玉 ，男 ，教 授 ，博 士 生 导 师 ，Ｅ—ｍａｉｌ：ｚｈｙ＠ ｎｊｕｐｔ．ｅｄｕ．ａｎ 引 用 本 文 ：郑 宝 玉 ，王雨 ，吴 锦雯 ，等．基 于深度 卷 积神经 网络 的弱 监督 图像 语义 分割 ［Ｊ］．南京 邮 电大学 学报 （自然科 学 版 ），２０１８，３８（５）：１—１２．
Ｖ０１．３８ Ｎｏ．５ Ｏｃｔ．２０１８
基 于深 度卷 积神 经 网络 的弱 监 督 图像 语 义 分 割
郑 宝玉 一，王 雨 ，吴 锦 雯 ，周 全
，，１．南京邮电大学 通信 与信息工程学 院，江苏 南京 ２１０００３ 、
Ｉ ２．南京邮电大学通信与网络７－程研究中心，江苏 南京 ２１０００３ ｌ ３．中国地质大学（武汉）信息工程学院 ，湖北 武汉 ４３００７４ ／
Ｗ ｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｉｍ ａｇｅ ｓｅｍ ａｎｔｉｃ ｓｅｇｍ ｅｎｔａｔｉｏｎ
ＺＨＥＮＧ Ｂａｏｙｕ ，ＷＡＮＧ Ｙｕ ，ＷＵ Ｊｉｎｗｅｎ。，ＺＨＯＵ Ｑｕａ．
ｗｈｉｌｅ ｓｅｇｍ ｅｎｔａｔｉｏｎ ａｎｎｏｔａｔｉｏｎｓ ｉｎ ｅｘｉｓｔｉｎｇ ｄａｔａ ｓｅｔｓ ａｒｅ ｌｉｍｉｔｅｄ ｉｎ ｔｅｒｍ ｓ ｏｆ ｂｏｔｈ ｑｕａｎｔｉｔｙ ａ百度文库ｄ ｄｉｖｅｒｓｉｔｙ ｄｕｅ ｔｏ ｔｈｅ ｈｅａｖｙ ａｎｎｏｔａｔｉｏｎ ｃｏｓｔ． Ｗ ｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ａｐｐｒｏａｃｈｅｓ ｔａｃｋｌｅ ｔｈｉｓ ｉｓｓｕｅ ｂｙ ｌｅｖｅｒａｇｉｎｇ ｗｅａｋ ａｎｎｏｔａ－ ｔｉｏｎｓ，ｓｕｃｈ ａｓ ｉｍ ａｇｅ·ｌｅｖｅｌ ｌａｂｅｌｓ ａｎｄ ｂｏｕｎｄｉｎｇ ｂｏｘｅｓ，ｗｈｉｃｈ ａｒｅ ｅｉｔｈｅｒ ｒｅａｄｉｌｙ ａｖａｉｌａｂｌｅ ｉｎ ｅｘｉｓｔｉｎｇ ｌａｒｇｅ－
摘 要 ：图像 语义 分 割是计 算机 视 觉领域 重 要识别 任 务 ，其 目标 是估 计 图像 中的像 素 级 目标 类标 签 。 最近 ，深度 卷 积神 经 网络 （Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＤＣＮＮｓ）已经 成为解 决 图像 语 义分 割 的主流 方法 。然 而 ，学 习 ＤＣＮＮｓ需 要大量 的 已标注 训 练数据 （Ｇｒｏｕｎｄ Ｔｒｕｔｈ，ＧＴ），而现 有数 据集 中 的 ＧＴ在 数量 和 多样 性 方面 因标 注成本 巨大 而受到 诸 多限 制。 弱监 督 方 法则考 虑 利用 图像 级 标 签 和物体 框 之 类的 弱标 注信 息解决 图像 语义 分 割 中的标 注 问题 。 相 比于 全 监督 的像 素级 图像标 注 ， 图像 分 类 的 ＧＴ（图像 级标 签 ）和 目标 检 测 的 ＧＴ（物体 框 ）更容 易获 得 ，因而可 以直 接借 用 为 弱标 注 信 息训练 分 类模 型。 弱监督 语义 分 割的 主要挑 战在 于 标注 信 息 的 不 完整 性 ，即缺 失 了物体 精 确 的 边界 信 息。 文 中对 基于 ＤＣＮＮｓ的弱监督 语 义分 割方 法进行 了全 面 的 阐述 ，描述 了如何克 服这 些 限 制并 讨论 了提 高其 性 能的可 能研 究方 向。 关键词 ：语 义分 割 ；深度 卷积 神经 网络 ；弱监督语 义分 割 ；图像标 注 中 图分 类 号 ：ＴＮ９１９．８；ＴＰ３９１ 文 献标 志码 ：Ａ 文 章编 号 ：１６７３－５４３９（２０１８）０５－０００１－１２
Ｃｏｌｌｅｇｅ ｏｆ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ＆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ．Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｎｅｔｗｏｒｋ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌ Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｉｎａ Ｕｎｉｖｅｒ ｓｉｔｙ ｏｆ Ｇｅｏｓｃｉｅｎｃｅｓ（Ｗｕｈａｎ），Ｗｕｈａｎ ４３００７４，Ｃｈｉｎａ
第 ３８卷 第 ５期 ２０１８年 １Ｏ 月
南 京 邮 电 大 学 学 报 （自然 科 学 版 ）
Ｊｏｕｒｎａｌ ｏｆ Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
ｄｏｉ：１０．１４１３２／ｊ．ｃｎｋｉ．１６７３—５４３９．２０１８．０５．００１
ｓｃａｌｅ ｄａｔａ ｓｅｔｓ ｆｏｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ．Ｔｈｅ ｍａｉｎ ｃｈａｌｌｅｎｇｅ ｉｎ ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｓｅ— ｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｓ ｔｈｅ ｉｎｃｏｍｐｌｅｔｅ ａｎｎｏｔａｔｉｏｎｓ，ｍｉｓｓｉｎｇ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｂｏｕｎｄａｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｑｕｉｒｅｄ
ｐｉｘｅｌ－ｌｅｖｅｌ ｏｂｊｅｃｔ ｃｌａｓｓ ｌａｂｅｌｓ ｏｎ ｉｍａｇｅｓ．Ｔｈｉｓ ｐｒｏｂｌｅｍ ｈａｓ ｂｅｅｎ ｒｅｃｅｎｔｌｙ ｈａｎｄｌｅｄ ｂｙ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ＤＣＮＮｓ）．Ｈｏｗｅｖｅｒ，ｌｅａｒｎｉｎｇ ＤＣＮＮｓ ｄｅｍａｎｄ ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ａｎｎｏｔａｔｅｄ ｔｒａｉｎｉｎｇ ｄａｔａ
ｔｏ ｌｅａｒｎ ｓｅｇｍｅｎｔａｔｉｏｎ．Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｏｖｅｒｖｉｅｗ ｏｆ ｗｅａｋｌｙ ｓｕｐｅｒ ｖｉｓｅｄ ａｐｐｒｏａｃｈｅｓ ｆ ｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａ一 收稿 日期 ：２０１８－０８－０３ 本刊网址 ：ｈｔｔｐ：∥ｎｙｚｒ．ｎｊｕｐｔ．ｅｄｕ．ｃｎ 基金项 目：国家 自然科学基金（６１８７６０９３，６１８８１２４１３０４８，６１６７１￣３，６１７ｏ１２５２，６１７６２０２１）和江苏省 自然科学基金（ＢＫ２０１８１３９３，ＢＫ２０１６０９０Ｂ）资助项 目 通 讯 作 者 ：郑 宝 玉 ，男 ，教 授 ，博 士 生 导 师 ，Ｅ—ｍａｉｌ：ｚｈｙ＠ ｎｊｕｐｔ．ｅｄｕ．ａｎ 引 用 本 文 ：郑 宝 玉 ，王雨 ，吴 锦雯 ，等．基 于深度 卷 积神经 网络 的弱 监督 图像 语义 分割 ［Ｊ］．南京 邮 电大学 学报 （自然科 学 版 ），２０１８，３８（５）：１—１２．
Ｖ０１．３８ Ｎｏ．５ Ｏｃｔ．２０１８
基 于深 度卷 积神 经 网络 的弱 监 督 图像 语 义 分 割
郑 宝玉 一，王 雨 ，吴 锦 雯 ，周 全
，，１．南京邮电大学 通信 与信息工程学 院，江苏 南京 ２１０００３ 、
Ｉ ２．南京邮电大学通信与网络７－程研究中心，江苏 南京 ２１０００３ ｌ ３．中国地质大学（武汉）信息工程学院 ，湖北 武汉 ４３００７４ ／
Ｗ ｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｉｍ ａｇｅ ｓｅｍ ａｎｔｉｃ ｓｅｇｍ ｅｎｔａｔｉｏｎ
ＺＨＥＮＧ Ｂａｏｙｕ ，ＷＡＮＧ Ｙｕ ，ＷＵ Ｊｉｎｗｅｎ。，ＺＨＯＵ Ｑｕａ．
ｗｈｉｌｅ ｓｅｇｍ ｅｎｔａｔｉｏｎ ａｎｎｏｔａｔｉｏｎｓ ｉｎ ｅｘｉｓｔｉｎｇ ｄａｔａ ｓｅｔｓ ａｒｅ ｌｉｍｉｔｅｄ ｉｎ ｔｅｒｍ ｓ ｏｆ ｂｏｔｈ ｑｕａｎｔｉｔｙ ａ百度文库ｄ ｄｉｖｅｒｓｉｔｙ ｄｕｅ ｔｏ ｔｈｅ ｈｅａｖｙ ａｎｎｏｔａｔｉｏｎ ｃｏｓｔ． Ｗ ｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ａｐｐｒｏａｃｈｅｓ ｔａｃｋｌｅ ｔｈｉｓ ｉｓｓｕｅ ｂｙ ｌｅｖｅｒａｇｉｎｇ ｗｅａｋ ａｎｎｏｔａ－ ｔｉｏｎｓ，ｓｕｃｈ ａｓ ｉｍ ａｇｅ·ｌｅｖｅｌ ｌａｂｅｌｓ ａｎｄ ｂｏｕｎｄｉｎｇ ｂｏｘｅｓ，ｗｈｉｃｈ ａｒｅ ｅｉｔｈｅｒ ｒｅａｄｉｌｙ ａｖａｉｌａｂｌｅ ｉｎ ｅｘｉｓｔｉｎｇ ｌａｒｇｅ－
摘 要 ：图像 语义 分 割是计 算机 视 觉领域 重 要识别 任 务 ，其 目标 是估 计 图像 中的像 素 级 目标 类标 签 。 最近 ，深度 卷 积神 经 网络 （Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＤＣＮＮｓ）已经 成为解 决 图像 语 义分 割 的主流 方法 。然 而 ，学 习 ＤＣＮＮｓ需 要大量 的 已标注 训 练数据 （Ｇｒｏｕｎｄ Ｔｒｕｔｈ，ＧＴ），而现 有数 据集 中 的 ＧＴ在 数量 和 多样 性 方面 因标 注成本 巨大 而受到 诸 多限 制。 弱监 督 方 法则考 虑 利用 图像 级 标 签 和物体 框 之 类的 弱标 注信 息解决 图像 语义 分 割 中的标 注 问题 。 相 比于 全 监督 的像 素级 图像标 注 ， 图像 分 类 的 ＧＴ（图像 级标 签 ）和 目标 检 测 的 ＧＴ（物体 框 ）更容 易获 得 ，因而可 以直 接借 用 为 弱标 注 信 息训练 分 类模 型。 弱监督 语义 分 割的 主要挑 战在 于 标注 信 息 的 不 完整 性 ，即缺 失 了物体 精 确 的 边界 信 息。 文 中对 基于 ＤＣＮＮｓ的弱监督 语 义分 割方 法进行 了全 面 的 阐述 ，描述 了如何克 服这 些 限 制并 讨论 了提 高其 性 能的可 能研 究方 向。 关键词 ：语 义分 割 ；深度 卷积 神经 网络 ；弱监督语 义分 割 ；图像标 注 中 图分 类 号 ：ＴＮ９１９．８；ＴＰ３９１ 文 献标 志码 ：Ａ 文 章编 号 ：１６７３－５４３９（２０１８）０５－０００１－１２
Ｃｏｌｌｅｇｅ ｏｆ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ＆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ．Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｎｅｔｗｏｒｋ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌ Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｉｎａ Ｕｎｉｖｅｒ ｓｉｔｙ ｏｆ Ｇｅｏｓｃｉｅｎｃｅｓ（Ｗｕｈａｎ），Ｗｕｈａｎ ４３００７４，Ｃｈｉｎａ
第 ３８卷 第 ５期 ２０１８年 １Ｏ 月
南 京 邮 电 大 学 学 报 （自然 科 学 版 ）
Ｊｏｕｒｎａｌ ｏｆ Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
ｄｏｉ：１０．１４１３２／ｊ．ｃｎｋｉ．１６７３—５４３９．２０１８．０５．００１
ｓｃａｌｅ ｄａｔａ ｓｅｔｓ ｆｏｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ．Ｔｈｅ ｍａｉｎ ｃｈａｌｌｅｎｇｅ ｉｎ ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｓｅ— ｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｓ ｔｈｅ ｉｎｃｏｍｐｌｅｔｅ ａｎｎｏｔａｔｉｏｎｓ，ｍｉｓｓｉｎｇ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｂｏｕｎｄａｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｑｕｉｒｅｄ