基于深度卷积神经网络的图像重建算法

近年来 ，基 于深度 学习的方法 得到 了广 泛 的关 注， 在如 目标分类 、人脸 识别 、文本识别ｆ】，２】等众 多计 算机 视 觉 问题 中取得 了优于传 统方 法 的显 著效果 ．本 文对 深度 学习在 图像恢 复重建 问题 中 的应 用进 行探索 ，设 计 了用 于 图像重建 的卷积 神经 网络结 构，利用重 建损 失和对 抗损 失优化模 型参 数，增 强重建 图像 的纹 理细 节信息，减少 重建 图像与真 实图像在结构 误差．用海量 图像构 造训 练样本 对 设计 的深度 卷积神 经 网络 进行 训练 以实现 图像 的重 建，在三 组包含 大量 弱纹理 区域 的测试图像序列中取得 了优于基于插值方法 的效果．
１ 卷积神经 网络模型总体设计
本文提 出的神 经 网络模 型主要 分为 三个模 块：对 图像进行卷积操 作提取特征 、对提取 的特 征进行反卷 积 重建 图像，利用 重建 的 图像 与原 图像 的重建损 失和 对抗损 失优化模 型参数．
神经 网络模 型的设计总框架如 图 １所示．
＝＝：＝＝＝＝ 特征 提取 ＝＝＝＝＝＝＝
为 了计 算 重 建 图像 的损 失 ，损 失 函 数 考 虑 了重 建 损 失 和 对 抗损 失 ．重 建 损 失 则采 用 基 于 原 图像 和 重 建 图像 矩 阵之 间 的 ２．范 数 作 为 标 准 ．在 实 验 中发 现 ，如 果 只考 虑重 建 损失 ，会 导致 训 练 得到 的 神经 网 络 重 建 出 的 图像 丢 失 过 多 图像 结 构 等 轮 廓 细 节 信 息．所 以本 文 损 失 函数 引入对 抗 损 失，利 用 对 抗神 经
ｈｔｔｐ：／／ｗ ｗｗ ．Ｃ－Ｓ—ａ，ｏｒｇ．ｅｌｌ
Ｔｅｌ：＋８６．１０－６２６６ｌＯ４ｌ
基于深度卷积神经网络 的图像 重建算法①
于 波 ，方业全 ，刘 闽。，董君 陶
（中国科学 院大学，北京 １０００４９） （中国科学 院 沈 阳计算技术研究所，沈阳 １ １０１６８） （沈 阳市 环 境 检 测 中心 站 ，沈 阳 １ １００００） （沈 阳 市第 二十 七 中学 ，沈 阳 １ １００１ １） 通 讯 作者 ：方 业 全 ，Ｅ—ｍａｉｌ：ｆａｎｇｙｅｑｕａｎ＠ １６３．ｃｏｍ 摘 要 ：视频或者 图像在传输过程 中，可 能出现随机 性的误码 、突发性 的误码 、传输 中的丢包等等，对解码 出的图 像数据也会有严重的影响．本文提出了基 于深度 学习的图像重建算法：一种基于 图像背景预测生成模糊区域 内容的 无监督 图像重 建神 经网络模型．为 了重建 出逼 真的图像，神经 网络模型 需要 既理 解整个 图像的 内容，又为缺 失的部 分重构 出一个 合理的假设．损失 函数包含标准像素 级重建损失和对抗损失，在训 练卷积 神经网络模型时，能够 更好 地处理 图像 中的结构细节产生更清晰 的结果 ．通过实验可 以发现本文设计 的深度卷积神经 网络模型与基 于样 本插 值 的算法相 比在 图像重建 中有着较好的效果． 关键词 ：图像重 建；深度学习；神经网络；损失函数 ；对抗神 经网络
Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｉｑｕｅ·Ａｌｇｏｒｉｔｈｍ 软 件 技术 ·算 法 １７１
计 算 机 系 统 心 Ｈ］
ｈｔｔｐ：／／ｗｗｗ．Ｃ—Ｓ—ａ．ｏｒｇ．ｃｎ
２ ０ｌ ８年 第 ２７卷 第 ９期
网 络 【 洲 度 币 建 Ｌ｛Ｊ的 像 真 值 像 之 问 的 结 构 信 息 损 失 ．模 总 的损 失 设 计 为重 建损 失 和 埘 抗损 失 的 ＪＪＩ］议 和 ．
Ｉ ７０软件 技术 ·算 法 Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｉｑｕｅ·Ａｌｇｏｒｉｔｈｍ
２０１８年 第２７卷 第 ９期
ｈｔｔｐ ｜｜ Ｎｉ １．Ｃ－Ｓ－ａ．ｏｒｇ．ｃｎ
计 算 机 系 统 应 用
由于 网络拥堵 导致 视频编码后某 一帧 的宏块 包丢失造 成解 码端产 生 误码，解码 输 出的视频 帧 出现 类似 马赛 克 的色块 ，还会影 响到与之相关 的后续数据 的解 码，造 成 误码扩 散，使误码 环境 下解码 生成 的画面 连续 出现 色斑 ，造 成视频 质量 严重下 降．于是，建立合 适 的模 型 利用退 化系统 的先验 知识来 降低 或者消除观察 图像 中 的 失真，得到 一个 高质量 的 图像 以便 于观察 或者进 一 步处 理 图像 复 原过程 显得尤 为重要 ．目前 图像 重建 技 术主要分 为两类：一是基于插值 的重建方法，利 用多张 图像 的丰 富信 息，图像 问的相 同或相异 信息 以及 图像 的先 验知 识进行 重建 ，例 如邻域 像素重 复技术 和双 三 次 图像插 值技术等，修复效果不佳 ．二是基于 学习的 图 像重 建方法 ，目前用 于单 幅 图像 重建 的最先进 的方 法 大 多是基 于样本 学 习的．这些方法 主要 利用相 同图像 的 内部相 似性，或 外部样本学 习映射 函数．基 于样 本的 外部 方法通 常提 供有 大量丰 富样本 ，但 是受 到有 效紧 凑建模数据 困难 的挑 战．
计 算机 系统 应用 ＩＳＳＮ １００３－３２５４，ＣＯＤＥＮ ＣＳＡＯＢＮ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ＆ Ａｐｐｔｉｃａｔｉｏｎｓ，２０１８，２７（９）：１７０—１７５［ｄｏｉ：１０．１５８８８￣．ｃｎｋｉ．ｃｓａ．００６５４８１ ◎中国科 学 院软件 研究 所版 权所 有．
Ｅ—ｍａｉｌ：ｃｓａ＠ｉｓｃａｓ．ａｃ．ｃｎ
为使 整个神经 网络 的输 出和输入 保持 同一 空间分 辨 率 ，本 文卷 积神经 网络模 型 中采用反 卷积进 行 图像 重建．反 卷积其实 是对卷积 的逆 向操作，也就是通 过将 卷积 的输 出信 号，经 过反 卷积 可 以还原 卷积 的输入 信
号．如 图 １所 示反 卷积层 由一 系列具 有学 习滤波 器 的 六 层 向上卷积层 【３ ］，每一层都有 一个反卷积 核和线性 单 元激 活函数 交替组 成．反卷 积就是 一个 能输 出高分 辨 率 图像 的卷 积 函数 ，可 以理 解为对 输入 进行卷 积计 算 后再做 上采 样 的处 理．如 图 １所示 由前 六层卷 积提 取 的特征特征 向量 经过一 系列的 向上卷积 层卷积 、池 化 、激 活处理 得到 高分辨 率 图像 ，直 到得 到与输 入 图 像尺 寸相 近的图像为止． １．３ 重建 图像损 失
引用格 式：于波，方业全，刘闽，董君陶．基于深度卷积神经 网络 的图像重建算法．计算机系统应用，２０１８，２７（９）：１７０－１７５．ｈｔｔｐ：／／ｗｗｗｌｃ＿Ｓ—ａ．ｏｒｇ．ｃｒｄｌ００３－
３２５４／６５４８．ｈｔｍｌ
Ｉｍ ａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ＡｌｇｏｒｉｔｈｍLeabharlann BaiduＢａｓｅｄ ｏｎ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ
视频 或者 图像 在传输 过程 中，可 能 出现 随机 性的 均 匀 、定 时抖动 、传输包 倒序等 等 问题，导致接 收端 误码 、突 发性 的误码、传输 中的丢包 、时延过大或不 解码 出的图像质量 严重下 降．例 如视频在 网络传 输 中
① 收稿 时 ｆＢｑ：２０１８．０２ ０１；修 改 时间 ：２０１８．０２—２８；采 用时 间：２０１８—０３－０９；ｃｓａ在 线 出版 时 间：２０１８－０８—１６
ＹＵ Ｂｏ ，ＦＡＮＧ Ｙｅ—Ｑｕａｎ ，ＬＩＵ Ｍｉｎ ，ＤＯＮＧ Ｊｕｎ．Ｔａｏ （Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １ ０００４９，Ｃｈｉｎａ） （Ｓｈｅｎｙａｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ １ １ ０ １ ６８，Ｃｈｉｎａ） （Ｓｈｅｎｙａｎｇ Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｍｏｎｉｔｏｒｉｎｇ Ｃｅｎｔｅｒ Ｓｔａｔｉｏｎ，Ｓｈｅｎｙａｎｇ １ １００００，Ｃｈｉｎａ） （Ｓｈｅｎｙａｎｇ Ｔｗｅｎｔｙ－Ｓｅｖｅｎｔｈ Ｍ ｉｄｄｌｅ Ｓｃｈｏｏｌ，Ｓｈｅｎｙａｎｇ １ １００１ １，Ｃｈｉｎａ）
２ 神经网络模型各个模块 的原理
＝＝＝＝＝＝ ＝ 图像重 建 ＝＝＝＝＝＝＝
目 网 图 园 陶 圜 圈 图 罔 国
１．１ 卷积提取 图像特征 本文卷积模块基 于标准的卷积神经 网络进行设计 ，
由卷 积层和 激活 函数层 交 替重复排 列．卷积层 中本 文 将 卷积核尺 寸、步幅和 内边距填充依次设为 ４，２，１．激 活 函数层 则采用线性 单元激活 函数 ．如 图 １所示 ，输入 图片 的尺 寸为 １２８￣１２８，数据 经过 ６４个 ４￣４￣３的卷积 核和激活 函数进行处理得 到 ６４个 ６４ｘ６４的特征 图，然 后进入 下一层 特征提 取，其 中卷积核 为 ６４个 ４ｘ４ｘ６４， 得到 ６４个 ３２￣３２的特征 图，同样依次处理，最后得到包 含 ４０００个元素 的特征 向量 ． １．２ 反卷积重建 图像
Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｖｉｄｅｏ ｏｒ ｉｍ ａｇｅ ｔｒａｎｓｍ ｉｓｓｉｏｎ，ｔｈｅｒｅ ｍ ａｙ ｂｅ ｒａｎｄｏｍ ｅｒｒｏｒ，ｓｕｄｄｅｎ ｅｒｒｏｒ，ｐａｃｋｅｔ ｌｏｓｓ，ａｎｄ ｓｏ ｏｎ， ｗｈｉｃｈ ｗ ｉｌｌ ａｌｓｏ ｈａｖｅ ａ ｓｅｒｉｏｕｓ ｉｍ ｐａｃｔ ｏｎ ｔｈｅ ｄｅｃｏｄｅｄ ｉｍ ａｇｅ ｄａｔａ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａｎ ｉｍ ａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｌｅａｒｎｉｎｇ：ａｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ｉｍ ａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅｌ ｂａｓｅｄ ｏｎ ｉｍ ａｇｅ ｂａｃｋｇｒｏｕｎｄ ｐｒｅｄｉｃｔｉｏｎ ｔｏ ｇｅｎｅｒａｔｅ ｆｕｚｚｙ ｒｅｇｉｏｎ ｃｏｎｔｅｎｔ．Ｉｎ ｏｒｄｅｒ ｔｏ ｒｅｃｏｎｓｔｒｕ ｃｔ ａ ｖｉｖｉｄ ｉｍａｇｅ，ａ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅｌ ｎｏｔ ｏｎｌｙ ｎｅｅｄｓ ｔｏ ｕｎｄｅｒｓｔａｎｄ ｔｈｅ ｃｏｎｔｅｎｔ ｏｆ ｔｈｅ ｉｍ ａｇｅ，ｂｕｔ ａｌｓｏ ｔｏ ｒｅｃｏｎｓｔｒｕｃｔ ｔｈｅ ｍ ｉｓｓｉｎｇ ｐａｒｔ ｏｆ ａ ｒｅａｓｏｎａｂｌｅ ａｓｓｕｍ ｐｔｉｏｎ．Ｔｈｅ ｌｏｓｓ ｆｕｎｃｔｉｏｎ ｉｎｃｌｕｄｅｓ ｓｔａｎｄａｒｄ ｐｉｘｅｌ ｌｅｖｅｌ ｒｅｃｏｎｓｔｒｕ ｃｔｉｏｎ ｌｏｓｓ ａｎｄ ｃｏｕｎｔｅｒｗｏｒｋ ｌｏｓｓ．Ｗ ｈｅｎ ｔｒａｉｎｉｎｇ ｔｈｅ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍ ｏｄｅｌ，ｔｈｅ ｌｏｓｓ ｆｕｎｃｔｉｏｎ ｃａｎ ｂｅｔｔｅｒ ｄｅａｌ ｗｉｔｈ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｄｅｔａｉｌｓ ｉｎ ｔｈｅ ｉｍａｇｅ ａｎｄ ｐｒｏｄｕｃｅ ｃｌｅａｒｅｒ ｒｅｓｕｌｔｓ． Ｔｈｒｏｕｇｈ ｅｘｐｅｒｉｍ ｅｎｔｓ，ｗ ｅ ｃａｎ ｆｉｎｄ ｔｈａｔ ｔｈｅ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅｌ ｏｆ ｄｅｐｔｈ ｃｏｎｖｏｌｕｔｉｏｎ ｄｅｓｉｇｎｅｄ ｉｎ ｔｈｉｓ ｓｔｕｄｙ ｈａｓ ｂｅｔｔｅｒ ｅｆｆｅｃｔ ｉｎ ｉｍ ａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｔｈａｎ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｓａｍ ｐｌｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｄｅｐｔｈ ｌｅａｒｎｉｎｇ；ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｌｏｓｓ ｆｕｎｃｔｉｏｎ；ａｄｖｅｒｓａｒｉａｌ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ