基于改进卷积神经网络的单幅图像物体重建方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘 要 为了提高基于图像的三维重建的重建效果，基于深度学习的方法已经成为近年来研究的重点。针对 目前存在的方法中特征提取效果差、重建细节缺失且计算量巨大的问题，提出一种改进卷积神经网络的单个物体 重建方法。通过加入改进的 Ｉｎｃｅｐｔｉｏｎｒｅｓｎｅｔ模块来提升网络的特征提取能力，采用多种网络结构提取多特征，通 过多特征依次输入 ３ＤＬＳＴＭ模块中以增强单幅图像的重建效果。实验结果表明，该方法不仅能够得到更好的重 建效果，重建出更多的细节，同时在训练中花费更少的时间。 关键词 卷积神经网络 三维重建 单幅图像 计算机视觉 中图分类号 ＴＰ３ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１９．０６．０３６
Ｋｅｙｗｏｒｄｓ Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｓｉｎｇｌｅｉｍａｇｅ Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ
０ 引 言
从二维图像中获得三维信息并恢复三维模型是计 算机视觉研究的主要方向之一。基于图像的三维重建 在诸如商品展示、文物三维修复、智慧城市建设、医疗 器官重建等领域也具有重要的应用价值［１－５］。基于图 像的三维重建问题按照重建图像的数量可以分为基于 多幅图像的三维重建方法［６－９］和基于单幅图像的重建 方法，按照重建的内容可以分为对物体的重建和对场 景的重建 ［１０］。本 文 主 要 针 对 基 于 单 幅 图 像 的 物 体 重
建方法展开研究。 传统方法按照重建方法的不同可以分为基于模型
的重建方法和基于几何外形恢复的重建方法。基于模 型重建的方法通过匹配输入图像和模型，找到模型的 最佳参数来进行重建。基于 ＣＡＤ模型的方法［１１－１２］， 能够大致地展现物体的近似外形，在找到一组对应点 后，可以很好地确定相应实例的视点，但是其获得的模 型和实 际 的 模 型 仍 然 有 很 大 偏 差。形 变 模 型 （Ｍｏｒ ｐｈａｂｌｅｍｏｄｅｌ）常用来重建人脸部分［１３－１４］，其主要为一 些可以变形的线性组合模型，通常由一些三维扫描的 设备获取。Ｃａｓｈｍａｎ等［１５］找到了降低三维 数 据 获 取
第 ３６卷第 ６期 ２０１９年 ６月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３６ Ｎｏ．６ Ｊｕｎ．２０１９
基于改进卷积神经网络的单幅图像物体重建方法
张玉麒 陈 加 叶立志 田 元 夏 丹 陈亚松
（华中师范大学教育信息技术学院 湖北 武汉 ４３００７９）
Ａｂｓｔｒａｃｔ Ｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｍｅｔｈｏｄｓｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｈａｖｅｂｅｅｎｔｈｅｍａｉｎ ｔｏｐｉｃｏｆｔｈｅｒｅｓｅａｒｃｈ．Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｓｏｆｐｏｏｒｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｅｆｆｅｃｔ，ｌａｃｋｏｆｒｅｃｏｎｓｔｒｕｃｔｉｏｎｄｅｔａｉｌｓａｎｄｈｕｇｅ ｃｏｍｐｕｔａｔｉｏｎａｌｌｏａｄ， ｗｅ ｐｒｏｐｏｓｅｄ ａ３Ｄ ｏｂｊｅｃｔｓｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｃａｐａｂｉｌｉｔｙｏｆｔｈｅｎｅｔｗｏｒｋｗａｓｉｍｐｒｏｖｅｄｂｙａｄｄｉｎｇｍｏｄｕｌｅｓｔｈａｔ ｃｏｍｂｉｎｅｒｅｓｉｄｕａｌｃｏｎｎｅｃｔｉｏｎｓａｎｄＩｎｃｅｐｔｉｏｎ．Ｗｅｕｓｅｄｍｕｌｔｉｆｅａｔｕｒｅｓｅｘｔｒａｃｔｅｄｂｙｍｕｌｔｉｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅ，ａｎｄｉｎｐｕｔｉｔ ｉｎｔｏ３ＤＬＳＴＭ ｍｏｄｕｌｅｉｎｔｕｒｎｔｏｅｎｈａｎｃｅｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｅｆｆｅｃｔｏｆａｓｉｎｇｌｅｉｍａｇｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｏｕｒｍｅｔｈｏｄｃａｎｎｏｔｏｎｌｙｐｅｒｆｏｒｍ ｂｅｔｔｅｒｉｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｂｕｔａｌｓｏｓｐｅｎｄｌｅｓｓｔｉｍｅｉｎｔｒａｉｎｉｎｇ．
ＳＩＮＧＬＥＩＭＡＧＥＯＢＪＥＣＴＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＭＥＴＨＯＤ ＢＡＳＥＤ ＯＮ ＩＭＰＲＯＶＥＤ ＣＯＮＶＯＬＵＴＩＯＮＡＬＮＥＵＲＡＬＮＥＴＷＯＲＫ
ＺｈａｎｇＹｕｑｉ ＣｈｅｎＪｉａ ＹｅＬｉｚｈｉ ＴｉａｎＹｕａｎ ＸｉａＤａｎ ＣｈｅｎＹａｓｏｎｇ
（ＣｏｌｌｅｇｅｏｆＥｄｕｃａｔｉｏｎａｌＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＣｅｎｔｒａｌＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００７９，Ｈｕｂｅｉ，Ｃｈｉｎａ）
收稿日期：２０１９－０２－２６。国家自然科学基金项目（６１６０５０５４）；湖北省自然科学基金项目（２０１４ＣＦＢ６５９）；华中师范大学中央高 校基本科研业务费项目（ＣＣＮＵ１９ＱＤ００７，ＣＣＮＵ１９ＴＤ００７）。张玉麒，硕士生，主研领域：深度学习，三维重建。陈加，讲师。叶立志， 工程师。田元，讲师。夏丹，讲师。陈亚松，硕士生。
第 ６期
张玉麒等：基于改进卷积神经网络的单幅图像物体重建方法
１９１Baidu Nhomakorabea
门槛的方式，通过三维模型和辅助的二维信息学习到 相应的形变模型来重建物体。Ｖｉｃｅｎｔｅ等 先 ［１６］ 在图像 数据集中匹配一张和输入图像相同类型相似视角的图 像，结合了可视外壳的方法，但是其无法应用于真实拍 摄的图像。Ｋａｒ等 在 ［１７］ Ｖｉｃｅｎｔｅ等的工作基础上，通过 物体的二维注释来学习相应的形变模型，不但可以重 建真实拍摄的图像，在重建效果上也有了一定的提升。 基于模型的方法因为存在设计好的模型，对固定类别 的物体能够取得相对较好的重建效果，但是无法具有 较好的泛化性。基于几何外形恢复的方法主要包括从 阴影中恢复外形（Ｓｈａｐｅｆｒｏｍ ｓｈａｄｉｎｇ）［１８－１９］和从纹理中 恢复外形（Ｓｈａｐｅｆｒｏｍ ｔｅｘｔｕｒｅ）［２０－２１］，基于几何外形恢复 的方法能重建较多种类的物体，但其往往对灰度和光照 等要求较高，对真实场景的物体图片的重建效果欠佳。
Ｋｅｙｗｏｒｄｓ Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｓｉｎｇｌｅｉｍａｇｅ Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ
０ 引 言
从二维图像中获得三维信息并恢复三维模型是计 算机视觉研究的主要方向之一。基于图像的三维重建 在诸如商品展示、文物三维修复、智慧城市建设、医疗 器官重建等领域也具有重要的应用价值［１－５］。基于图 像的三维重建问题按照重建图像的数量可以分为基于 多幅图像的三维重建方法［６－９］和基于单幅图像的重建 方法，按照重建的内容可以分为对物体的重建和对场 景的重建 ［１０］。本 文 主 要 针 对 基 于 单 幅 图 像 的 物 体 重
建方法展开研究。 传统方法按照重建方法的不同可以分为基于模型
的重建方法和基于几何外形恢复的重建方法。基于模 型重建的方法通过匹配输入图像和模型，找到模型的 最佳参数来进行重建。基于 ＣＡＤ模型的方法［１１－１２］， 能够大致地展现物体的近似外形，在找到一组对应点 后，可以很好地确定相应实例的视点，但是其获得的模 型和实 际 的 模 型 仍 然 有 很 大 偏 差。形 变 模 型 （Ｍｏｒ ｐｈａｂｌｅｍｏｄｅｌ）常用来重建人脸部分［１３－１４］，其主要为一 些可以变形的线性组合模型，通常由一些三维扫描的 设备获取。Ｃａｓｈｍａｎ等［１５］找到了降低三维 数 据 获 取
第 ３６卷第 ６期 ２０１９年 ６月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３６ Ｎｏ．６ Ｊｕｎ．２０１９
基于改进卷积神经网络的单幅图像物体重建方法
张玉麒 陈 加 叶立志 田 元 夏 丹 陈亚松
（华中师范大学教育信息技术学院 湖北 武汉 ４３００７９）
Ａｂｓｔｒａｃｔ Ｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｍｅｔｈｏｄｓｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｈａｖｅｂｅｅｎｔｈｅｍａｉｎ ｔｏｐｉｃｏｆｔｈｅｒｅｓｅａｒｃｈ．Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｓｏｆｐｏｏｒｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｅｆｆｅｃｔ，ｌａｃｋｏｆｒｅｃｏｎｓｔｒｕｃｔｉｏｎｄｅｔａｉｌｓａｎｄｈｕｇｅ ｃｏｍｐｕｔａｔｉｏｎａｌｌｏａｄ， ｗｅ ｐｒｏｐｏｓｅｄ ａ３Ｄ ｏｂｊｅｃｔｓｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｃａｐａｂｉｌｉｔｙｏｆｔｈｅｎｅｔｗｏｒｋｗａｓｉｍｐｒｏｖｅｄｂｙａｄｄｉｎｇｍｏｄｕｌｅｓｔｈａｔ ｃｏｍｂｉｎｅｒｅｓｉｄｕａｌｃｏｎｎｅｃｔｉｏｎｓａｎｄＩｎｃｅｐｔｉｏｎ．Ｗｅｕｓｅｄｍｕｌｔｉｆｅａｔｕｒｅｓｅｘｔｒａｃｔｅｄｂｙｍｕｌｔｉｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅ，ａｎｄｉｎｐｕｔｉｔ ｉｎｔｏ３ＤＬＳＴＭ ｍｏｄｕｌｅｉｎｔｕｒｎｔｏｅｎｈａｎｃｅｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｅｆｆｅｃｔｏｆａｓｉｎｇｌｅｉｍａｇｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｏｕｒｍｅｔｈｏｄｃａｎｎｏｔｏｎｌｙｐｅｒｆｏｒｍ ｂｅｔｔｅｒｉｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｂｕｔａｌｓｏｓｐｅｎｄｌｅｓｓｔｉｍｅｉｎｔｒａｉｎｉｎｇ．
ＳＩＮＧＬＥＩＭＡＧＥＯＢＪＥＣＴＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＭＥＴＨＯＤ ＢＡＳＥＤ ＯＮ ＩＭＰＲＯＶＥＤ ＣＯＮＶＯＬＵＴＩＯＮＡＬＮＥＵＲＡＬＮＥＴＷＯＲＫ
ＺｈａｎｇＹｕｑｉ ＣｈｅｎＪｉａ ＹｅＬｉｚｈｉ ＴｉａｎＹｕａｎ ＸｉａＤａｎ ＣｈｅｎＹａｓｏｎｇ
（ＣｏｌｌｅｇｅｏｆＥｄｕｃａｔｉｏｎａｌＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＣｅｎｔｒａｌＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００７９，Ｈｕｂｅｉ，Ｃｈｉｎａ）
收稿日期：２０１９－０２－２６。国家自然科学基金项目（６１６０５０５４）；湖北省自然科学基金项目（２０１４ＣＦＢ６５９）；华中师范大学中央高 校基本科研业务费项目（ＣＣＮＵ１９ＱＤ００７，ＣＣＮＵ１９ＴＤ００７）。张玉麒，硕士生，主研领域：深度学习，三维重建。陈加，讲师。叶立志， 工程师。田元，讲师。夏丹，讲师。陈亚松，硕士生。
第 ６期
张玉麒等：基于改进卷积神经网络的单幅图像物体重建方法
１９１Baidu Nhomakorabea
门槛的方式，通过三维模型和辅助的二维信息学习到 相应的形变模型来重建物体。Ｖｉｃｅｎｔｅ等 先 ［１６］ 在图像 数据集中匹配一张和输入图像相同类型相似视角的图 像，结合了可视外壳的方法，但是其无法应用于真实拍 摄的图像。Ｋａｒ等 在 ［１７］ Ｖｉｃｅｎｔｅ等的工作基础上，通过 物体的二维注释来学习相应的形变模型，不但可以重 建真实拍摄的图像，在重建效果上也有了一定的提升。 基于模型的方法因为存在设计好的模型，对固定类别 的物体能够取得相对较好的重建效果，但是无法具有 较好的泛化性。基于几何外形恢复的方法主要包括从 阴影中恢复外形（Ｓｈａｐｅｆｒｏｍ ｓｈａｄｉｎｇ）［１８－１９］和从纹理中 恢复外形（Ｓｈａｐｅｆｒｏｍ ｔｅｘｔｕｒｅ）［２０－２１］，基于几何外形恢复 的方法能重建较多种类的物体，但其往往对灰度和光照 等要求较高，对真实场景的物体图片的重建效果欠佳。