基于二维图像的三维重建技术研究

基于二维图像的三维重建技术研究

胡高芮，何毅斌*，陈宇晨，刘湘，戴乔森

（武汉工程大学机电工程学院，湖北武汉 430205）

摘要：针对在拍摄过程中，三维图像转化为二维图像时容易丢失深度信息，使得通过该二维图像重建出所对应的三维图像比较困难的问题。依据双目视觉技术，采用两个摄相机来完成研究对象的三维重建，既减小了整个系统的成本，又简化了三维重建的操作过程。通过研究所搭建的双目平台相机拍摄图像以及进行相机标定，再根据改进的边缘提取算法结合Harris算法对图像的特征点进行检测，并利用SAD算法对图像的特征点进行立体匹配，最后利用三角测量原理提取到目标图像的深度信息，最终实现对矩形量块的图像的三维图像的重建。实验结果证明，该方法取得了满意的实验效果。

关键词：双目视觉；二维图像；三维重建；特征点提取；立体匹配

中图分类号：TP751 文献标志码：A doi：10.3969/j.issn.1006-0316.2019.08.005 文章编号：1006－0316 (2019) 08－0027－05

Research on 3D Reconstruction Technology Based on 2D Image

HU Gaorui，HE Yibin，CHEN Yuchen，LIU Xiang，Dai Qiaosen

( School of Mechanical and Electrical Engineering, Wuhan Institute of Technology,

Wuhan 430205, China )

Abstract：When taking a 2D image of a 3D scene, it is difficult to reconstruct the corresponding 3D image from the 2D image because of the loss of depth information. According to the binocular vision technology, two cameras are used to complete the 3D reconstruction of the research object, which not only reduces the cost of the whole system, but also simplifies the operation process of the 3D reconstruction. In this paper, the camera of the binocular vision platform is used to obtain the left and right camera images. After the camera calibration, the improved edge detection algorithm combined with the Harris algorithm is used to detect the feature points of the image. SAD algorithm is used for stereo matching of the feature points of the image. The depth information of the target image is extracted by using the triangulation principle. Finally, the 3D image reconstruction of the image of the rectangular measuring block is realized. This method has achieved satisfactory experimental results. Key words：binocular vision；two-dimensional image；three-dimensional reconstruction；feature point extraction；stereo matching

三维可视化技术日趋成熟，在数字城市、军事应用、环境监测、城市规划、医学、测绘

———————————————

收稿日期：2019－03－05

基金项目：湖北省科技厅重大专项（面向汽车和核工业机械结构健康非线性检测关键技术研究，2016AAA056）：化工重点设备金属结构应力应变无线检测系统研究（2018KA01）；武汉工程大学第十届研究生教育创新基金项目（CX2018189）

作者简介：胡高芮（1995－），女，湖北武汉人，硕士研究生，主要研究方向为图像处理；陈宇晨（1995－），男，湖北武汉人，硕士研

究生，主要研究方向为图像处理；刘湘（1995－），男，湖北武汉人，硕士研究生，主要研究方向为图像处理；戴乔森（1995－），男，

湖北武汉人，硕士研究生，主要研究方向为图像处理。*通讯作者：何毅斌（1966－），男，湖北武汉人，博士（后），教授，主要研究方

学、图像学等领域应用广泛。三维可视化的关键技术即三维重建，在实际生活中应用也越来越广泛，如产品设计、医学成像、建筑设计、导航机器人和航空等领域。三维重建技术有提高产品的质量，缩短产品开发周期，提高生产效率等优点。

三维可视化技术的发展大多都依靠于计算机图形学的发展，三维重建技术更是离不开计算机视觉。三维重建技术方兴未艾，根据所测物体的成像原理差异可以归纳为以下三种重建方法：第一种：利用建模工具重铸三维模型，如：3D打印、UG、SolidWorks以及Maya[1]。主要应用于游戏画面的制作和电影特效的制作，但这种方法通常有制作时间长且成本昂贵的缺点。第二种：利用扫描仪重铸三维模型，此方法具有三维重建效果好的优点，但是由于设备的体积大小问题，不能进行室外扫描。第三种：基于计算机视觉的三维重建方法。通过摄像机获取物体不同视角的多幅二维图像进行重建。该方法具有成本低，并不会受限于环境，体积大小因素且重建效果好的优点。

1 摄像机标定

相机标定就是建立数学模型确定图像坐标系与所建立的三维空间坐标系之间的对应关系，即建立图像坐标与世界坐标之间的关系，获得相机的内、外参数。为了恢复二维图像在三维图像中的对应关系，需要对相机标定以此来确定三维空间中任意的一点在二维图像中对应点之间的关系[2]。由此可见，相机标定属于整个三维重建过程中的关键步骤，其标定结果的好坏直接影响物体三维重建的结果，同时也影响到立体匹配的效果。因此本文详细例举出了标定原理和过程。

本文采用张正友相机标定方法，利用搭建的双目平台的相机，即维视图像的2台型号为MV-EM120M摄像头进行采集，选用MV-CT430标定板进行标定。该方法原理是通过摄像机转动不同角度（小于20°）对标定板上的圆心进行采集，然后得到圆心的坐标，再利用坐标系之间的转换关系得到摄像机的内外参数，最后得到所测物体的二维坐标系下对应的三维空间坐标。

1.1 坐标系变换

依据针孔成像原理[3-5]，由世界坐标转换为图像坐标的齐次变换为：

[][]

=0=

1001

11

w w

x x

w w

y y

w w

x x

s c

y y

c R T A R T

s s μ

ρν

⎡⎤⎡⎤ƒ

⎡⎤⎡⎤⎢⎥⎢⎥

⎢⎥⎢⎥⎢⎥⎢⎥

ƒ

⎢⎥⎢⎥⎢⎥⎢⎥

⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

⎣⎦⎣⎦

（1）式中：f x、f y为μ轴和v轴的有效焦距；c x、c y 为图像中心坐标；s为倾斜因子；[]

R T为外

参矩阵；A为内参矩阵。

为了简化运算，把标定板所在的平面设为

世界坐标系0

w

S=的平面，则将R表示为[]

123

R r r r

=。

令[]

12

H A r r t

=，则：

111213

212223

3132

1

h h h

H h h h

h h

⎡⎤

⎢⎥

=⎢⎥

⎢⎥

⎣⎦

（2）可得：

111213

212223

3132

1

w w

w w

w w

h x h x h

h x h y h

h x h y

ρμ

ρν

ρ

=++

⎧

⎪=++

⎨

⎪=++

⎩

（3）对式（3）消去公因子ρ，可得：

111213

3132

212223

3132

1

1

w w

w w

w w

w w

h x h y h

h x h y

h x h y h

h x h y

μ

ν

++

⎧=

⎪++

⎪

⎨++

⎪=

⎪++

⎩

（4）将式（4）转换成矩阵的表达式为：