基于图像的三维重建课件

2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 PhotoModeler Scanner
④ ImageModeler
三维重建的四种主要方式：
1 2 3 4 基于图像 使用探针或激光读数器逐点获取数据 三维物体的断层扫面 光学三维扫描仪
基于图像的重建方式，应用范围广泛，精 度比较低。
图像校正
F U2T FU1 U2T [e]X U1
只要知道了基础矩阵F，就可以从上式中分解出变 换矩阵 U1 和 U 2 ，从而实现图像的校正。
图像校正
设 U1 为
u1T a1 a2 a3 T U1 U u2 b1 b2 b3 u3T c1 c2 1
② 图像校正的原理
图像校正的过程，就是对里两幅图像分别 进行二维的变换。 将这种变换记为U1和U2，则图像点的变 换可以看成
p1 U1 p1
(1a)
p2 U2 p2 (1b)
p 2 为p2变换后 其中，p1为p1变换后的坐标， 的坐标。
图像校正
为了使极线变成一组平行直线，需要将极点放 到无穷远处。设该无穷远极点为 e (0 0 0)T 则经过校正后的图像对的基础矩阵 F 可以表示 为
表示三维图像的坐标变换
a11 R a21 a 31
a12 a22 a32
a13 a23 a33
产生比例、旋转、 错切等几何变换 产生平移变换
T [a41 a42 a43 ]
1997年，Paul Debevec利用图像重建技术，成功 地出品了电影短片《the Campanile》。
1-3 文化遗产的保存
对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。
河南省新乡 市辉县村舍 重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型 ② Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型 ③ Roberto cipolla——三维重建系统PhotoBuilder
使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。
根据三维物体的断层扫面，得到二维图像 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。
基于图像重建流程
2-2 国内研究现状
① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。
② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。 ③ 中科院自动化研究所，开发的CVSuite，能利用立体 视觉进行三维重建。 ④上海交大 马利庄 提出了一种基于构建Visual Hull，求 取物体形状及表面反射属性的方法。
点云拼接
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
a11 a A 21 a31 a41 a12 a22 a32 a42 a13 a23 a33 a43 a14 a24 a34 a44
匹配 计算视差
基于窗口的灰度匹配原则 1 4 6 2 3 5 8
7
v1T v2 cos = || v1 |||| v2 ||
d x2 x1
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为 255*|d-b|/|a-b|
匹配 计算视差
3-4 空间点的获取
图像经过校正后可以看成是两台光轴互相平行的摄像 机的成像
p1 (u1 v1 1)T
p2 (u2 v1 1)
T
经过校正后图像上的俩个对应点
空间点P在摄像机C1和C2坐 标系下的坐标，b为基线
P ( X b Y Z 1)T
P ( X Y Z 1)T 图像点和三维空间点的映射关系可以得到： u1b v1b bf x y z d d d
图像匹配1 摄像机标定
图像校正
点云对齐， 拼接
空间点的获取
匹配2，计算视差
曲面重构
纹理贴图
图像校正
黄色：任意位置 绿色：平行位置
图像校正
① 图像校正的目的
相机任意位置 图像未校正 相机平行 校正图像
极线不平行 极线交于极点
极线平行 极点无穷远
需计算极线方程 影响运行效率
不需进行极线 提高效率
图像校正
0 0 0 F [ e ] X 0 0 1 0 1 0
(2)
来自百度文库 图像校正
则由式（1a)可以得到如下等式
p2 F p1 0
T
将式（1a)和式（1b)代入得
p2TU2T FU1 p1 0
由式（2）可得
F U FU1 U [e]X U1
T 2 T 2
s2 1 0
s3 0 1
透视变换
相似变换
错切变换
图像校正
③ 图像校正过程
透视变换
相似变换 错切变换
极点被移到了 无穷远点
极线束变成了 一组平行直线
极线和图像坐 标系的横轴平 行
使得水平方向 的图像畸变最 小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
主 讲 人： 原 飞
机器视觉/空间测量组
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 深圳泰山在线科技公司 研发的首款三维体感互 动游戏——
i-dong地鼠
将U分解为如下形式：
U U sU rU p
1 Up 0 c a 0 1 cb 0 0 1
b2 b3c2 b3c1 b1 0 U r b1 b3c1 b2 b3c2 b3 0 0 1
s1 Us 0 0