基于图像的三维重建PPT课件

点云拼接
点云拼接
① 三维坐标变换
点云拼接
a11 a12 a13 a14
A
a
2
1
a22
a23
a
24
a a
31 41
a32 a42
a33 a43
a a
34 44
a11 a12 a13
R
a21
a22
a23
a31 a32 a33
T[a41 a42 a43]
表示三维图像的坐标变换
根据三维物体的断层扫面，得到二维图像 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。
基于图像重建流程
图像匹配1
摄像机标定
图像校正
点云对齐， 拼接
空间点的获取
匹配2，计算视差
曲面重构
纹理贴图
图像校正
黄色：任意位置 绿色：平行位置
则由式（1a)可以得到如下等式
T
p2 F p1 0 将式（1a)和式（1b)代入得
p2TU2TFU1p1 0
由式（2）可得
FU 2TFU 1U 2T[e]XU 1
图像校正
FU 2TFU 1U 2T[e]XU 1
只要知道了基础矩阵F，就可以从上式中分解出变
换矩阵 U 1 和 U 2 ，从而实现图像的校正。
与P1中点一一对应
通过这俩个子集求解R和T
点云拼接
三维坐标系 o1 x1 y1 z1 和 o2 x2 y2 z2 之间的位置对应关系 可以用下式表示，即：
x1T x2T
a11 a12 a13x2T a41
y2 Ry2 Ta21 a22 a23y2 a42
② Steven M.Seitz——颜色不变量、顺序可见性规
③
则重建场景模型
④ ③ Roberto cipolla——三维重建系统 PhotoBuilder
2-2 国内研究现状
① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。
② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。
主 讲 人： 原 飞
机器视觉/空间测量组
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 深圳泰山在线科技公司 研发的首款三维体感互 动游戏——
i-dong地鼠
机的成像
p1(u1 v1 1)T
p2 (u2 v1 1)T
经过校正后图像上的俩个对应点
P(XbY Z1)T 空间点P在摄像机C1和C2坐
P(X Y Z 1)T 标系下的坐标，b为基线
图像点和三维空间点的映射关系可以得到：
x u1b d
y v1b d
z bf d
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
U
s
0
1
0
0 0 1
错切变换
③ 图像校正过程
透视变换
相似变换
极点被移到了 无穷远点
极线束变成了 一组平行直线
极线和图像坐 标系的横轴平
行
图像校正
错切变换
使得水平方向 的图像畸变最
小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
基于窗口的灰度匹配原则
12 3 45 67 8
1997年，Paul Debevec利用图像重建技术，成功 地出品了电影短片《the Campanile》。
1-3 文化遗产的保存
对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。
河南省新乡 市辉县村舍
重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型
cos =
v1T v 2
|| v1 |||| v 2 ||
d x2 x1
匹配 计算视差
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为 255*|d-b|/|a-b|
匹配 计算视差
3-4 空间点的获取
图像经过校正后可以看成是两台光轴互相平行的摄像
产生比例、旋转、 错切等几何变换
产生平移变换
② 拼接原理
点云拼接
点云拼接
o2 x2 y2 z2
o1 x1 y1 z1
实现
P1与 P2的拼接
P1中提取一个子 m i|m i P i,i 1 ,2 ,....,N
集在数据点集P2 中有一子集 m i'|m i' P i,i 1 ,2 ,....,N
④ ImageModeler
三维重建的四种主要方式：
1 基于图像 2 使用探针或激光读数器逐点获取数据 3 三维物体的断层扫面 4 光学三维扫描仪
基于图像的重建方式，应用范围广泛，精 度比较低。
使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。
图像校正
设 U 1为
U1
U
uu12TT
a1 b1
a2 b2
a3
b3
u3T c1 c2 1
将U分解为如下形式：
UUsUrUp
1 0 0
U
p
0
1
0
ห้องสมุดไป่ตู้
c a c b 1
透视变换
b2 b3c2 b3c1 b1 0
Ur b1 b3c1
b2 b3c2
b3
0
0 1
相似变换
s1 s2 s3
① 图像校正的目的
相机任意位置 图像未校正
极线不平行 极线交于极点
需计算极线方程 影响运行效率
图像校正
相机平行 校正图像
极线平行 极点无穷远
不需进行极线 提高效率
② 图像校正的原理
图像校正
图像校正的过程，就是对里两幅图像分别 进行二维的变换。
将这种变换记为U1和U2，则图像点的变 换可以看成
p1 U1 p1 (1a)
p2 U2 p2 (1b)
其中，p 1 为p1变换后的坐标，p 2 为p2变换后
的坐标。
图像校正
为了使极线变成一组平行直线，需要将极点放 到无穷远处。设该无穷远极点为 e(0 0 0)T
则经过校正后的图像对的基础矩阵 F 可以表示 为
0 0 0
F
[e]X
0
0
1
(2)
0 1 0
图像校正
③ ③ 中科院自动化研究所，开发的CVSuite，能利用立 体视觉进行三维重建。
④上海交大 马利庄 提出了一种基于构建Visual Hull，求 取物体形状及表面反射属性的方法。
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 PhotoModeler Scanner