基于图像的三维重建
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
12 3 45 67 8
cos = v1T v2 || v1 |||| v2 ||
d x2 x1
匹配 计算视差
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为 255*|d-b|/|a-b|
匹配 计算视差
② Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型
③ Roberto cipolla——三维重建系统PhotoBuilder
2-2 国内研究现状
① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。
② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。
③ 中科院自动化研究所，开发的CVSuite，能利用立体 视觉进行三维重建。
④上海交大 马利庄 提出了一种基于构建Visual Hull，求 取物体形状及表面反射属性的方法。
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 PhotoModeler Scanner
① 图像校正的目的
相机任意位置 图像未校正
极线不平行 极线交于极点
需计算极线方程 影响运行效率
图像校正
相机平行 校正图像
极线平行 极点无穷远
不需进行极线 提高效率
② 图像校正的原理
图像校正
图像校正的过程，就是对里两幅图像分别 进行二维的变换。
将这种变换记为U1和U2，则图像点的变 换可以看成
p1 U1 p1 (1a)
图像校正
设 U1 为
U1
U
u1T u2T
a1
b1
a2 b2
a3
b3
u3T c1 c2 1
将U分解为如下形式：
U U sU rU p
1 0 0
U
p
0
1
0
ca cb 1
透视变换
b2 b3c2 b3c1 b1 0
Ur
b1
b3c1
b2 b3c2
b3
0
0 1
相似变换
T
p2 F p1 0
将式（1a)和式（1b)代入得
p2TU2T FU1 p1 0
由式（2）可得
F U2T FU1 U2T [e]X U1
图像校正
图像校正
F U2T FU1 U2T [e]X U1
只要知道了基础矩阵F，就可以从上式中分解出变 换矩阵 U1 和 U 2 ，从而实现图像的校正。
1997年，Paul Debevec利用图像重建技术，成功 地出品了电影短片《the Campanile》。
1-3 文化遗产的保存
对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。
河南省新乡 市辉县村舍
重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型
集在数据点集P2 中有一子集mi' | mi' Pi ,i 1, 2,...., N
与P1中点一一对应
通过这俩个子集求解R和T
点云拼接
三维坐标系 o1x1y1z1 和 o2 x2 y2 z2 之间的位置对应关系 可以用下式表示，即：
x1
T
x2
T
a11
a12
a13
x2
T
a41
s1 s2 s3
Us
0
1
0
0 0 1
错切变换
③ 图像校正过程
透视变换
相似变换
极点被移到了 无穷远点
极线束变成了 一组平行直线
极线和图像坐 标系的横轴平
行
图像校正
错切变换
使得水平方向 的图像畸变最
小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
基于窗口的灰度匹配原则
根据三维物体的断层扫面，得到二维图像 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。
基于图像重建流程
图像匹配1
摄像机标定
图像校正
点云对齐， 拼接
空间点的获取
匹配2，计算视差
曲面重构
纹理贴图
图像校正
黄色：任意位置 绿色：平行位置
3-4 空间点的获取
图像经过校正后可以看成是两台光轴互相平行的摄像
机的成像
p1 (u1 v1 1)T p2 (u2 v1 1)T
经过校正后图像上的俩个对应点
P (X b Y Z 1)T 空间点P在摄像机C1和C2坐
P ( X Y Z 1)T 标系下的坐标，b为基线
图像点和三维空间点的映射关系可以得到：
主 讲 人： 原 飞
机器视觉/空间测量组
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 深圳泰山在线科技公司 研发的首款三维体感互 动游பைடு நூலகம்——
i-dong地鼠
x u1b d
y v1b d
z bf d
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
点云拼接
a11 a12 a13 a14
A
a21
a22
a23
a24
a31 a41
a32 a42
a33 a43
a34 a44
a11 a12 a13
④ ImageModeler
三维重建的四种主要方式：
1 基于图像 2 使用探针或激光读数器逐点获取数据 3 三维物体的断层扫面 4 光学三维扫描仪
基于图像的重建方式，应用范围广泛，精 度比较低。
使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。
R
a21
a22
a23
a31 a32 a33
T [a41 a42 a43]
表示三维图像的坐标变换
产生比例、旋转、 错切等几何变换
产生平移变换
② 拼接原理
点云拼接
点云拼接
o2 x2 y2 z2
o1x1 y1z1
实现
P1与 P2的拼接
P1中提取一个子 mi | mi Pi,i 1,2,...., N
p2 U2 p2 (1b)
其中，p1为p1变换后的坐标，p2 为p2变换后
的坐标。
图像校正
为了使极线变成一组平行直线，需要将极点放 到无穷远处。设该无穷远极点为 e (0 0 0)T
则经过校正后的图像对的基础矩阵 F 可以表示
为
0 0 0
F
[e]X
0
0
1
(2)
0 1 0
则由式（1a)可以得到如下等式
cos = v1T v2 || v1 |||| v2 ||
d x2 x1
匹配 计算视差
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为 255*|d-b|/|a-b|
匹配 计算视差
② Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型
③ Roberto cipolla——三维重建系统PhotoBuilder
2-2 国内研究现状
① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。
② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。
③ 中科院自动化研究所，开发的CVSuite，能利用立体 视觉进行三维重建。
④上海交大 马利庄 提出了一种基于构建Visual Hull，求 取物体形状及表面反射属性的方法。
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 PhotoModeler Scanner
① 图像校正的目的
相机任意位置 图像未校正
极线不平行 极线交于极点
需计算极线方程 影响运行效率
图像校正
相机平行 校正图像
极线平行 极点无穷远
不需进行极线 提高效率
② 图像校正的原理
图像校正
图像校正的过程，就是对里两幅图像分别 进行二维的变换。
将这种变换记为U1和U2，则图像点的变 换可以看成
p1 U1 p1 (1a)
图像校正
设 U1 为
U1
U
u1T u2T
a1
b1
a2 b2
a3
b3
u3T c1 c2 1
将U分解为如下形式：
U U sU rU p
1 0 0
U
p
0
1
0
ca cb 1
透视变换
b2 b3c2 b3c1 b1 0
Ur
b1
b3c1
b2 b3c2
b3
0
0 1
相似变换
T
p2 F p1 0
将式（1a)和式（1b)代入得
p2TU2T FU1 p1 0
由式（2）可得
F U2T FU1 U2T [e]X U1
图像校正
图像校正
F U2T FU1 U2T [e]X U1
只要知道了基础矩阵F，就可以从上式中分解出变 换矩阵 U1 和 U 2 ，从而实现图像的校正。
1997年，Paul Debevec利用图像重建技术，成功 地出品了电影短片《the Campanile》。
1-3 文化遗产的保存
对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。
河南省新乡 市辉县村舍
重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型
集在数据点集P2 中有一子集mi' | mi' Pi ,i 1, 2,...., N
与P1中点一一对应
通过这俩个子集求解R和T
点云拼接
三维坐标系 o1x1y1z1 和 o2 x2 y2 z2 之间的位置对应关系 可以用下式表示，即：
x1
T
x2
T
a11
a12
a13
x2
T
a41
s1 s2 s3
Us
0
1
0
0 0 1
错切变换
③ 图像校正过程
透视变换
相似变换
极点被移到了 无穷远点
极线束变成了 一组平行直线
极线和图像坐 标系的横轴平
行
图像校正
错切变换
使得水平方向 的图像畸变最
小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
基于窗口的灰度匹配原则
根据三维物体的断层扫面，得到二维图像 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。
基于图像重建流程
图像匹配1
摄像机标定
图像校正
点云对齐， 拼接
空间点的获取
匹配2，计算视差
曲面重构
纹理贴图
图像校正
黄色：任意位置 绿色：平行位置
3-4 空间点的获取
图像经过校正后可以看成是两台光轴互相平行的摄像
机的成像
p1 (u1 v1 1)T p2 (u2 v1 1)T
经过校正后图像上的俩个对应点
P (X b Y Z 1)T 空间点P在摄像机C1和C2坐
P ( X Y Z 1)T 标系下的坐标，b为基线
图像点和三维空间点的映射关系可以得到：
主 讲 人： 原 飞
机器视觉/空间测量组
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 深圳泰山在线科技公司 研发的首款三维体感互 动游பைடு நூலகம்——
i-dong地鼠
x u1b d
y v1b d
z bf d
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
点云拼接
a11 a12 a13 a14
A
a21
a22
a23
a24
a31 a41
a32 a42
a33 a43
a34 a44
a11 a12 a13
④ ImageModeler
三维重建的四种主要方式：
1 基于图像 2 使用探针或激光读数器逐点获取数据 3 三维物体的断层扫面 4 光学三维扫描仪
基于图像的重建方式，应用范围广泛，精 度比较低。
使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。
R
a21
a22
a23
a31 a32 a33
T [a41 a42 a43]
表示三维图像的坐标变换
产生比例、旋转、 错切等几何变换
产生平移变换
② 拼接原理
点云拼接
点云拼接
o2 x2 y2 z2
o1x1 y1z1
实现
P1与 P2的拼接
P1中提取一个子 mi | mi Pi,i 1,2,...., N
p2 U2 p2 (1b)
其中，p1为p1变换后的坐标，p2 为p2变换后
的坐标。
图像校正
为了使极线变成一组平行直线，需要将极点放 到无穷远处。设该无穷远极点为 e (0 0 0)T
则经过校正后的图像对的基础矩阵 F 可以表示
为
0 0 0
F
[e]X
0
0
1
(2)
0 1 0
则由式（1a)可以得到如下等式