基于双目视觉的三维重建概要
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图 纹理像素映射过程
2.5.3模型优化 可见外壳一般以网格形式表示。网格中三角
面片数目的多少，对模型的显示速度及模型所需
的存储空间都有非常大的影响。 目前人们熟知的网格优化技术包括网格平滑
和网格简化。在进行纹理映射之前，采用适当的
平滑和简化算法对网格结构进行优化，有利于提 高映射精度。
图 可见外壳
Yc
Zc
Yu
xc 0 yc 0 z c 0 1
o
M x c ,y c ,zc
Xc
写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0 0 0 1
m x u ,y u
(2)三个坐标系：
Xw
Zw
a、世界坐标系：
b、摄像机坐标系：
c、图像坐标系:
X w , Yw , Z w X c , Yc , Z c u, v x, y
世界坐标系
Xc
Ow
Yw
Zc
u v
O1
y x
图像坐标系
O
摄像机坐标系
Yc
对图像坐标系，如图，原点O1 定义为摄像机光轴与图像平面的交点。 若 O1在u，v坐标系中的坐标为 (u0 , v0 ) ，每一个像素在x轴与y轴方向 上的物理尺寸为dx,dy，则图像中任意一个像素在坐标系下的坐标有如 下关系：
K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄 像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩阵。 所以，求投影矩阵P的过程则成为摄像机的标定。
2.1.2摄像机标定方法
由Leabharlann Baidu.1.1中的推导，有图像像素坐标系
和世界坐标系的关系:
M
xw u y zc v P w zw 1 1 从公式上看，若求矩阵P，则应同时知
对于散乱点云，寻找一种快速有效的曲面重建方法是当前的一个研究 热点。 （1）根据重建曲面和数据点云之间的关系可以将曲面重建分为插值法 和逼近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的
重建曲面是原始数据点的一个逼近。
（2）根据重建曲面表示形式的不同可以将曲面重建分为五大类：参 数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线 性曲面重建。
（3）根据曲面拓扑形式的不同可以将曲面重建方法分为两大类： 基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲 面建模主要面向有序数据点云，而基于三角域的曲面建模则是面向 散乱数据点云。这样，经过曲面重建算法，可以得到三维模型的可 见外壳
2.5纹理映射
2.5.1纹理映射定义 在计算机图形学中，为了使模型具有视觉上的真实感，常常预先定义
Xu
b、中心透视投影模型
xu f
xc zc y yu f c zc
o
Yc
Yu
M x c ,y c ,zc
p x u ,y u
f
O1
Zc
Xu
写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0 0 0 1 xc 0 yc 0 z c 0 1
，于是存
( X c , Yc , Z c )T 在如下关系：
(5)几何意义
由以上推导的公式
0 u0 x u 1/ dx v 0 y 1/ dy v 0 0 1 1 0 1
xu f 0 zc y u 0 1 0 f 0 0 0 1 xc 0 yc 0 z c 0 1
图 基于立体视觉的三维重建
基于立体视觉的三维重建流程
摄像机标定 原始图像 特 征 点 检 测 特征点 摄像机 基础矩阵 对 极 线 约 束 特征点对 空 间 点 定 位
表面几何重建 点云模型 纹 理 映 射 可见外壳
特征匹配
三维模型
2.1摄像机标定
2.1.1定义与几何意义 (1)定义：从摄像机获取的图像信息出发，计算三维空间中物体的几何 信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与 其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的， 这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通 过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。
道空间中若干M点的坐标以及图像上对应点M1、M2
M1 M2
的坐标。
通常，可以采用在摄像机取景范围内放置定标物体的方法进行摄像机定 标，其中定标物体的三维形状是已知的，即定标物体上标识点(也称为参考 点)相对于物体本身坐标系的三维坐标是已知的。 目前广为采用的定标物体是一块画有棋盘格 的平板（如图），只需要用摄像机从不同视角拍摄 这个平板，对每幅图像提取标识点(定标板上已经标
2.4表面几何建模
2.4.1 点云模型的建立
概念： 点云：三维景物外观表面的点数据集合称之为点云。
面片：即三维景物表面某一部分的估计。 由之前的方法重建出的空间三维点，每个三维点都会对应一组面片。 根据PMVS点云生成算法，剔除错误的三维点对应的面片，从而得到点 云模型。
2.4.2 表面重建与实现
（2）匹配约束条件 a、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应 匹配点至多只有一个，反之亦然。 b、相似性：对应的特征应该具有相同的属性。在某种度量下，同一物理 特性在两幅图像中应该表现出相似的性质。
c、连续性：与观察点的距离相比，物体表面因凸凹不平引起的深度变化
是缓慢的，因而，视差的变化也是缓慢的，或者说视差具有连续性。
2.5.4模型展开
空间六面体可以按照一定的对应关系展开二维平面中。基于这个思想， 选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行 投影，再通过平面展开，就获得了三维模型与二维平面间的对应关系。
图 模型平面参数化和柱面参数化
图 六面体的一种展开方式
2.5.5最终纹理合成
由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系， 我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。 经过一些处理（面片可见性判断、加权平均），就获得了所有三维模 型在纹理图上对应的纹理信息，也就台成了模型的最终纹理图像。在进行 绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的显示出 三维重建的最终结果。
y w z w x w
l
I
m e
l '
I e '
m
o
o
图
R , T 三维空间点定位
通常情况下，像点坐标都存在测量误差，使得对极几何约束得不到 满足，无法使用反投影交点的方法得到三维空间坐标。因此，需要计
算出三维空间坐标的最佳估计值，这个过程称为三维空间点定位。
可用最小二乘法求取坐标，或者用最大似然估计法最小化投影误差。
xw 0 0 0 R t yw f 0 0 T o3 1 zw 0 1 0 1
R t 其中P K T , x 1/ dx, y 1/ dy o3 1 上式推导出了图像像素坐标系与世界坐标系间的关系。
一个纹理图像，再通过某种映射算法建立物体表面点和纹理图像像素点之
间的对应关系，合理填充纹理图像像素，最后将纹理图像覆盖到三维表面 上，这一过程就是纹理映射。
2.5.2纹理映射基本思想
纹理映射以多幅图像为基础，需要解决的问题是如何将存在于不同图
像中的纹理信息组织起来。 这就需要将图像中的有用信息提取出来， 用一张纹理图像进行表示。这部分工作通 常包含两个步骤：第一步是建立几何模型 与纹理图像间的对应关系；第二步是根据 对应关系合成纹理图像。
为空间点的定位重建，这里采取提取特征点。
图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算 子等)，通过在图像上寻找该算子的极值来提取图像的特征点；也可以通 过从图像中提取边缘，然后，在边缘上搜索曲率最大的点作为特征点等 等。
图
特征点的提取结果
2.2.2特征匹配
图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。 是为了寻找同一空间场景在不同视点下投影图像像素间的对应关系。 对特征提取出的特征点来说，匹配即是在不同视角的图像中找出特
记好位置)，从而获得定标板标识点与图像标识点间
的对应关系，这样，对每幅图像就可以确定一个投 影矩阵P，从而完成摄像机标定。
2.2特征提取与特征匹配
2.2.1特征提取 特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的 因素，用于特征匹配。在目前的特征提取算法中，经常采用的是区域特 征、边缘特征和角点特征。
者图像对来恢复出物体模型。根据重建算法的复杂性，建模过程也越来
越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需 的设备只需要一个普通的相机，适用于任何场景的重构。
2、基于图像的三维重建
基于图像的三维重建常见算法： 基于平面的三维重建； 基于深度图的三维重建； 基于轮廓线的三维重建； 基于立体视觉的三维重建；
Xc
(4)世界坐标与摄像机坐标的关系 对于世界坐标系中的点进行变换，其过程包括两个部分：一个是变换 部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间的关系可以 用旋转矩阵R与平移矩阵t来描述。因此，空间中某一点P在世界坐标系与 摄像机坐标系下的齐次坐标如果分别是
(与 X , Y , Z )T
机以人类的视觉认知功能， 使计算机具有通过二维图像 认知三维世界的能力。
三维信息获取的技术手段通常分三种： 第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构 造三维模型； 第二种：人们通过仪器设备直接获取三维信息； 第三种：利用图像或者视频来重建三维模型；
最后一种基于图像的三维建模方法，通过对物体实拍的图像序列或
人机交互课程
基于双目视觉图像的三维重建
主要内容
1.引言
2.基于图像的三维重建
2.1 摄像机标定 2.2特征抽取与特征匹配 2.3三维空间点定位 2.4表面几何建模 2.5纹理映射
3.三维重建效果与应用
1、引言
我们看到的世界是三维的。人机交互中
计算机视觉方面的研究目的就是为了赋予计算
写为齐次坐标形式
0 u0 x u 1/ dx v 0 y 1/ dy v 0 0 1 1 0 1
图 图像坐标系
（3）两种摄像机模型
a、小孔成像模型
x xu f c zc
yu f yc zc
征点的对应点，也称对应基元匹配。
（1）对极几何约束
设两相机的中心分别为C和C’，两图 像平面分别为I和I’，X1、X2为共同视域中 的场景空间点，它们在两幅图像平面上的投 ’ x2和x’ 影点分别为 x1和x1 ， 2 。 已知点C，C’， X1，X2构成一个平面，称为 对极平面 ；该平面与成像平面I和I’分别交 于直线L和L’，称为极线。 对极几何约束可以描述为：假设x和x’分别为同一场景空间点X在两幅图像 平面I，I’上的像点，则x’必定位于x对应的极线L’上，反之亦然。
最终得到
0 u0 f u 1/ dx 0 1/ dy v 0 zc v 0 0 1 1 0 0
x 0 0 y 0 0 u0 v0 1 0 R 0 o T 3 0
xw t yw PM 1 zw 1
（3）常见算法： a、区域匹配； b、相位匹配； c、特征点匹配；
图 特征匹配结果
2.3三维空间点定位
如图，m是提取的图像特征点，通过特征匹配得到其在另一平面的
匹配点为m’。由摄像机标定得知投影矩阵P和P’，故可以得到这对匹配
点（m，m’）的反投影的两条射线。当匹配点满足对极几何约束时， 反投影射线会在空间中相交，交点M的坐标即为三维空间坐标。 M
2.5.3模型优化 可见外壳一般以网格形式表示。网格中三角
面片数目的多少，对模型的显示速度及模型所需
的存储空间都有非常大的影响。 目前人们熟知的网格优化技术包括网格平滑
和网格简化。在进行纹理映射之前，采用适当的
平滑和简化算法对网格结构进行优化，有利于提 高映射精度。
图 可见外壳
Yc
Zc
Yu
xc 0 yc 0 z c 0 1
o
M x c ,y c ,zc
Xc
写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0 0 0 1
m x u ,y u
(2)三个坐标系：
Xw
Zw
a、世界坐标系：
b、摄像机坐标系：
c、图像坐标系:
X w , Yw , Z w X c , Yc , Z c u, v x, y
世界坐标系
Xc
Ow
Yw
Zc
u v
O1
y x
图像坐标系
O
摄像机坐标系
Yc
对图像坐标系，如图，原点O1 定义为摄像机光轴与图像平面的交点。 若 O1在u，v坐标系中的坐标为 (u0 , v0 ) ，每一个像素在x轴与y轴方向 上的物理尺寸为dx,dy，则图像中任意一个像素在坐标系下的坐标有如 下关系：
K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄 像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩阵。 所以，求投影矩阵P的过程则成为摄像机的标定。
2.1.2摄像机标定方法
由Leabharlann Baidu.1.1中的推导，有图像像素坐标系
和世界坐标系的关系:
M
xw u y zc v P w zw 1 1 从公式上看，若求矩阵P，则应同时知
对于散乱点云，寻找一种快速有效的曲面重建方法是当前的一个研究 热点。 （1）根据重建曲面和数据点云之间的关系可以将曲面重建分为插值法 和逼近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的
重建曲面是原始数据点的一个逼近。
（2）根据重建曲面表示形式的不同可以将曲面重建分为五大类：参 数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线 性曲面重建。
（3）根据曲面拓扑形式的不同可以将曲面重建方法分为两大类： 基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲 面建模主要面向有序数据点云，而基于三角域的曲面建模则是面向 散乱数据点云。这样，经过曲面重建算法，可以得到三维模型的可 见外壳
2.5纹理映射
2.5.1纹理映射定义 在计算机图形学中，为了使模型具有视觉上的真实感，常常预先定义
Xu
b、中心透视投影模型
xu f
xc zc y yu f c zc
o
Yc
Yu
M x c ,y c ,zc
p x u ,y u
f
O1
Zc
Xu
写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0 0 0 1 xc 0 yc 0 z c 0 1
，于是存
( X c , Yc , Z c )T 在如下关系：
(5)几何意义
由以上推导的公式
0 u0 x u 1/ dx v 0 y 1/ dy v 0 0 1 1 0 1
xu f 0 zc y u 0 1 0 f 0 0 0 1 xc 0 yc 0 z c 0 1
图 基于立体视觉的三维重建
基于立体视觉的三维重建流程
摄像机标定 原始图像 特 征 点 检 测 特征点 摄像机 基础矩阵 对 极 线 约 束 特征点对 空 间 点 定 位
表面几何重建 点云模型 纹 理 映 射 可见外壳
特征匹配
三维模型
2.1摄像机标定
2.1.1定义与几何意义 (1)定义：从摄像机获取的图像信息出发，计算三维空间中物体的几何 信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与 其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的， 这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通 过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。
道空间中若干M点的坐标以及图像上对应点M1、M2
M1 M2
的坐标。
通常，可以采用在摄像机取景范围内放置定标物体的方法进行摄像机定 标，其中定标物体的三维形状是已知的，即定标物体上标识点(也称为参考 点)相对于物体本身坐标系的三维坐标是已知的。 目前广为采用的定标物体是一块画有棋盘格 的平板（如图），只需要用摄像机从不同视角拍摄 这个平板，对每幅图像提取标识点(定标板上已经标
2.4表面几何建模
2.4.1 点云模型的建立
概念： 点云：三维景物外观表面的点数据集合称之为点云。
面片：即三维景物表面某一部分的估计。 由之前的方法重建出的空间三维点，每个三维点都会对应一组面片。 根据PMVS点云生成算法，剔除错误的三维点对应的面片，从而得到点 云模型。
2.4.2 表面重建与实现
（2）匹配约束条件 a、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应 匹配点至多只有一个，反之亦然。 b、相似性：对应的特征应该具有相同的属性。在某种度量下，同一物理 特性在两幅图像中应该表现出相似的性质。
c、连续性：与观察点的距离相比，物体表面因凸凹不平引起的深度变化
是缓慢的，因而，视差的变化也是缓慢的，或者说视差具有连续性。
2.5.4模型展开
空间六面体可以按照一定的对应关系展开二维平面中。基于这个思想， 选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行 投影，再通过平面展开，就获得了三维模型与二维平面间的对应关系。
图 模型平面参数化和柱面参数化
图 六面体的一种展开方式
2.5.5最终纹理合成
由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系， 我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。 经过一些处理（面片可见性判断、加权平均），就获得了所有三维模 型在纹理图上对应的纹理信息，也就台成了模型的最终纹理图像。在进行 绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的显示出 三维重建的最终结果。
y w z w x w
l
I
m e
l '
I e '
m
o
o
图
R , T 三维空间点定位
通常情况下，像点坐标都存在测量误差，使得对极几何约束得不到 满足，无法使用反投影交点的方法得到三维空间坐标。因此，需要计
算出三维空间坐标的最佳估计值，这个过程称为三维空间点定位。
可用最小二乘法求取坐标，或者用最大似然估计法最小化投影误差。
xw 0 0 0 R t yw f 0 0 T o3 1 zw 0 1 0 1
R t 其中P K T , x 1/ dx, y 1/ dy o3 1 上式推导出了图像像素坐标系与世界坐标系间的关系。
一个纹理图像，再通过某种映射算法建立物体表面点和纹理图像像素点之
间的对应关系，合理填充纹理图像像素，最后将纹理图像覆盖到三维表面 上，这一过程就是纹理映射。
2.5.2纹理映射基本思想
纹理映射以多幅图像为基础，需要解决的问题是如何将存在于不同图
像中的纹理信息组织起来。 这就需要将图像中的有用信息提取出来， 用一张纹理图像进行表示。这部分工作通 常包含两个步骤：第一步是建立几何模型 与纹理图像间的对应关系；第二步是根据 对应关系合成纹理图像。
为空间点的定位重建，这里采取提取特征点。
图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算 子等)，通过在图像上寻找该算子的极值来提取图像的特征点；也可以通 过从图像中提取边缘，然后，在边缘上搜索曲率最大的点作为特征点等 等。
图
特征点的提取结果
2.2.2特征匹配
图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。 是为了寻找同一空间场景在不同视点下投影图像像素间的对应关系。 对特征提取出的特征点来说，匹配即是在不同视角的图像中找出特
记好位置)，从而获得定标板标识点与图像标识点间
的对应关系，这样，对每幅图像就可以确定一个投 影矩阵P，从而完成摄像机标定。
2.2特征提取与特征匹配
2.2.1特征提取 特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的 因素，用于特征匹配。在目前的特征提取算法中，经常采用的是区域特 征、边缘特征和角点特征。
者图像对来恢复出物体模型。根据重建算法的复杂性，建模过程也越来
越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需 的设备只需要一个普通的相机，适用于任何场景的重构。
2、基于图像的三维重建
基于图像的三维重建常见算法： 基于平面的三维重建； 基于深度图的三维重建； 基于轮廓线的三维重建； 基于立体视觉的三维重建；
Xc
(4)世界坐标与摄像机坐标的关系 对于世界坐标系中的点进行变换，其过程包括两个部分：一个是变换 部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间的关系可以 用旋转矩阵R与平移矩阵t来描述。因此，空间中某一点P在世界坐标系与 摄像机坐标系下的齐次坐标如果分别是
(与 X , Y , Z )T
机以人类的视觉认知功能， 使计算机具有通过二维图像 认知三维世界的能力。
三维信息获取的技术手段通常分三种： 第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构 造三维模型； 第二种：人们通过仪器设备直接获取三维信息； 第三种：利用图像或者视频来重建三维模型；
最后一种基于图像的三维建模方法，通过对物体实拍的图像序列或
人机交互课程
基于双目视觉图像的三维重建
主要内容
1.引言
2.基于图像的三维重建
2.1 摄像机标定 2.2特征抽取与特征匹配 2.3三维空间点定位 2.4表面几何建模 2.5纹理映射
3.三维重建效果与应用
1、引言
我们看到的世界是三维的。人机交互中
计算机视觉方面的研究目的就是为了赋予计算
写为齐次坐标形式
0 u0 x u 1/ dx v 0 y 1/ dy v 0 0 1 1 0 1
图 图像坐标系
（3）两种摄像机模型
a、小孔成像模型
x xu f c zc
yu f yc zc
征点的对应点，也称对应基元匹配。
（1）对极几何约束
设两相机的中心分别为C和C’，两图 像平面分别为I和I’，X1、X2为共同视域中 的场景空间点，它们在两幅图像平面上的投 ’ x2和x’ 影点分别为 x1和x1 ， 2 。 已知点C，C’， X1，X2构成一个平面，称为 对极平面 ；该平面与成像平面I和I’分别交 于直线L和L’，称为极线。 对极几何约束可以描述为：假设x和x’分别为同一场景空间点X在两幅图像 平面I，I’上的像点，则x’必定位于x对应的极线L’上，反之亦然。
最终得到
0 u0 f u 1/ dx 0 1/ dy v 0 zc v 0 0 1 1 0 0
x 0 0 y 0 0 u0 v0 1 0 R 0 o T 3 0
xw t yw PM 1 zw 1
（3）常见算法： a、区域匹配； b、相位匹配； c、特征点匹配；
图 特征匹配结果
2.3三维空间点定位
如图，m是提取的图像特征点，通过特征匹配得到其在另一平面的
匹配点为m’。由摄像机标定得知投影矩阵P和P’，故可以得到这对匹配
点（m，m’）的反投影的两条射线。当匹配点满足对极几何约束时， 反投影射线会在空间中相交，交点M的坐标即为三维空间坐标。 M