双目立体视觉系统
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在匹配点的一个特定窗口中计算相似度。 SSD， SAD， MSE， MAD，etc.
全局算法 (Global algorithms)：
能量方程： E(d ) Edata (d ) Esmooth (d ) 模拟退火(Simulated annealing), 动态规划 (Dynamic
动机:在哪寻找匹配点
P
?
Pl
Pr
极平面
极平面
极线
极点
极线约束
极线
pl
pr
匹配点必须在极线上
Ol
el
er
Or
极点
34
极线方程
左右两幅图像相对应的点之间的关系可以通过 Essential 矩阵来表明。
Essential 矩阵是摄像机标定情况下用的。
公式： ( pr )T Epl 0
Programming), 图像分割(graph-cut), etc.
42
图像匹配方法
图像匹配方法
图像匹配方法
图像匹配方法
图像匹配方法
特征匹配 VS 区域匹配
特征匹配 (Feature match)：
速度快，匹配效率高； 特征的提取可以到亚像素级别，精度较高； 匹配元素为物体的几何特征，对照明变化不敏感； 重建需要拟合。
双目立体视觉系统
2
背景
立体视觉通过设计和模仿人类视觉来获得物体 深度信息。
它在逆向工程、测试测量、文化产业、公共安 全、视觉导航、地图生成、航空勘测等领域都有很 好的应用价值。
二维信息与三维信息的结合，也为一些具体的 工程问题提供了方法，如目标识别的图像分割。
双目立体视觉系统
3
主要内容
1：双目视觉系统模型
双目系统标定
只与摄像机内部
结构有关，称这些参数为摄像机内部参数；M2 完全由摄像机相对
于世界坐标系的方位决定，称为摄像机外部参数，确定某一摄像机 的内外参数，称为摄像机定标。
双目系统标定
用两个摄像机同时观察周围环境，如果外参数分别用 R1 、 t 1与 R2 、t2 表示，则R1 、t1 表示C1 摄像机与世界坐标系之间的相对位置， R2 、t2 表示 C2 摄像机与世界坐标系的相对位置。对任意点P，如它 在世界坐标系、 C1 坐标系与C2 坐标系下的非齐次坐标分别为Xw 、 Xc1 、Xc2 ，则
u1 1v1
M
left
Y
Z
1
1
X
Zc
u2 2v2
M
right
Y
Z
1
1
光轴会聚模型3D坐标计算（1）
可以求解出X、Y、Z，在实际应用中，由于数据总是有噪声的，可 以用最小二乘法求X、Y、Z。
光轴会聚模型3D坐标计算（2）
光轴会聚模型3D坐标计算（3）
两个相机的光轴与基线形成的夹角 (α1, α2)； 基线是两台照相机物镜光学中心的连线（B）； 两台照相机的焦点(f1 ,f 2)；
光轴会聚模型3D坐标计算（3）
在△o1 o 2 P’中有：
在△PP’o1中： 最终得：
其中，
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
19
双目系统标定
1：单个摄像机标定 2：系统标定
摄像机标定
双目系统标定
径向畸变
切向畸变
双目立体视觉系统
54
That’s all ,thank you!
双目立体视觉系统
55
双目立体视觉三维 测量是基于视差原 理。
计算公式：
10
3D坐标计算
双目立体视觉系统
11
光轴平行模型3D坐标计算
则三维坐标为(X/W, Y/W, Z/W).
双目立体视觉系统
12
双目视觉系统模型
光轴会聚模型
O，O’分别为相机光心，
光轴会聚模型3D坐标计算（1）
O，O’分别为相机光心，
X
Zc
区域匹配 (Dense match):
重建不需要拟合； 速度慢，效率低； 对于无纹理，纹理不明显的图像匹配效果不理想； 对光强、对比度、照明条件敏感。
48
图像匹配方法
多个摄像机
三个摄像机
增加第三个摄像机可以消除（大部分）由双目图像 点造成的不确定性。
本质上，第三幅图像可以用来检查前两幅图像中假 定的匹配：和前两幅图像中匹配点对应的三维空间 点首先被重建，然后再投影到第三幅图。如果在第 三幅图像的再投影点周围没有相容的点，那么这个 匹配一定是错误的匹配。
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
值，秩为2。
35
图像校正 (Rectified Images)
目的：规范化极 线约束中的极线 分布，使得匹配 效率得到进一步 的提高。
校正后的图像不 需要求极线方程 ，因为相对应的 匹配点在图像相 对应的扫描线 (Scan-line)上。
界中，P点在Q点的左边，则在图像上，P点仍然在Q 点 的左边。但是，如果视点的方位变化很大，这个约束条 件可能不被满足。 5．互对应约束(Mutual Correspondence Constraint)
假设搜索从左图像点足开始，找到右图像上对应的 点斥。如果任务反过来，搜索从只点丌始，但是没能找 到e，则匹配不可靠，应该被排除。这个约束有助于排 除由于遮挡，高光或噪声原因而不存在对应的那些点。 6．视差范围约束(Disparity Limit Constraint) 7. 极线约束
极线几何 (Epipolar Geometry)
基线：左右两像 机光心的连线；
极平面：空间点 ，两像机光心决 定的平面；
极点：基线与两 摄像机图像平面 的交点；
极线：极平面与 图像平面的交线 。
极平面
P
Pl
Pr
极线
pl
pr
Ol
el
极点
er
Or
基线
33
极线几何 (Epipolar Geometry)
双目立体视觉系统 Binocular stereo vision system
学生：
双目立体视觉系统
1
背景
立体视觉是机器视觉的一个重要分支，立体视 觉的研究目的是使机器具有通过二维图像认知三维 环境信息的能力。
这种能力将不仅是机器能感知三维环境中物体 的几何信息（形状、位置、姿态、运动等），而且 还能对它们进行描述、存储、识别与理解，以满足 特定的需求。
物体表面上一点在两幅或多幅图像上的投影在某些 物体度量上(如灰度，灰度梯度变化等几何形状上)具有 相似性。比如空间某一个点在一条直线上，它在图像中 的投影也应该在一条直线上。 像。此约束限制了寻找对应点时的搜索范围。
立体匹配约束条件
4．顺序一致性约束(Ordering Constraint) 因为图像是对现实世界的投影，因此假如在现实世
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
4
双目视觉系统模型
物体的深度信息 可以通过双眼的 观察得到。
5
双目立体视觉三维测量原理 (Triangulation)
双目立体视觉三维 测量是基于视差原 理。
计算公式：
6
视差(Disparity)与深度(Depth)的关系
1：唯一性约束 也就是说一幅图像上的一个像素在另一幅图像上最
多只能对应第二幅图像中的一个像素。例外情况是存在 遮挡条件下，将不存在对应点。这条约束条件是立体匹 配必须满足的。
立体匹配约束条件
2．连续性约束(Continue Constraint) 物体表面一般都是光滑的，因此物体表面上各点在
图像上的投影是连续的，其视差也是连续的。但是，由 于遮挡问题，在物体边界处，比如边界两侧的两个点， 连续性约束并不成立。 3．相似性约束(Feature Compatibility Constrain)
36
图像校正 (Rectified Images)
在校正图像中所有极线都平行
37
图像校正 (Rectified Images)
把极点拉向无穷远处。
38
图像校正 (Rectified Images)
校正后
39
图像匹配方法
图像匹配方法
区域匹配
局部算法 (Local/window-based algorithms):
两个摄像机之间的几何关系可以用以下R 和 t 表示：
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
25
立体匹配主要难点
立体匹配主要难点
立体匹配主要难点
立体匹配主要难点
立体匹配约束条件
匹配的约束条件，就是根据所选匹配基元将现实物 理世界的某些固有属性表示成匹配所必须遵循的若干规 则，用以提高系统的去歧义匹配能力和计算效率。优良 的匹配算法口引应能充分利用尽可能多的辅助信息或者 约束条件来提高匹配的质量。
视差和深度成反比关系：
7
视差(Disparity)与深度(Depth)的关系
同一深度下的视差一样
8
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进 一步精细化 (Refinement)，亚像素是其中的一 种方法。
9
双目立体视觉三维测量原理 (Triangulation)
50
结构光 (Structure Light)
光学投影器将一定模 式的结构光投射于物 体表面，在表面上形 成由被测物体表面形 状所调制的光条三维 图。
结构光的目的就是增 加三维物体的纹理信 息。
51
各种结构模板光实例
52
条纹与散斑
PtΒιβλιοθήκη nPt=2P
t=1
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
全局算法 (Global algorithms)：
能量方程： E(d ) Edata (d ) Esmooth (d ) 模拟退火(Simulated annealing), 动态规划 (Dynamic
动机:在哪寻找匹配点
P
?
Pl
Pr
极平面
极平面
极线
极点
极线约束
极线
pl
pr
匹配点必须在极线上
Ol
el
er
Or
极点
34
极线方程
左右两幅图像相对应的点之间的关系可以通过 Essential 矩阵来表明。
Essential 矩阵是摄像机标定情况下用的。
公式： ( pr )T Epl 0
Programming), 图像分割(graph-cut), etc.
42
图像匹配方法
图像匹配方法
图像匹配方法
图像匹配方法
图像匹配方法
特征匹配 VS 区域匹配
特征匹配 (Feature match)：
速度快，匹配效率高； 特征的提取可以到亚像素级别，精度较高； 匹配元素为物体的几何特征，对照明变化不敏感； 重建需要拟合。
双目立体视觉系统
2
背景
立体视觉通过设计和模仿人类视觉来获得物体 深度信息。
它在逆向工程、测试测量、文化产业、公共安 全、视觉导航、地图生成、航空勘测等领域都有很 好的应用价值。
二维信息与三维信息的结合，也为一些具体的 工程问题提供了方法，如目标识别的图像分割。
双目立体视觉系统
3
主要内容
1：双目视觉系统模型
双目系统标定
只与摄像机内部
结构有关，称这些参数为摄像机内部参数；M2 完全由摄像机相对
于世界坐标系的方位决定，称为摄像机外部参数，确定某一摄像机 的内外参数，称为摄像机定标。
双目系统标定
用两个摄像机同时观察周围环境，如果外参数分别用 R1 、 t 1与 R2 、t2 表示，则R1 、t1 表示C1 摄像机与世界坐标系之间的相对位置， R2 、t2 表示 C2 摄像机与世界坐标系的相对位置。对任意点P，如它 在世界坐标系、 C1 坐标系与C2 坐标系下的非齐次坐标分别为Xw 、 Xc1 、Xc2 ，则
u1 1v1
M
left
Y
Z
1
1
X
Zc
u2 2v2
M
right
Y
Z
1
1
光轴会聚模型3D坐标计算（1）
可以求解出X、Y、Z，在实际应用中，由于数据总是有噪声的，可 以用最小二乘法求X、Y、Z。
光轴会聚模型3D坐标计算（2）
光轴会聚模型3D坐标计算（3）
两个相机的光轴与基线形成的夹角 (α1, α2)； 基线是两台照相机物镜光学中心的连线（B）； 两台照相机的焦点(f1 ,f 2)；
光轴会聚模型3D坐标计算（3）
在△o1 o 2 P’中有：
在△PP’o1中： 最终得：
其中，
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
19
双目系统标定
1：单个摄像机标定 2：系统标定
摄像机标定
双目系统标定
径向畸变
切向畸变
双目立体视觉系统
54
That’s all ,thank you!
双目立体视觉系统
55
双目立体视觉三维 测量是基于视差原 理。
计算公式：
10
3D坐标计算
双目立体视觉系统
11
光轴平行模型3D坐标计算
则三维坐标为(X/W, Y/W, Z/W).
双目立体视觉系统
12
双目视觉系统模型
光轴会聚模型
O，O’分别为相机光心，
光轴会聚模型3D坐标计算（1）
O，O’分别为相机光心，
X
Zc
区域匹配 (Dense match):
重建不需要拟合； 速度慢，效率低； 对于无纹理，纹理不明显的图像匹配效果不理想； 对光强、对比度、照明条件敏感。
48
图像匹配方法
多个摄像机
三个摄像机
增加第三个摄像机可以消除（大部分）由双目图像 点造成的不确定性。
本质上，第三幅图像可以用来检查前两幅图像中假 定的匹配：和前两幅图像中匹配点对应的三维空间 点首先被重建，然后再投影到第三幅图。如果在第 三幅图像的再投影点周围没有相容的点，那么这个 匹配一定是错误的匹配。
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
值，秩为2。
35
图像校正 (Rectified Images)
目的：规范化极 线约束中的极线 分布，使得匹配 效率得到进一步 的提高。
校正后的图像不 需要求极线方程 ，因为相对应的 匹配点在图像相 对应的扫描线 (Scan-line)上。
界中，P点在Q点的左边，则在图像上，P点仍然在Q 点 的左边。但是，如果视点的方位变化很大，这个约束条 件可能不被满足。 5．互对应约束(Mutual Correspondence Constraint)
假设搜索从左图像点足开始，找到右图像上对应的 点斥。如果任务反过来，搜索从只点丌始，但是没能找 到e，则匹配不可靠，应该被排除。这个约束有助于排 除由于遮挡，高光或噪声原因而不存在对应的那些点。 6．视差范围约束(Disparity Limit Constraint) 7. 极线约束
极线几何 (Epipolar Geometry)
基线：左右两像 机光心的连线；
极平面：空间点 ，两像机光心决 定的平面；
极点：基线与两 摄像机图像平面 的交点；
极线：极平面与 图像平面的交线 。
极平面
P
Pl
Pr
极线
pl
pr
Ol
el
极点
er
Or
基线
33
极线几何 (Epipolar Geometry)
双目立体视觉系统 Binocular stereo vision system
学生：
双目立体视觉系统
1
背景
立体视觉是机器视觉的一个重要分支，立体视 觉的研究目的是使机器具有通过二维图像认知三维 环境信息的能力。
这种能力将不仅是机器能感知三维环境中物体 的几何信息（形状、位置、姿态、运动等），而且 还能对它们进行描述、存储、识别与理解，以满足 特定的需求。
物体表面上一点在两幅或多幅图像上的投影在某些 物体度量上(如灰度，灰度梯度变化等几何形状上)具有 相似性。比如空间某一个点在一条直线上，它在图像中 的投影也应该在一条直线上。 像。此约束限制了寻找对应点时的搜索范围。
立体匹配约束条件
4．顺序一致性约束(Ordering Constraint) 因为图像是对现实世界的投影，因此假如在现实世
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
4
双目视觉系统模型
物体的深度信息 可以通过双眼的 观察得到。
5
双目立体视觉三维测量原理 (Triangulation)
双目立体视觉三维 测量是基于视差原 理。
计算公式：
6
视差(Disparity)与深度(Depth)的关系
1：唯一性约束 也就是说一幅图像上的一个像素在另一幅图像上最
多只能对应第二幅图像中的一个像素。例外情况是存在 遮挡条件下，将不存在对应点。这条约束条件是立体匹 配必须满足的。
立体匹配约束条件
2．连续性约束(Continue Constraint) 物体表面一般都是光滑的，因此物体表面上各点在
图像上的投影是连续的，其视差也是连续的。但是，由 于遮挡问题，在物体边界处，比如边界两侧的两个点， 连续性约束并不成立。 3．相似性约束(Feature Compatibility Constrain)
36
图像校正 (Rectified Images)
在校正图像中所有极线都平行
37
图像校正 (Rectified Images)
把极点拉向无穷远处。
38
图像校正 (Rectified Images)
校正后
39
图像匹配方法
图像匹配方法
区域匹配
局部算法 (Local/window-based algorithms):
两个摄像机之间的几何关系可以用以下R 和 t 表示：
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理
双目立体视觉系统
25
立体匹配主要难点
立体匹配主要难点
立体匹配主要难点
立体匹配主要难点
立体匹配约束条件
匹配的约束条件，就是根据所选匹配基元将现实物 理世界的某些固有属性表示成匹配所必须遵循的若干规 则，用以提高系统的去歧义匹配能力和计算效率。优良 的匹配算法口引应能充分利用尽可能多的辅助信息或者 约束条件来提高匹配的质量。
视差和深度成反比关系：
7
视差(Disparity)与深度(Depth)的关系
同一深度下的视差一样
8
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进 一步精细化 (Refinement)，亚像素是其中的一 种方法。
9
双目立体视觉三维测量原理 (Triangulation)
50
结构光 (Structure Light)
光学投影器将一定模 式的结构光投射于物 体表面，在表面上形 成由被测物体表面形 状所调制的光条三维 图。
结构光的目的就是增 加三维物体的纹理信 息。
51
各种结构模板光实例
52
条纹与散斑
PtΒιβλιοθήκη nPt=2P
t=1
主要内容
1：双目视觉系统模型
2：双目视觉系统关键技术 •系统标定 •立体匹配 •3D重建及后续处理