立体视觉基础

影几何的概念以及相互间的关系
1.矩阵与向量间的关系
向量的几何概念：具有长度、方向的几何 元素
向量表述的几何元素：点、线、面、乃至
于N维空间中的线性几何元素
向量的具体形式：一组坐标值
向量坐标的本质
向量坐标的本质：在N维空间中，在给定基 向量集的基础上，任意向量在各基向量上 的投影
给定向量，求坐标：向各基向量投影 给定坐标，求向量：以坐标为系数对基向
拍摄场景中的人数统计
动态目标分割、定位、跟踪、行为分析
1. 计算机视觉的概念
相关领域：
计算机图形学 数字图像处理
计算机图形学
使用图形生成管道（一组有序执行的算 法），由计算机内部的虚拟几何图形表述 生成虚拟可视像素图形的过程。
入口数据：虚拟二维或三维场景描述（几
何图形，非可视数据）
保存匹配点对信息，结束处理流程；否则， 转第1步
b）基于特征点的图像配准
仿射配准示例：由于实际的几何变换包含 摄像机绕光心旋转、平移等三维变换，因 此导致部分点对失配
三. 射影几何中的基本概念
1.矩阵与向量间的关系 2.几何变换与逆变换
3.对偶与对偶变换 4.欧氏几何、同射几何、仿射几何、射
线、区域特征对建立匹配关系。
（1）图像配准
两类方法具有一定的联系，并且，基于特 征的图像配准效率更高，在其基础上可简 化像素级配准。
由于各类特征均可以转换为点特征，因此，
基于特征点的配准方法成为研究的重点。
例如，直线段特征可转换为直线段的两两
交点，区域特征可转换为区域的重心。
2）基于特征点的图像配准
零向量（行或列）扩展为方阵。
任意N阶方阵的行、列向量组分别对应N维
空间中两个不同的基向量集（不一定线性 无关），即N维空间中的两个坐标系。
矩阵的本质
方阵的行向量组为行坐标系基向量在列坐
标系下的坐标；
列向量组为列坐标系基向量在行坐标系下
的坐标。
矩阵的本质
N阶方阵的本质是N维空间中两个坐标系间 的坐标变换。
量做线性组合
向量坐标的本质
Y o
2 1 0 2 3 0 1 3
X
矩阵行、列均 理解为基向量 集
矩阵的本质-以旋转为例
思考：行、列向量组的含义是什么？
Y' V Y Y V X' V’X O
' V X a11 ' V a Y 21
像素的独立性：
x’与y’ 小于指定整数，且不同时为零
U ( x, y) 1 MAXCC[W ( x, y),W ( x x' , y y' )]
a）角点提取
独立性示例：亮度越强的像素位置独立性越强
a）角点提取
处理流程：
1. 从图像中提取边缘像素集 2. 将边缘像素按照独立性降序排序 3. 对于当前独立性最大的像素，若其独立性大 于指定阈值，则将其输出到角点集，否则结束
a）数字图像中的特征点提取
示例：角点提取 b）基于特征点的图像配准 仿射图像配准、透视图像配准、基于外极
几何约束的图像配准
a）角点提取
示例：基于独立性的角点提取方法
两个像素窗口的关联系数：
W1 W2T CC[W1 ,W2 ] W1 W2
1 2 4 5 7 8 3 6 9 1 2 3 4 5 6 7 8 9
xrj a11 j yr a21 1 a 31 a12 a22 a32
i a13 xl i a23 yl 1 a33
二维透视变换：两帧图像间的变化包括二维图像平面上的 二维旋转、放缩、平移、摄像机成像平面在三维空间中绕 光心旋转； r、l 分别表示左右图像中特征点坐标，i、j 表示特征点序号 若已知左、右图像中的4个匹配特征点对，则能求解该变换
a12 VX a22 VY
逆变换
Vபைடு நூலகம்Y
θ
VX
X
a11 a12 cos sin a a 21 22
sin cos
VX a11 V a Y 12
主要内容
一. 立体视觉的概念
二. 立体视觉的基本原理 三. 射影几何中的基本概念 四. 基本的成像模型 五. 单视几何学的基本原理
六. 双视几何学的基本原理
七. 摄像机标定的基本原理
一. 立体视觉的概念
1. 计算机视觉的概念 2. 立体视觉的概念
1. 计算机视觉的概念
处理流程 4. 对于剩余的边缘像素集，将其独立性乘以H， 转第2步
a）角点提取
H 1 exp(d / D )
2 i 2
其中，di为第i个剩余边缘像素与输出角点
间的像素距离；
D为相对距离定义，由它规定距离远、近的
概念。
b）基于特征点的图像配准
图像配准的目的： 在两帧图像间建立一个映射关系，该映射能够 将其中一帧图像上的特征点坐标映射为另一帧 图像中匹配特征点的坐标。
b）基于特征点的图像配准
仿射配准的处理流程：
1. 假设左图像与右图像的特征点集分别为P、 Q，从P、Q中选择一个未尝试的三点对，若已 无三点对可以选择，则认为配准失败，并结束 处理流程 2. 使用相似三角形约束判断三点对的合理性，
若不合理，则转第一步
b）基于特征点的图像配准
1 1 q1 q2 q1 q3 p1 p2 p1 p3
二. 立体视觉的基本原理
1. 单视几何原理
2 .双视几何原理 3. 多视几何原理 4. 立体视觉的一般处理过程
1. 单视几何原理
单视几何：针对平面物体的形状恢复
2 .双视几何原理
双视几何：基于标定摄像机的三维表面重建
3. 多视几何原理
多视几何：基于未标定摄像机的三维表面重建
4. 立体视觉的一般处理过程
（2）放缩变换与逆变换
放缩变换可能改变几何形状（夹角），但不会改变平行性
α yp α Y’ Y p' yp α
Y
β O
p
Y
p xp
X’
X
O
X
xp
O
X
沿任意方向放缩
等价变换 列坐标系变换：
V ' R KRV
4. 立体视觉的一般处理过程
（1）图像配准
（2）摄像机标定（确定内部参数） （3）确定摄像机相对放置（确定外部参数） （4）三维表面重建
（1）图像配准
1）基于像素的图像配准方法
两帧图像中所有具有同一原像的像素对都
应建立匹配关系。
2）基于特征的图像配准方法 仅针对两帧图像中的具有同一原像的点、
若N阶方阵不是满秩矩阵，即行、列向量组
中存在线性相关，则坐标变换中存在降维 变换。
N阶单位阵的行、列坐标系为同一坐标系，
其中无坐标变换。
向量变换与坐标系变换
Y
Y
Y'
X' X O O X O
等价变换
向量变换与坐标系变换
对任意一种向量变换，可以找到一种等价
的坐标系变换与之对应；反之亦然。
再由行坐标系变换到列坐标系；
列坐标系自己向自己投影，即无坐标变换。
（2）放缩变换与逆变换
Y Y Y'
O
X
O
X
O
X'
等价变换
x ' 0.5 0 x ' y 0 1 y
沿坐标轴放缩
沿坐标轴放缩
对于沿坐标轴的放缩，变换矩阵为对角阵，对 角线上各元素对应各坐标轴分别的放缩因子。
i a13 xl i a23 yl 1 1
二维仿射变换：两帧图像间的变化可由二维图像平面上的 二维旋转、放缩、平移来描述；
r、l 分别表示左右图像中特征点坐标，i、j 表示特征点序号
若已知左、右图像中的3个匹配特征点对，则能求解该变换
b）基于特征点的图像配准
' a21 VX V ' a22 Y
矩阵的本质-以旋转为例
Y
Y'
(x,y) X' X
x ' a11 ' y a 21
a12 x a22 y
O
矩阵的本质-以旋转为例
Y
Y'
(x,y) X' X
V ' KV
行坐标系与列坐标系相互的坐标描述完全一致。 思考：试从投影与线性组合两个角度来解释放 缩变换。
沿坐标轴放缩-逆变换
k1 0 0 k2 K ... ... 0 0 0 1 / k1 0 1 / k2 1 K ... ... 0 0 0 ... 0 ... ... ... k n ... ... 1 / k n ... ... ... 0 0 ...
出口数据：经图形管道处理后得到的虚拟
的、像素化图形（可视数据）
数字图像处理
使用算法对数字图像中的像素信息实施处 理，使图像中内容的可视化质量得以提高 的过程。
入口数据：图像（可视） 出口数据：图像（可视）
2. 立体视觉的概念
模仿人眼的立体视觉过程，基于一帧或多
帧具有共同拍摄场景的图像，由其中的二 维形状信息恢复原始场景中三维形状信息 的视觉过程。
b）基于特征点的图像配准
问题：
两帧图像中的特征点数量一定相等吗？
两帧图象存在差异，内容不会完全一致，因此特征点 数量也不一定相等
是否所有特征点都存在对应的匹配特征点？
两帧图象存在差异，某特征点可能在左图像中出现， 但却可能在右图像中未出现
b）基于特征点的图像配准
特征点坐标间的映射可理解为坐标变换，可使用矩阵来表示。
2.几何变换与逆变换
（1）旋转变换与逆变换
（2）放缩变换与逆变换 （3）平移变换与逆变换 （4）射影变换与逆变换
（5）变换与逆变换基向量组间关系
（1）旋转变换与逆变换
旋转变换一一对应于单位正交阵，也称为 旋转矩阵，其逆变换即为旋转矩阵的转置。
V R RV
T
解释：V由R的列坐标系变换到行坐标系，
x ' a11 ' y a 21 x a11 y a 12
a12 x a22 y a21 x ' ' a22 y
O
矩阵的本质
仅考虑N阶方阵，因为一般矩阵可通过添加
什么是计算机视觉?
模拟人眼接收客观世界中可见光信息，并
由大脑解释可视信息的过程，使用算法对 真实图像或视频中的内容给予有效的解释。
入口数据：图像、视频（可视信息） 出口数据：对可视内容的某种解释（非可
视信息）
1. 计算机视觉的概念
应用实例：
汽车牌照识别 车辆形状识别 人脸识别
相似三角形约束：p、q分别表示P、Q中的特征点， 相同脚标表示具有匹配关系，ε为很小的值
b）基于特征点的图像配准
3. 使用三点对解方程组，求解仿射变换的6 个未知系数，确定变换矩阵 4. 使用得到的变换矩阵，求P中所有特征点 在Q中满足容忍度D（误差，以像素为单位） 的匹配特征点
5. 若特征点数量足够大，则认为配准成功，
矩阵类型与图像间几何变换的关系：
1. 二维仿射矩阵与图像平面内的二维旋转、平移、放缩变
换对应
2.二维透视矩阵除包含二维变换外，还包含摄像机绕光心
的旋转变换
3. 基础矩阵包含二维变换、摄像机旋转、摄像机平移等变
换
b）基于特征点的图像配准
xrj a11 j yr a21 1 0 a12 a22 0
入口数据：单帧或多帧图像
为了最终恢复三维信息， 需要基于入口数据进一步 获取哪些数据？
Pl P Pr
p
Xl
Yl
l
p
r
Yr
Zl
fl Ol R, T
Zr
fr Or Xr
4. 立体视觉的一般处理过程
问题：
如何知道不同图像中的匹配信息？ 如何知道不同拍摄方位的相对放置（外部
参数）？
如何知道摄像机的内部参数？