立体视觉

立体视觉

简介

●由多幅图像获取物体三维几何信息的方法

●生物视觉的成像机理：深度感知

利用生物视觉原理的实例 立体电影：两摄影机＋偏振镜片

利用生物视觉原理的实例 立体画：视点

静

物

素

描

应用实例－机器人的立体视觉

应用实例－虚拟现实

应用实例－三维信息重建

主要内容

●极线约束：建立对应关系时的约束条件

●建立对应关系的各种方法

●三维重建的计算原理：几种基元的对应关系建立方法

●空间点重建

●空间直线重建

●二次曲线重建

●射影几何意义下的三维重建（自修）

立体视觉与三维重建

●用立体视觉方法进行三维重建：由两幅或多幅二维图像恢复物体三维几何形状的方法。

●三维重建的前提：如何建立两幅图像的对应关系。

●基本原理：由

两摄影机光心

与两成像平面

上对应投影点

连线的交点确

定空间点的三

维位置。

Marr的三层表象图

空间物体表面上的

几何元素：点、直

线、曲线等

极线约束

三维重建的前提：如何建立两幅图像的对应关系。

如何求极线？

()p p c x m M x M u Z 111111==()p p c x m M x M u Z 221222==11111m x M u Z c +=2

2122m x M u Z c +=1

1

11212111121122m M M m u M M Z u Z c c ---=-1

1

11212m M M m m --=[]()0

11

1121122=--⨯u M M Z u Z m c c [][]2

1211

1121/,c c c c Z Z Z u m u M M Z m =

=⨯-⨯[]0

11

11212=-⨯u M M m u T

立体图对的极线与极点

●

在I 2图像上的所有极线交于同一点e 2, e 2称为极点。图像I 1(I 2)上的极点e 1(e 2)是O 2(O 1)在I 1(I 2)图像上的投影点。O 1,O 2,e 1,e 2共线。●已知双摄影机投影矩阵M 1与M 2时，极线方程

由给出。

●

当两摄像机的光心

连线与某一摄像机

图像平行时，该摄

像机图像平面的极

点位于无穷远点，

即所有极线平行。[]01111212=-⨯u M M m u T

I1上的极线束与I2上的极线束互为射影变换。

对应基元匹配

基本思想（以点基元为例）

●相似性度量：空间同一点，在图像中的对应点以及对应点的邻域上必具有以下性质之一：●某些物理量上的相似性。

●eg.灰度，灰度变化梯度等

●几何形状上的相似性。

●空间多面体的顶点→图像中多边形的顶点

●连续性假设：

●物体表面上相邻点的投影也必然比较接近

●临近的投影点在空间物体表面上的深度差不会很大

求对应点的方法1－相关法●前提假设：两副图像上的对应点及其邻域上各点灰度有相似性●物体表面光线反射模型

●相似度计算方法：沿极线各点做相关运算，找相关值最大的点为对应点。

βαn

i i r S c S c S cos cos 21+=()()()()()∑Ω∈------=j i I j v i u I I j v i u I M C ,22221111

,,1

求对应点的方法2－特征点匹配法

●特征点：边缘点、角点

等灰度不连续点

●用边缘点或角点寻找对

应：以极线为约束A:空间曲面的不连续点

B:不同材料或者不同颜色

产生

C:物体与背景的分割线

D:阴影引起的边缘

外轮廓线不能作为对应特征

极线整体匹配的要求

●

同时寻找极线l 1上所有各点在l 2上的对应点，提高匹配准确度。●正确匹配的前提：●相容性原则：视差梯度●视差梯度是空间点深度连续性的反映

●

对应点在极线上的序保持一致()()()()22≤-'+-'-'--'=q q p p q q p p G d 对应点的视差梯度对应点序不保持的情况

极线整体匹配方法1－动态规划

●可加性最优准则下，两个一维信号特征点的全局最优匹配搜索

●将两条对应极线上的图像信号看作两个一维信号●建立特征点匹配的最优准则：以相似性条件和相容

性条件为基础

●用动态规划沿两条极线上的点集进行全局最优匹配

搜索

极线整体匹配方法2－松弛法

●给出I2上极线l2各特征点与l1上各点匹配的概率●根据相容性原则，给出以上概率定义的相容性

度量

●用非线性最优化方法或迭代法调整上述概率使相容性准则最优

辅助方法－多分辨率方法

●目的：减少搜索量，

节省计算时间

●总计算时间为

(M/2N+4N)t0

●直接搜索时间：Mt0

多分辨率立体图对

其他方法

●基于带有全局性质的基元的匹配方法：直线匹配，二次曲线匹配

●利用三个摄像机减少匹配二义性：p1同时与p2,p3具有相似的图像特征。