立体视觉

D(T , Sk ) = ∑∑[Sk (i, j) T (i, j)]2 = ∑∑[Sk (i, j)]2 2∑∑Sk (i, j) T (i, j) + ∑∑[T (i, j)]2
i =1 j =1 i =1 j =1 i =1 j =1 i =1 j =1 m n m n m n m n
(4.22)
m n
(4.24)
2 2 其中T ,σ T ,k 和σ k 分别是模板和窗口的均值与方差
问题——基于面积的图象配准过程的运算量过大. 为此,提出了一些改进基于面积的图象配准的方法.
1
的交线
称为点 I 2 的内极线,记为DE .
2
性质:
E P 视平面 P1 上任何内极线 DE 必然通过内极点1 ,视平面 2 上任何内极线 I DE 必然通过内极点E2 .内极线DE 的解释是,给定1 ,它在P2 上可能的对应点
1 2 2
一定在内极线DE 上;反之亦然.
2
作用:降低搜索空间
P
内极点和内极线的计算.
在立体视中实际可测的是视差,而视觉系统要求的却是距离,因此视差与距离 的关系是立体视系统研究的重要内容之一. 设空间点 P 在两个视平面上的 N 矢量分别为 m 和 m',m 与 m'之间的夹角为 π θ ( 0 ≤ θ ≤ ),称为点 P 的视差. 2 视差θ 的大小,实质上反映了点 P 与两个视平面位置关系,由此可以计算获得 点 P 的三维信息. 称函数θ (m) = cos 1 (m, m ) 在二维平面上所形成的二维图为视差图. 除了视差以外,视点 O 到空间点 P 的距离 r(m)也反映 P 的空间位置,称函数 r(m)所形成的二维图为距离图. 命题 4.2 平移基矢量为 b 的平行立体视的距离图与视差图的关系如下, r ( m) = (b, m)+ || b, m, n (m) || ctgθ ( m) (4.14) θ 其中,n(m)为内极线矢量, 为视差. → → 证明:如图 4.4,用下列表示记矢量 OP 和O′P ,
OP = rm O′P = r 'm 其中 r, r'为正实数.从而有 b = rm r 'm
→ →
(4.15)
(4.16)
现在考虑矢量b,m,n的矢量混合积,并注意到 m × m' = ± sin θ
( m, m × n ) = 0
于是有,
| b, m , n |= (b, m × n) = ( rm r ' m ' , m × n) = r ( m, m × n) r ' ( m' , m × n) = r ' ( n, m'×m ) = ± r ' sin θ 另一方面,对(4.16)式两边作m的标量积有,并考虑 ( m, m' ) = cos θ ,于是有
2 2 1 2
2
)
(4.10)
其中, k1 , k2 , k 为归一化常数. O ′′X ′′Y ′′ Z ′′ D 内极线 E2 在 坐标下的方向矢量为 t m′′ = kR2 (R1m′ × mC × nP ) DE I
2 1 2 2
(4.11)
I1 结论:当立体视觉系统的内部参数已知时,对任意给定的视平面 P1 上的一点 ,可根 P P I mI 据其在 1 上的 N 矢量 ′ ,利用(4.11)式求得其在视平面 2 上对应点 2 所在内极线DE 的方向矢量m′′ . DE
1 1
1 1
2
P 类似地,在视平面 2 上,内极点 E2 的N矢量为 t ′ mC = R2mC
2 2
(4.6)
mI 设点 P 在视平面P1 上象点的N 矢量为 ′1 ,在OXYZ 坐标下的N矢量为
mI = R1m′ I
1
1
(4.7)
内极平面在OXYZ 坐标下的N矢量为
1 2 1
n = N [m I × mC ] = k1 (mI × mC
(4.3)
d= f
(4.4)
由上式可以看出,距离d与b,f 和la lb 有关.la lb 称为点P 在左,右两个 图象面上形成的视差,它表示了P 点在左,右两幅图象中成像点的位置差异. 由于b,f 是已知的,因此,要实现双目立体视差测距,最关键的就是要求得视 差la lb ,即要实现空间中同一点P 在左,右两幅图象上的投影点之间的对应. 两幅图象间对应点的寻求称为两幅图象的配准.
m
n
(4.23)
{∑ ∑ [ S k (i , j )] } {∑ ∑ [T (i, j )]2}1/ 2
2 1/ 2 i =1 j =1 i =1 j =1
m
n
为一克服噪声的影响,还可将互相关函数定义为:
C ( x, y ) = i=1 j =1 ∑ ∑ [ Sk (i, j ) k ] [T (i, j ) T ] σ k σ T
Z' Z"
考 虑 一 般 情 况 , 摄 象 机1 的 坐 标 系 C O′X ′Y ′ ′ 是从世界坐标系OXYZ 原点经旋 Z (i , j = 1, 2 , 3) 和 平 移 转 R1 = (rij(1) ) t h1 = ( X C YC Z C ) 形成的,摄象机 2 的 C
1 1 1
P2 I2 DE2 E2
第四章 立体视觉
立体视觉是仿照人类利用双目线索感知距离的方法实现对三维信息的感知, 在实现上采用基于三角测量的方法运用两个或多个摄象机对同一景物从不同位置 成象,并进而从视差中恢复距离. 立体视觉中一般需要解决三方面的问题:
V V V
图象面上的视差计算 由视差恢复某些点的三维坐标 由稀疏的三维数据恢复表面.
当 D( T , S k ) 最小时,T与S k 达到最佳匹配. 使 D( T , S k ) 达到最小等价使 ∑ ∑ [ S k (i, j ) T (i , j)] 达到最大,归一化
i =1 j =1 m n
C ( x, y ) =
∑ ∑ [ S k (i , j) T (i, j )]
i =1 j =1 m n
2 2 2
C1
示.
图4.3 世界坐标系与摄象机坐标系
设 H = h2 h1, 则 C1 E1在OXYZ 坐标下的N 矢量为 mC = N ( H ) , C2 E2 在OXYZ 坐标下的N矢量为 mC = mC 于是在视平面P1 上,内极点E1 的N矢量为 ′ mC = R1t mC (4.5)
θ
[证毕]
(4.21)
4.3 立体视中的配准
根据配准所采用的基元以及成象几何的不同,配准策略在很大程度上也是不同 的,其中根据配准方法的不同可分为基于面积的配准和基于特征的配准,根据成象 几何的不同可分为平行光轴配准和非平行光轴配准. 4.3.1 双目配准 在配准中可以有基于面积,特征等的不同方法,在计算的实现上可以直接计算 或采用层次方法实现. 4.3.1.1 基于面积的配准 基本思想: 把一幅图象中某一象点的灰度邻域作为模板,在另一幅图象中搜索具有相同(或 相似 )灰度值分布的对应点邻域,从而实现两幅图象的配准.在搜索过程中,通常是 以互相关函数作为两个搜索邻域间的相似性测度. 设 f L ( x, y ) 和 f R ( x, y) 分 别 为 双 目 立 体 视 觉 中 的 左 , 右 两 幅 图 象 ,( xL , yL ) 是 f L ( x, y ) 中的一点.取以( xL , yL ) 为中心的某一邻域作为模板 T,其大小为m × n .现在 f R ( x, y) 中平移模板T,并假设 T在水平方向平移 x ,在垂直方向平移y 后,它所覆 f ( x, y ) S S 盖下的 R 的第k个子图为 k .若 T与 k 相同,则它们的差为零,否则不为零.由 S 此定义T与 k 之间差别的测度为
1 2 2
P
来自百度文库
实际上,多数的立体视系统其摄象机之 间保持平行的关系,即满足 R1 = R2 (4.12) 满足 (4.12) 式的立体视觉系统称为平行立 体视系统. 4.2.2 平行立体视中的内极线约束
O X
Z x x' o y p p' Y X'
o'
b Y' O'
为 讨 论 方 便 , 通 常 取P1 的 坐 标 系 为 世 界 坐 标 图4.4 平行立体视与平移基矢量b t 系,即 h1 = (0 0 0 ) , R1 = R2 = I t t 设 h2 = b = (b1 , b2 , b3 ) ,则称表示摄象机平移的矢量 b = (b1 , b2 , b3 ) 为平移基矢量.平移基 矢量 b与摄象机坐标系的关系如图 4.4所示. 在不考虑 N 矢量方向的情况下,有 定理 4.1 平移基矢量为 b 的平行立体视在视平面上的内极点的 N 矢量为 = N [b] ,所 u 有的内极线均过内极点. 进一步,有, 命题 4.1 在基矢量为 b 的平行立体视中, N 矢量为 m 的点的内极线的 N 矢量 n(m) 过 由下式给定 , n( m ) = N [m × b ] (4.13)
d f a = d a + lb
Cl b la Pl Ar lb P r a B f Cr
d
Al
图4.1视差测距原理图
(4.1)
d f b la + lb + a = d b + lb + a
(4.2)
由(4.1),(4.2)有
a= bla lb la lb a + lb bf = lb la lb
P
4.2 内极点,内极线与内极平面
4.2.1 一般情况
P E 光心线与视平面 1 的交点 1 称为视平 面P1 的内极点(Epipolar) ,光心线与视平面 P2 的交点 E2 称为视平面 2 的内极点. P
P1 C1 DE1 I1 E1 DE2 E2 I2 P2 C2
图4.2 内极点与内极线
I1 P I1 设空间中有一点 P ,在1 上的投影为 ,则将由点 和光心线所确定的平 P I1 面称为内极平面(Epipolar plane),内极平面与视平面 1 的交线称为点 的内极线 I P (Epipolar),记为 DE .对称地,由点2 和光心线所确定的平面与视平面 2
(b, m) = (rm rm ' , m) = r (m , m ) r ' ( m ' , m ) = r r ' cos θ
(4.17
(4.18
将(4.17)式代入(4.18)式并整理,即得(4.14)式结果.
定理4.2 基矢量为b的平行立体视的距离图与视差图满足
r ( m) = (b, m )+ || b × m || ctg θ ( m )
P
4.1一般性原理
最简单的情况如图 4.1所示 Cl , Cr 分别为左,右二个相机的光心 Cl 与Cr 之间的距离为 b ,相机焦距为 f. 物体上的点P在左,右相机图象面上 的投影点分别为Pl , Pr , 令 Al Pl = la , Ar Pr = lb , Pr B = a ,则由 相似三角形有:
(4.19)
证明:由于
b, m, n(m) = b, m, N [m × b ] = b, m, m × b (m × b , m × b ) = = m× b m× b m×b
(4.20)
将其代入(4.14)式即得. 上述定理说明,距离图r(m)可以由视差图 和基矢量b唯一的确定. θ (m ) 命题4.2和定理4.2说明了,对于平行立体视,只要已知基矢量b和视差 ,距离 图r(m)就可以计算出来. u = N [b ] b = ku , k ≥ 0 由定理4.1 知,基矢量为 b的平行立体视的内极点为 ,即应有 , 从而有, 推论4.1 设内极点的N矢量为u,则距离图可由下式计算. r ( m) = k [(u , m ) + || u × m || ctg θ ( m )]
Y" X h2
1
P 1
Y' X'
I1
DE1
Z
E1
O' h1 Y O
X" O" C
坐标系 O ′′ X ′′Y ′′ Z ′′ 是从世界坐标系 OXYZ 原点经旋转 R2 = (rij( 2 ) ) (i, j = 1, 2,3) 和平移 t h2 = (X C YC Z C ) 形成的,如图 4.3 所
( r132) ( 2) nP = r23 r ( 2) 33
2
2
)
(4.8)
视平面P2 在OXYZ 坐标下的N矢量为 (4.9)
内极线DE2 在OXYZ 坐标下的方向矢量为
2 2 1
mDE = k2 [n × nP ] = k (mI × mC × nP ) = k (R1m′ × mC × nP I