基于双目立体视觉的深度测量

特征提取——目的是为了得到立体匹配所需要的图像
特征，是在图像分割的基础上进行左右图像目标区域的特 征点或线的提取。

立体匹配——确定空间点在左右图像中的对应点。深
度恢复是建立在共轭图像目标区域匹配的基础上的。
六、图像分割、特征提取及立体匹配

特征提取与立体匹配是深度恢复的基础。 选择合理的匹配特征、适当的特征提取可以大大 减少歧义匹配。特征提取的结果可以是目标区域 的形心、角点等。 立体匹配对匹配方法的依赖很大，匹配方法选择 的不恰当，很容易造成误匹配。特征匹配不仅算 法复杂，而且程序实现困难。
三、双目视觉测距的方法
建立双目测距平台 摄像机标定 拍摄左右2幅图像
L图像分割及特征提取
R图像分割及特征提取
共轭图像匹配
深ຫໍສະໝຸດ Baidu恢复
四、双目立体视觉测距系统

双目视觉立体系统主要组成:计算机和2个摄像机。
测量物体
两台同型号的摄像机光轴平行且CCD成像面在同一平面。
五．摄像机标定

计算机测距的任务：从摄像机获取的二维图 像信息计算三维空间某点的深度信息。 空间某点的位置（xyz）与其在图像中对应 点之间的关系是由摄像机成像的几何模型决 定——几何模型参数就是摄像机参数。
当选择的摄像机坐标系与世界坐标系原点重合时，此即为所求。

式中，ax1，ay1，ax2，ay2为摄像机的内部参数，u0，v0为 图像的主点（即图像的中心点）在图像坐标系的坐标。
七、深度测量

由上式解出Xc1，Yc1，Zc1得 ：
⎧ a x 2 (u1 − u 0 ) d ⎪ X c1 = a x 2 ( u1 − u 0 ) − a x1 ( u 2 − u 0 ) ⎪ ⎪ ⎪ a x 1 ⋅ a x 2 ( v1 − v 0 ) d ⎪ Y = ⎨ c1 a y 1 [ a x 2 ( u 1 − u 0 ) − a x 1 ( u 2 − u 0 )] ⎪ ⎪ ⎪ a x1 ⋅ a x 2 ⋅ d ⎪ Z = ⎪ c1 a ( u − u ) − a ( u − u ) x2 1 0 x1 2 0 ⎩

五．摄像机标定
空间点P 世界坐标系 XwYwZw
图像坐标系(u-v) 成像平面坐标系 （x-y） 摄像机坐标系 XcYcZc 光轴 成像平面 图像主点
标定中的各种坐标系
五．摄像机标定


摄像机标定算法
根据摄影测量学，空间某点P的三维坐标（XwYwZw）与其 投影点p的图像坐标（u,v）的关系为：
⎡a x ⎡u ⎤ ⎥ = ⎢ 0 s⎢ v ⎢ ⎢ ⎥ ⎢ ⎢ ⎣ 0 ⎦ ⎣1 ⎥ 0 ay 0 u0 ⎤ v0 ⎥ ⎥ ⋅ [R 1 ⎥ ⎦ ⎡X w ⎢Y t ]⋅ ⎢ w ⎢Zw ⎢ ⎣ 1 ⎤ ⎥ ⎥ = M ⎥ ⎥ ⎦
1
⋅M
2
⋅X
式中，s为未知尺度因子，M1称之为摄像机的内部参数，由ax、 ay确定；R称为旋转矩阵，也是一个正交矩阵，t为平移向 量，代表摄像机相对于世界坐标系的方位，是摄像机的外部 参数。
五．摄像机标定

进一步可将上式改写为：
⎡ui ⎤ ⎡ m11 m12 ⎥ = M ⋅ X = ⎢m s⎢ v ⎢ i⎥ ⎢ 21 m22 ⎢ ⎢ ⎣1⎥ ⎦ ⎣ m31 m32 m13 m23 m33
⎡ X wi ⎤ m14 ⎤ ⎢ ⎥ Y ⎢ wi ⎥ m24 ⎥ ⎥⎢ Z ⎥ wi ⎥ m34 ⎦ ⎢ ⎥ ⎣ 1 ⎦
式中，（XwiYwiZwi）为空间第i点的坐标；（ui,vi）为第i点的 图像坐标；M称为投影矩阵，mij为其第i行j列元素。
⎧Xwi ⋅ m11 +Ywi ⋅ m12 + Zwi ⋅ m13 +m14 −ui (Xwi ⋅ m31 +Ywi ⋅ m32 + Zwi ⋅ m33) = ui ⋅ m34 ⎨ ⎩Xwi ⋅ m21 +Ywi ⋅ m22 + Zwi ⋅ m23 +m24 −vi (Xwi ⋅ m31 +Ywi ⋅ m32 + Zwi ⋅ m33) = vi ⋅ m34
基于双目立体视觉的深度测量
——计算机视觉技术举例
一、采用双目立体视觉测距的原因
¾ 系统简单,成本不高。 ¾ 非接触测量，从而提高系统的可靠性。 ¾ 具有较宽的光谱响应范围，例如红外测量，扩
展了人眼的视觉范围。 ¾ 可以长时间地作测量、分析和识别任务
二、双目立体视觉的测距原理

双目立体视觉，就是运用两个相同的摄像机对同 一景物从不同的位置成像，获得景物的立体图像 对，通过某种算法匹配出相应像点，从而计算出 视差，然后采用基于三角测量的方法恢复深度信 息。

七、深度测量

两个摄像机的位置配置如图所示
七、深度测量
a x1 ⋅ X c1 ⎧ u u − = 0 ⎪ 1 Z c1 ⎪ a y 1 ⋅ Yc1 ⎪ ⎪ v1 − v 0 = Z c1 ⎪ ⎨ ⎪ u − u = a x 2 ⋅ ( X c1 − d ) 0 ⎪ 2 Z c1 ⎪ ⎪ v − v = a y 2 ⋅ Yc1 0 ⎪ 2 Z c1 ⎩
五．摄像机标定

上述方程组表示，如果标定目标上有n个己知点，并知道 它们的空间坐标与对应的图像坐标，则有2*n个关于M矩阵 元素的线性方程，用矩阵的形式表示为下式：
1 0 0 0 0 − u1 Xwi − u1Ywi 0 Xwi Ywi Zwi 1 − v1 Xwi − v1Ywi M 1 0 0 0 0 − un Xwn − un Xwn 0 Xwn Ywn Zwn 1 − vn Xwn − vnYwn − u1Zwi ⎤⎡m11⎤ ⎡u1 ⎤ ⎢m ⎥ ⎢v ⎥ − v1Zwi ⎥ ⎥⎢ 12⎥ ⎢ 1 ⎥ ⎥⎢ M ⎥ = ⎢ M ⎥ ⎥⎢ ⎥ ⎢ ⎥ − un Xwn⎥⎢m32⎥ ⎢un ⎥ ⎢ ⎥ ⎢ ⎥ − vn Zwn ⎥ ⎦⎣m33⎦ ⎣vn ⎦
ax =| m34m1 − u0m34m3 |
R8 = m34 m32 ' R7 = m34 m31 ' t x = (m34 m14 '− u0t z ) / ax
LL
六、图像分割、特征提取及立体匹配

图像分割——目的是把目标图像从背景中分离开来，
分割之后的结果图像即成为以后特征提取、图像匹配等一 系列处理的基础图像。
⎡ Xwi Ywi Zwi ⎢ 0 0 0 ⎢ ⎢ ⎢ ⎢Xwn Ywn Zwn ⎢ 0 0 0 ⎣
M矩阵共有12个未知数，由6个或6个以上己知点与它们的图 像点坐标，就可以求出M矩阵。
五．摄像机标定

摄像机其它参数求出如下：
a y =| m34 m2 − v0 m34 m3 |
R9 = m34 m33 '