基于单目视觉的空间定位算法

北 工 业 大 学 学 报
第 27 卷
的运动轨迹进行连续追踪定位, 即在定位追踪要求 的一定时间间隔中, 及时计算各个时间节点上成像 像机的空间位置及相对标志物的位置偏移量 , 引导 应用平台 ( 如机器人、 飞行器等 ) 按设计路线不断校 正前进方向、 相对目标位置, 以准确完成设计任务。 为结合具体应用来说明这个问题 , 在这里, 以中 低空无人飞行器在复杂地域的自主定位引导为例进 行阐述。 为保证定位精度 , 假设已在无人飞行器前视 区域选定了几个明显地物作为定位参照标志物 , 其 空间精确位置已确定。 根据这个要求 , 所采用的单目视觉定位方法 , 主 要通过几个步骤来完成成像像机的空间位置计算 ( 基于篇幅限制 , 这里不考虑定位参照标志物的匹配 与帧间约束条件的确定问题, 假设图像中和实际的 同名标志已经过识别与匹配, 且帧间约束条件已经 确定 ): 为计算方便, 首先, 假设地面定位参照标志物所 在平面为一个水平方向的平面, 定义设计航线在设 定区域的进场位置为原点, 沿着设计航向为 X 轴方 向, 以垂直航线的前视区域水平方向为 Y 轴, 以垂直 水平面的高程方向为 Z 轴建立一个坐标系 , 称为前 视 视野地面坐标系 , 即视野地面坐标系 ( 如图 1 所 示) 。
拟正面平行投影平面的投影参数。 ( 2) 若像机经过标定 , 则直接进行第 3 步的计 算 , 否则 , 通过 6 个不共线的前视视野区标志点与图 像中的对应标志点的仿射对应性, 可计算出像机的 内部仿射参数。 ( 3 ) 根据定位参照物上的3 个不共线标志点, 构 造一个圆 , 则该圆在前视视野正面平行投影中仍为 一个圆, 当成像像机姿态从正面平行转化到当前位 姿时, 该圆在图像平面中的投影就变成了一个椭圆 , 圆和椭圆满足虚拟正面平行投影和当前时间点图像 之间标志点间存在的仿射对应关系。 ( 4) 用 线性的最 小二乘法 即可计 算出仿射 参 数 , 进而计算出成像像机相对于前视视野坐标系间 的姿态参数。 ( 5) 利用标志点与图像对应点间的几何信息 , 采用几何分析方法及最优化逼近算法 , 通过迭代求 解出精确的成像像机位姿参数。 (6) 将本帧解算结果作为下一帧的初值 , 结合 帧间的约束关系进行相对位姿的跟踪计算。
摘 要: 为解决基于单目视觉的像机空间定位问题, 基于射影几何原理 , 提出了一种利用特殊标志 点的空间几何信息和光学像机实现像机与标志点的相对位姿测量, 进而推算像机的空间坐标位置 的方法。 该方法避免了计算过程中对每帧图像都进行复杂的非线性解算 , 而利用像机与标志物间一 种特殊姿态即正视投影作为连续位姿计算的起点和初始值 , 利用帧间约束来进行后续帧的位姿跟 踪计算, 达到既保证计算精度 , 又减少计算量的目的。 在试验和实际应用中均取得良好效果。 关 键 词: 单目视觉, 正视投影, 视觉定位 , 相对位姿、 帧间约束 中图分类号: T P 391141 文献标识码: A 文章编号: 100022758 ( 2009) 0120047 205 视觉定位是近年来发展起来的一种定位方法。 其原理是通过摄像机获取周围景物的图像, 利用景 物中一些自然的或者是人造的特征 , 通过图像处理 方法得到周围环境模型来实现像机自身的位置确 定。该方法在实时数字摄影测量、 机器人运动导航、 飞行器主动视觉定位等领域具有重要的使用价值。 也是目前较为流行的研究课题。 因此 , 越来越多的研究者开始关注基于视觉原 理的像机空间定位方法。 郭磊、 徐友春 [1 ] 等提出了基 于几何关系推导法的单目视觉实时测距方法 , 利用 边界平行约束条件和像摄影方程进行被摄物体与摄 像机间的空间几何关系推导, 实现了像机到拍摄目 标间的距离估算。屈彦呈[ 2 ] 等提出使用纹理中的特 征点对机器人的位置和姿态进行估计 , 并使用最小 二乘算法使估计结果误差最小。 Sa sa [ 3] 等提出了一 种利用单目摄像机拍摄的跑道边缘线和海平线计算 得到无人机降落过程中的位姿参数的方法, 并指出 如果图像中无法拍摄到海平线等此类关键边缘线 , 也可以通过惯性测量装置获得姿态信息 , 而利用跑 道获得位置信息。张广军[ 4 ] 等提出了一种基于双圆 特征的无人机自主着陆位置姿态的单目视觉测量方 法, 能够估算出无人机的实时着陆姿态。 在所有基于视觉原理的空间定位方法中 , 单目 视觉测量算法具有结构简单、 标定步骤少等优点 , 同 时还避免了立体视觉方法中的视场小、 立体匹配难 等缺陷 , 单目视觉空 间定位的常见方法有: 结构光 法 [ 5, 6]、 几何光学法[ 7 ]、 辅助测量棒法 [ 8]、 激光辅助测 距法 [5 ]、 几何形状约束法[ 10 ] 等。 由于视觉传感器结 构限制, 上述大多方法只有在对定位参照物进行近 距离成像的情况下比较有效[ 11～ 18 ]。 在无人飞行器基于主动视觉定位的导航修正、 无人机视觉自主着陆及视觉自主助降等工程应用条 件下, 一般采用基于前视单目视觉传感器对中、 远距 离定位参照物成像方式, 在此类应用条件下, 以上单 目视觉定位方法无疑具有一定的局限性。 为解决单 目视觉前视像机的空间定位问题, 这里提出了一种 利用单目前视图像与定位参照物——特殊标志点间 的几何信息, 通过射影几何方法进行单目前视像机 空间位姿计算的视觉定位方法 , 其主导思想是首先 根据前视图像与定位参照标志点间的几何信息求解 单目像机的空间位姿参数, 然后根据优化计算求解 定位参照标志物与单目像机的空间相对位置, 从而 实现单目相机的空间定位。
Ua Xa
di =
2 2 (x ′ i (X , P ) x i) + ( y ′ i (X , P ) y i)
Ξi =
1 0
d i ≤ 2 175Ρ d i > 2 175Ρ
i= 1- N
Ρ = 114826� m in m ed ia n (d i ) 使用最小二乘优化算法对该函数 进行迭代优 化 , 并同步更新投影矩阵, 使得D 值满足设定的精度 要求即终止迭代计算, 此时可最终确定精确的投影 变换矩阵中的 6 个位姿参数 ( 即 3 个旋转分量和 3 个 平移分量) 。 21 4 像机位姿参数的连续精确计算 综合求解 2. 1～ 2. 3 节的各个参数方程, 即可求 出单目像机位姿参数满足设计精度要求的精确值 , 此时可将所求得的像机位姿参数提交无人飞行器飞 行控制系统进行航向、 位置的修正引导, 同时根据帧 间约束关系, 将当前帧计算结果作为下一帧图像分 析计算的初始计算值, 进行单目像机的连续位姿计 算。
1 1 T ( ( U a = u a , v a ) 、 X a = x a , y a , z a ) 分别表示定位 参照物标志点在像平面的透视投影与像机坐标系内 的坐标, A 为像机内参数矩阵。 则假设定位参照物上的一个标志点与前视视野 地面坐标系坐标原点在虚拟正面平行投影上构成一 个圆, 圆心在 ( 0, 0, f ) , 当单目像机位姿变化后 , 它 在图像平面上的投影就变化为一个椭圆。 此时单目像机位姿参数的问题就转化为对摄像 机坐标系进行合适的旋转, 使得该圆的投影再次变 为圆 , 并使投影圆与航道平面上构建的圆方向一致。 其实现步骤如下: (1) 构造一个椭圆锥 , 使它与图像平面的交线 为仿射变换后的椭圆。 ( 2) 旋转像机坐标系 , 使得其 Z c 轴穿过椭圆的 圆心, 且 X c 轴与椭圆长轴方向重合, 求取旋转矩阵
表 1 定位参照标志点坐标 (高程为 0 m )
航拍标志点
X 0 0 775 795 1500 1500
Y 15 - 15 15 15 15 - 15
(3) 绕 X c 轴旋转使椭圆锥与图像平面的交线 变换为圆 , 求出旋转矩阵 R 2。 ( 4) 绕 Zc 轴旋转 , 使得变换后圆的方向与虚拟 正面平行投影上构建圆的方向一致, 计算本次旋转 变换矩阵 R 3。 ( 5) 则此时图像平面到虚拟正面平行投影平面 的最终旋转变换矩阵为 R ia = R 3R 2R 1; ( 6) 定义求精优化函数为
R 1。
= z aA
( 5)
3 实验与分析
为测定单目视觉定位方法的准确性 , 利用现有 的飞行器前视图像序列进行了验证。 试验摄像机内参数为: 焦距 120 mm , 像平面大 小 2317 ×151 7 mm , 像平面分辨率 1 280× 850, 像元 大小 14 Λm × 14 Λ m , 像中心偏移 18 Λ m × 16 Λ m,量 化误差 1 �2 象素 , 标志点提取误差 2 象素。载机测角 误差 0 11° , 测距误差 01 3 m �km 。 设置的定位参照物标志点坐标如表 1 所示。
- s in Α sinΒ sin Α cosΒ
( 2)
X b 为机体坐标, X c 为像机坐标, T b 为坐标原点偏移 图 1 单目 视觉 定位 技术 坐标 系及 投影 平面
量 , 在单目像机结构设计确定情况下 , 其值确定。 21 2 标志物虚拟正面平行投影的计算
其次 , 定义前视视野地面坐标系的正面平行状 态: 像机坐标系原点与视野地面坐标系的 Z 轴上 , 视 野地面坐标系的 Z 轴指向像机坐标系 Z 轴的负向, 此时 , 可以构造一个旋转分量实现前视视野区域在 正面平行投影坐标系与视野地面坐标系之间的变 换。 (1 ) 计算前视视野区的虚拟正面平行投影: 先 将前视视野区由视野地面坐标系变换为正面平行投 影状态, 根据仿射投影变换计算出前视视野区在虚
( 3)
变换方程为
第1 期 X a = R a X + ta
赵天云等: 基于单目视觉的空间定位算法
49
( 4)
X a、 X 分别为目标标志点在虚拟正面平行投影 坐标系与航拍坐标系中坐标 , t a 为坐标原点偏移量。 此 时, 像机原点与进场点 ( 视野地面坐标系原 点) 的偏移量 t a 不会影响对单目像机姿态参数的计 算, 为减少下一步单目像机位姿估算的误差 , 这里可 根据图像中定位参照物标志点间的象素间距及其实 际几何间距, 利用小孔成像的线性模型估算 ta , 并使 用 进退法构造一维搜索区间, 使用 01618 法求得区 间内产生最小误差的一组参数。 213 像机位姿参数的计算 由计算机视觉原理 , 设定位参照物标志点在单 目像机像平面透视投影变换方程表示为
2 0 0 9 年2 月 第27 卷第1期
西北工业大学学报
Journal of No r thw estern Polytechnica l U n iver sity
Feb. 2009 V ol. 27 No. 1
Ξபைடு நூலகம்
基于单目视觉的空间定位算法
赵天云1 , 郭 雷1 , 张利川2
(西北工业大学 自动化学院, 陕西 西安 710072; 2. 长安大学 信息工程学院, 陕西 西安 710043 )
2 单目像机空间定位算法
21 1 像机坐标系的确定 假设成像平台是一个具有二自由度的平台, 它 可以调整相对于机体的方位角 Α和俯仰角 Β, 则由机 体坐标系 b 到摄像机坐标系 c 的变换矩阵为
X c = R bX b + T b
(1) co sΑ
式中 0
Rb =
-
sin Α
co sΒ - cosΑsin Β sin Β cosΑ cosΒ
1 单目视觉定位原理
在单目视觉定位的一般应用中 , 都需要对像机
Ξ
收稿日期: 2 00 7210 2 21
基金项目: 国家自然科学基金 (6 06 75 01 5) 资助
作者简介: 赵天 云 (1 970 - ) , 西北工业大学博士生, 主 要从 事控 制科 学与 控制 工程 的研 究 。
48
西
Ra =
定义 n 1 为视野地面坐标系内高程增加方向的 单位矢量, n 2 为视野地面坐标系内航向的单位矢量 ,
n′ 1 和 n′ 2 为图像对应方向上的单位矢量 , 且旋转角
不超过 Π , 唯一旋转轴为 r , 则可确定旋转矩阵
A 11 A 21 A 31 A 12 A 22 A 32 A 13 A 23 A 33