单目机器视觉测距技术在无人机自动着舰中的应用

・20・
新技术新仪器
2003 年第 23 卷第 6 期
v 0、 d y 必不可少, 这就需要进行摄像机参数的标定。 在
机器视觉中, 摄像机校正参数分为内部参数和外部参 数, 内部参数确定了摄像机内部的几何和光学特征, 不 随摄像机的移动而改变; 外部参数是确定摄像机像平 面相对于客观世界坐标系统的三维位置和朝向, 摄像 机移动后, 需重新校正。 本文中虽然摄像机随无人机运 动, 但我们所需要的参数都是内部参数, 不需要在无人 机飞行过程中重新标定。 因此, 只需预先标定摄像机的 内部参数, 就可以在无人机飞行过程中用来计算无人 机与前方舰艇的距离。 412 摄像机标定 摄像机标定需要先知道一组像平面点的客观世界 坐标和帧存坐标。 从客观场景到数字图像的成像变换 可看作由图 5 所示的 3 步组成。 具体变换过程见图 4 和图 6。
・18・
新技术新仪器
2003 年第 23 卷第 6 期
单目机器视觉测距技术在无人机自动着舰中的应用
杨迎化, 唐大全
( 海军航空工程学院自动控制系, 山东 烟台 264001)
摘 要: 介绍了机器视觉的概念, 探讨了机载单目机器视觉在无人机自动着舰方案中的应用。 在对前
方舰艇进行快速探测以及对摄像机进行预先标定的基础上, 本文利用机器视觉理论与方法, 以及摄像机内 部参数和透视投影几何关系, 计算无人机与前方舰艇相对距离。 最后展望了机器视觉的发展及应用前景。 关键词: 无人机; 自动着舰; 机器视觉; 摄像机; 标定; 测距 中图分类号: P 215; V 279 文献标识码: A 文章编号: 100226061 ( 2003) 0620018204
缘线内的区域即为 AO I 。 舰艇检测是基于灰度梯度的原则: 一般地, 在舰艇 的稳定尾流范围内, 可以认为在无人机和前方舰艇之 间的 AO I 区域内的灰度变化是比较平缓的, 但在海面 和舰艇尾部的相交处, 会形成灰度由亮到暗的水平边 缘, 检测到此边缘就可认为检测到了舰艇尾部。 在 AO I 中, 由下而上, 按水平线逐行扫描, 计算每 行灰度的平均值, 如公式 ( 1) rb ( r) 1 ( 1) G ( r) = 6lb ( r) f ( r, c) [ rb ( r ) - lb ( r ) ] c= 式中: lb ( r ) 为 AO I 中第 r 行的左坐标; rb ( r ) 为 AO I 中 第 r 行的右坐标; f ( r , c ) 为像素 ( r , c ) 的灰度值; G ( r ) 为 AO I 中第 r 行的灰度平均值。 当探测到前方舰艇时, G ( r ) 会急剧变化, 这说明我 们已经检测到前方舰艇的尾部。 以此为基础, 我们来讨 论如何尽可能早的计算出无人机与前方舰艇的距离。
示为
X
c
由公式 ( 3) 及 y 0 = 0, a y = f d y , 公式 ( 2) 可整理为 ( 9) + a rctan [ v 0 - v ) a y ]} d = h tan{ Α 可见, 求内部参数时不必分别求出有效焦距 f 和 像素对应的物理尺寸 d y , 而只需要二者的比值 a y。
3 距离测量
图像采集是将客观世界的三维场景投影到 CCD 摄像机的二维像平面 (CCD 光敏矩阵表面) 上, 这个投 影一般采用几何透视变换来描述。 在本文中采用小孔 成像模型来描述此透视变换, 如图 3 所示。 图中, f , Α ,h 分别为 CCD 摄像机的有效焦距、 俯仰角度和安装高度 ( 镜头中心到海面的高度) ; (x 0 , y 0 ) 为光轴与像平面的 交点, 作为像平面坐标系的原点, 一般取为 ( 0, 0 ) ; (x ,
空间中任何一点 P (X c , Y c , Z c ) 在像平面上的投影 位置 P ( x , y ) 可以用小孔模型表示
x= fX c f Yc , y= Zc Zc X
( 5)
用齐次坐标与矩阵形式将 ( 5) 式表示为
x Zc y = f
0
f
0 0 1
0 0 0
c
0 0
Yc Zc
( 6)
1
0
1
0 前言
机器视觉就是用计算机模拟人眼的视觉功能, 对 “目标图像” 进行数字化, 从图像或图像序列中提取信 息, 对客观世界的三维景物和物体进行形态和运动识 别, 并通过计算机处理进行判断, 最终用于实际检测、 测量和控制[ 1 ]。 机器视觉在军事方面可用于自动监视军事目标, 自动发现、 跟踪运动目标, 自动巡航捕获目标和确定距 离。
(D ep artm en t of A u tom atic Con tro l, N aval A eronau tical Eng ineering In stitu te, Yan tai 264001, Ch ina)
Abstract: T he p ap er in t ro duces the co ncep t io n o f m ach ine v isio n, d iscu sses the app lica t io n o f the a ir2 bo rne m o no cu la r cam era m ach ine v isio n in the sy stem o f au to 2land ing o n deck o f U AV. O n the ba sis o f qu ick detect io n o f the f ro n t nava l sh ip and befo rehand ca lib ra t io n o f cam era, u sing the theo ries and m eth 2 o d s o f m ach ine v isio n, the in t rin sic p a ram eters o f cam era and p ro ject ive geom et ry, the d istance betw een the U AV and the nava l sh ip is recko ned in the p ap er. F in lly it p ro sp ect s the developm en t and app lica 2 t io n s o f m ach ine v isio n. Key words: U AV ; au to 2land ing o n deck; m ach ine v isio n; cam era; ca lib ra t io n; d istance m ea su rem en t
The Appl ica tion of D istance M ea surem en t Ba sed on the M onocular Cam era M ach ine V is ion in the System of Auto- land ing on D eck of UAV
YAN G Y ing 2hua, TAN G D a 2quan
摄像机被固定在无人机的整流罩上, 摄像机利用 动态图像识别与跟踪算法, 向控制系统反馈目标 ( 舰 艇) 和自身 ( 无人机) 的状态与位置信息, 使无人机跟踪 航行中的舰艇, 始终保持舰艇处于视野的正中位置。 其 工作原理如图 2 所示。
图 2 无人机机器视觉导引原理图
航空计测技术 在此着舰过程中, 由于无人机对反馈的控制信号 作出反应存在一定的时间延迟, 所以有必要获取无人 机与舰艇的相对距离, 确保无人机在撞网前能够及时 地对准拦截网。 本文探讨了利用机载单目机器视觉测 量无人机与舰艇相对距离的方法。 的计算公式为
Xw
Yc Zc
=
R T O wk.baidu.com 1
T
Yw Zw
y ) 为海面上一点 P 在像平面上的投影坐标。
图 4 帧存坐标和投影坐标变换示意图
O 1 ( u 0 , v 0 ) 是 CCD 摄像机光轴与像平面交点 ( x 0 , y 0 ) 的帧存坐标, 该点一般位于帧存图像的中心处, 但
由于摄像机制作的原因, 也会有些偏离, 因此需要对其 进行标定。 设帧存中的一个像素对应于像平面上 x 轴 与 y 轴方向上的物理尺寸分别为 d x , d y , 则有变换关 系
新技术新仪器
・19・
+ a rctan [ ( y 0 - y ) f ]} d = h tan{ Α
( 2)
2 前方舰艇探测
为了便于计算, 本文假设: ①舰艇以比较平稳的速 度在中等海情下航行; ②无人机已经进入末段跟踪阶 段, 无人机与舰艇的速度差基本稳定; ③此舰艇周围没 有其它舰只, 舰艇的尾流稳定。 探测目标是前方舰艇, 因此, 我们只需将搜索的区 域由整个图像缩小到舰艇的尾流范围内, 图像中的其 它区域可以不必考虑, 这样可大大提高处理速度。 舰艇 尾流 范 围 内 的 区 域 就 称 为 感 兴 趣 区 (A rea of In te 2 rest, 简称 AO I) 。 为此在区域增长算法的基础上进行
图 1 无人机末段撞网回收示意图
1 总体方案设计
在某型无人机自动着舰 ( 驱逐舰) 方案中, 无人机 末段撞网回收采用单目机器视觉导引, 如图 1 所示。
收稿日期: 2003206204 作者简介: 杨迎化 ( 19792) , 男, 硕士研究生, 主要研究方向: 飞 行控制系统及其仿真与自动检测; 唐大全 ( 19652) , 男, 副教授, 硕士生导师, 主要研究方向: 飞行控制系统及其仿真, 自动检 测, 惯性导航技术。
图 6 摄像机标定几何模型
程的个数大大超过未知数的个数, 从而用最小二乘法 求解以降低误差造成的影响, 得到投影矩阵M , 然后由 此分解出内外参数M 1 和 M 2。
41215 求解无人机与舰艇的距离
41211 从客观世界坐标到摄像机坐标的变换 考虑到刚体的情况, 则从客观世界坐标 (X w , Y w , Z w ) 到摄像机坐标 (X c , Y c , Z c ) 的变换可用齐次坐标表
Hough 变换, 确定舰艇尾流范围的两条边缘线, 两条边
图 3 单目机器视觉测距几何模型
4 摄像机内部参数的标定
411 摄像机内部参数
在公式 ( 2) 的参数中, h 可由机载设备提供, Α可直 接 测量得到, y 0 一般取作 0, f 和 y 是未知的。 f 是 CCD 摄像机的有效焦距, 属于内部参数, y 是目标点在 CCD 像平面上的投影坐标在 y 轴方向上的分量, 称为 像平面坐标, 单位是 mm 。由于数字图像存放于计算机 内的存储器中, 而我们通过图像处理只能获得目标点 在计算机内存中的坐标, 称之为帧存坐标 (u , v ) , 单位 是像素 (p ixels) 。 如图 4 所示。 因此, 确定像平面坐标需 要将计算机内存中的帧存坐标转换到像平面坐标系统 中。
41213 从像平面坐标到计算机帧存坐标的变换
用齐次坐标和矩阵形式可将式 ( 3) 表示为
u v =
1 dx 0 0
0 1 dy 0
u0 v0
x y
( 7)
1
1
1
41214 从客观世界坐标到计算机帧存坐标的变换 ( 6) 、 ( 7) 结合起来可得 将式 ( 4) 、
u
图 5 摄像机成像坐标变换步骤
u= x y
dx
+ u 0, v =
dy
+ v0
( 3)
在这里, 点 P 就是检测出的前方舰艇尾部阴影上 的一点。 根据几何关系, 点 P 与镜头中心的水平距离 d
式 ( 3 ) 中, v 可由图像处理获得, 计算 y 需要预先 确定 v 0 和 d y 的值。因此为计算 ( 2) 式, 摄像机参数 f 、
ax
0
ay
u0 v0
0 0 0
Xw R T O 1 Xw
T
Zc v =
0 0
Yw Zw
1
0
1
Xw
1
Yw Zw
= M 1M
Yw
2
Zw
=M
( 8)
1
1
其中, a x = f d x , ay = f d y , M 1 为内部参数, M 2 为 外部参数, M 为投影矩阵。 式 ( 8) 表示了空间一个点的 帧存坐标和空间坐标的对应关系, 可以得到两个独立 的方程。 标定过程中, 一般取数十个已知空间点, 使方