单目变焦摄像机自运动的标定测量法

单目变焦摄像机自运动的标定测量法
张小苗，尚 洋，于起峰
(国防科技大学航天与材料工程学院，长沙 410073)
摘 要：为了在单目摄像机变焦情况下测量其自运动参数，提出一种单目变焦摄像机自运动的参数标定测量法。

在飞行平台着陆过程中，固连其上的单目俯视摄像机对包含已知世界坐标的特征点的静态着陆平面进行连续拍摄，该方法利用单帧图像可解算得到摄像机拍摄当时的等效焦距及其相对于着陆平面的6自由度位置，结合多帧信息即可对摄像机自运动的运动速度进行估计，进而转换为飞行平台的着陆运动参数。

实验结果证明该方法可行有效。

关键词：摄像机自运动；单目视觉；标定
Ego Motion Measurement of Monocular Zooming Camera
Based on Calibration
ZHANG Xiao-miao, SHANG Yang, YU Qi-feng
(College of Aerospace and Material Engineering, National University of Defense Technology, Changsha 410073)
【Abstract 】In order to measure the ego motion of the monocular zooming camera, this paper presents a method named Para-Calibration measurement. When the flying platform is landing, the downward-looking monocular camera fixed to it keeps shooting the static landing plane, on which there are several feature points with world coordinates known. On this condition, the method presented can calculate the equivalent focal lengths and the 6 DOF position relative to the landing plane by one frame. Then, the velocity of ego motion can be estimated by combining sequential frames and the landing motion will be drawn. Experimental results show that the method is practicable and efficient. 【Key words 】camera ego motion; monocular vision; calibration
计 算 机 工 程Computer Engineering 第34卷 第7期
Vol.34 No.7 2008年4月
April 2008
·博士论文·
文章编号：1000—3428(2008)07—0029—03
文献标识码：A
中图分类号：TP391
基于视觉的自主降落导航对众多飞行平台而言是一个研究热点。

火星登陆器通过DIMES 系统的单目摄像机对欲降落的火星表面连续拍摄3幅图像，并与惯性测量单元和激光测高仪的信息加以融合，实时得到当前着陆器的着陆横向速 度[1]。

文献[2]利用对极几何的原理，根据2幅无人直升机停机坪的图像上的对应点对，计算出当前无人直升机的着陆运动参数。

文献[3]对当前基于计算机视觉的直升机位姿估计方法进行了分类和综述，为类似的视觉系统的设计和相关问题的研究提供了参考。

文献[4]研究了一种应用于无人直升机自主着舰的双目立体计算机视觉系统及相关计算机视觉技术，通过识别代表着舰区域的特征图案，利用该特征图案的图像信息求解直升机与母舰的相对位置、姿态和运动参数。

1 摄像机自运动及成像模型
在本文中，摄像机成像模型选择线性的中心透视投影模型，即针孔模型，并假设镜头像差已知。

在t 时刻，令摄像机坐标系t W 在世界坐标系内的6DOF 位置t W =[]T
,,,,,t t t t t t x y z x y z θθθ。

摄像机在静态环境中发生自运动时，t W 随着时间的变化而变化，其变化量用t α表示，即t α=t ∆W 。

如图1所示，世界坐标系为-W W W W O X Y Z , 1p ,
2p , 3p 和4p 是地面上的4个特征点。

在1t , 2t 时刻，摄像机
坐标系1
t W 和2
t W 相对于世界坐标系的旋转矩阵和位移矩阵分
别为1R , 1T 和2R , 2T ；而两时刻摄像机坐标系之间的相对旋转矩阵21R 和位移矩阵21Τ与21
t t α相对应。

着陆平面
p p 图1 摄像机坐标系在世界坐标系内的自运动
2 单目变焦摄像机自运动的标定测量法
通常情况下，为了获得较高的解算精度，需要对摄像机的内参数进行事先标定。

但在实际任务中，定焦摄像机常无法在作用高度内获得足以用于运动分析的图像，因此摄像机变焦成为许多工程应用的实际需求之一。

2.1 基于对应点的摄像机自运动分析
本文采用单目摄像机两时刻拍摄的图像之间的对应点集
作者简介：张小苗(1979－)，女，博士研究生，主研方向：图像测量，运动测量，计算机视觉，模式识别；尚 洋，讲师、博士；于起峰，教授、博士生导师
收稿日期：2007-04-10 E-mail ：sharron_nudt@
来分析摄像机自运动流程如图2所示。

图2 基于对应点的摄像机自运动分析流程
基本矩阵F 与2幅图像的对应点集的关系为
'T 0=q Fq (1) 其中，↔'q q 是两幅图像的任意一对匹配点。

求解式(1)至少需要7对匹配点，而常用的8点算法[5]等都可以用于计算基本矩阵。

由于摄像机没有事先标定，因此还应实时对摄像机的内参数矩阵K 进行自标定。

传统自标定方法[6-7]种类很多，但每种自标定方法都要求具备特定的已知环境信息，适用条件较为严格。

此类方法原理明晰，但有很大的应用局限性： (1)针对本文涉及的着陆平面的投影，对应点集的分布构成了退化结构，即使可以得到任意多的点匹配，仍可能有多个运动解[8]。

(2)由于未考虑着陆平面上的任何绝对量，因此即使分解得到了正确的T 和R , T 也并不是真实值，而是包含一个尺 度因子。

2.2 摄像机自运动的标定测量法
为了保证在退化结构下摄像机自运动求解的唯一性，本文实现了一种单目可变焦摄像机自运动的标定测量法，只要地面上有4个以上共面而不共线的已知世界坐标的特征点(图1中的i p )，就可以利用单幅图像直接解算得到拍摄时刻摄像机坐标系相对于世界坐标系的位移和旋转矩阵，对应于图1中的1T 和1R 。

同理可得下一拍摄时刻的2T 和2R 。

根据旋转矩阵分解出姿态角即得到所有6DOF 静态参数。

结合拍摄的时间间隔即可得到摄像机在世界坐标系内的运动速度等动态参数。

2.2.1 静态参数的求解
特征点与其对应图像点满足中心透视投影关系如下：
0033310010
11x y X x f x Y y f y Z λ××⎡⎤
⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎡⎤⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
⎣⎦
R T (2) 因为所有特征点共面，即0Z ≡，所以中心投影关系可简
化为
00
1
0346
7
010
11x t y t t x f x r r x X y f y r r y Y r r z λ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ (3) 则投影矩阵亦可随之简化为33×矩阵
006
107
0306
407
067
x x x t t y y y t t t f r x r f r x r f x x z f r y r f r y r f y y z r r z +++⎡⎤⎢⎥=+++⎢⎥⎢⎥⎣
⎦
M (4)
结合式(3)，有
()()()()01389114578911x
m X m Y m m X m Y m y
m X m Y m m X m Y m ⎧=++++⎪⎨
=++++⎪⎩ (5)
根据式(4)，令11i i c m =，则式(5)可变换为 0138945789Xc Yc c xXc
xYc x Xc Yc c yXc
yYc y ++−−=⎧⎨
++−−=⎩ (6)
当有4个以上共面而不共线的特征点时，即可求解式(7)，
得到i c (01345789i =, , , , , , , )，其中，
()()()()()()0006000611071107303043064306540754077070868697
11///////x x t x x t
x t t x t t t y y t y y t
y t t y t t t t m f r x r c f r x r z m f r x r c f r x r z m f x x z c f x x z z m f r y r c f r y r z m f r y r c f r y r z m f y y z c f y y z z m r c r m r m z =+⎧=+⎪=+=+⎪⎪=+=+⎪=+⎪=+⎪=+⇒⎨=+⎪=+⎪=+⎪=⎪==⎪⎪=⎩
97/t t z c r z ⎧⎪
⎪⎪⎪⎪⎪
⎨
⎪⎪
⎪⎪
⎪⎪=⎩ (8) 此外，由式(8)可将旋转矩阵R 的前两列元素表达为
()()()()008109014085
09346879t t x
x
t
t y y t t c x c z c x c z r r f f c y c z c y c z r r f f r c z r c z −−⎡⎤
=
=
⎢⎥⎢⎥
⎢⎥
−−⎢⎥==⎢
⎥
⎢
⎥
==⎢⎥
⎢⎥⎣
⎦
(9) 则根据R 的单位正交性可以得到
()()()()()()()()220084082
8
22222
1095092
9222
00810940850989
110
x y t x y t x y c x c c y c c f f z c x c c y c c f f z c x c c x c
c y c c y c c c f f ⎧−−++=⎪⎪⎪−−⎪++=⎨⎪
⎪−−−−⎪++=⎪⎩
(10) 一般情况下，摄像机主点均可简化认为是图像中心，则
0x , 0y 可作为已知量。

因而式(10)是一个关于21x f , 21y f 和21t z 的线性方程组。

x f , y f 和t z 都是大于0的，可以通过求
解式(10)唯一确定。

根据式(8)，易知
()()3070t t t x
t t t y
x c z x z f y c z y z f =−⎧⎪⎨
=−⎪⎩ (11) 将x f , y f 和t z 代入式(11)，即可求得t x 和t y ；代入式(9)，即可求得0r , 1r , 3r , 4r , 6r 和7r 。

进而可以从旋转矩阵的前两列元素分解出旋转角t x θ、t y θ和t z θ。

至此，当前时刻摄像机的等效焦距及6DOF 位置得以线性求解。

2.2.2 动态参数的求解
在任意时刻i t ，摄像机自运动的静态参数为t W 。

为了获得当前时刻摄像机自运动的动态参数，最简单的方式就是对当前时刻的静态参数与相邻前一时刻的静态参数进行差分运算，设两时刻的时间间隔为τ，即有
()-1/i i t t τ=−t αW W (12) 为了提高动态参数求解的鲁棒性，工程上对连续多个时刻的静态参数进行二次拟合，求取静态参数的修正值后，再计算该时刻摄像机自运动的速度值。

3 实验与分析
3.1 数字仿真实验
已知4个共面特征点的世界坐标为(0,0,0), (20,0,0)，
()10200，
，及(30,20,0)；图像大小为640480×，因此主点坐标为()320240，
；图像坐标点由仿真数据生成。

连续拍摄20幅图像，40x f =, 60y f =, t W =[]T
50801000.20.30.5;
t α=[]T
-2-3-4-0.008-0.01-0.015, -1x f ∆=, 1.5y f ∆=−。

在没有误差的情况下，采用本文所述方法得到的测量值也没有误差。

仿真实验中给4个特征点的图像坐标值同时加入同等水平的随机噪声(高斯分布)，共进行了4组实验，噪声均值为0，方差依次为0.01, 0.02, 0.03和0.04。

测量得到的y f 相对于真值的相对误差如图3所示。

图像坐标的提取误差越大，测量值的相对测量误差均值也随之增大。

x f 及t W 的测量值较真值的相对误差具有类似的分布。

-1.0
-0.8-0.6-0.4-0.20.00.20.40.6
f y 误差的方差/像素
图像/帧
图3 特征点误差引起的f y 测量值较真值的相对误差
由于t W 的测量误差可能导致采用差分运算得到的t α误差较大。

在工程应用中，通过对连续3个t W 进行最小二乘拟合的方法，得到对该子序列中第3个t W 的修正值，再使用差分方法得到t α。

以上述误差最大(均值为0，方差为0.04)的测量实验为例，如图4所示(t α中的角速度有类似情况)，测量值得到了修正。

线速度测量误差/(m ·s -1)
20406080100120140123456789101112131415
1617181920
图像/帧
图4 由W t 测量值和修正值分别得到的t
α中的线速度
经统计，由t W 的测量值和修正值分别差分得到的t α较真值的相对误差如表1所示。

可以看出，使用修正值得到的动态参数相对误差明显降低。

表1 由W t 测量值和修正值分别得到的t
α的相对误差
t x ∆ t y ∆ t z ∆
t x θ
∆ t y θ∆ t z θ∆
测量值 0.028 0.045 0.069 0.372 0.141 0.015 修正值
0.019 0.035 0.009 0.251 0.129 0.012
3.2 实物仿真实验
对包含已知地面坐标的特征点的平面的进行连续拍摄，
得到6帧图像，首先提取特征点，如图5
所示。

(a)第1帧 (b)第2帧
(c)第3帧 (d)第6帧
图5 实拍图像的特征点提取
使用本文方法可以得到拍摄每幅图像时摄像机的等效焦
距，从计算结果可知：从第1帧到第2帧有一个明显的变焦过程，这恰与实际操作相符合。

后面的拍摄没有变焦，测量误差则主要来源于数字仿真中所述的特征点图像坐标的提取误差。

摄像机坐标系在自运动过程在世界坐标系内的6DOF 位置如图6所示，动态参数依前述方法即可获得。

200
400
600700
400
800
1 2001 600
1 8000
500
1 0001 500
2 0002 500
1
234
56
X W /c m
Z W /c m
Y W /cm
图6 摄像机坐标系在自运动过程中的6DOF 位置
以上实验证明，本文所述方法原理易于实现，在拍摄对象呈退化结构时仍然可以得到真实、可靠的摄像机自运动参数，并且允许摄像机在拍摄过程中自由变焦，可以满足工程应用的实际需求。

4 结束语
为了在线获得运动着的可变焦单目摄像机的运动速度，本文研究实现了一种单目可变焦摄像机自运动的参数标定测量法。

任务背景决定了拍摄对象为平面，基于多幅图像点匹配对摄像机本质矩阵进行估计的方法在这种退化情况下有可能无法得到正确解，因此，本文方法借鉴了基于已知参考标志的摄像机参数标定的思想，通过固连于飞行平台底部的单目俯视摄像机对包含已知世界坐标的特征目标的着陆平面的连续拍摄，在认为主点就是图像中心的前提下，利用单帧图像就可以解算得到摄像机当前的等效焦距及其相对于着陆平面的6DOF 位置，结合多帧信息即可对摄像机自运动的动态参数进行估计。

因为摄像机坐标系与飞行平台质心坐标系之间的相对位置不变，摄像机的自运动参数可通过坐标变换直接转换为飞行平台的着陆运动参数。

实验结果证明方法可行有效。

（下转第37页）
入安全政策机构。

结合各规则和定义来构造各种模块，再添加必需的安全审计和风险预警模块，构成了如图1所示的模型实施框架。

操作背景
操作结果
动态可
信度量
图1 模型的实现框架
图1中的主体、客体以及行为这3个安全要素构成一个原子操作时需要经历一个访问控制过程，访问请求和访问是行为在被确认前后的2种不同形式。

主体对客体发出的访问请求是申请建立一个原子操作阶段，经过访问控制决定是否允许这个原子操作执行。

执行清单模块对应理论模型中主体的执行集合。

任何主体都要提供执行集合，这个集合是判断该主体在实际工作流程中是否确实可信的重要依据，系统中所有主体的执行集合由执行清单模块来管理。

执行清单模块对主体执行集合进行的保护主要体现在存储、保护和索引等方面。

静态可信度量模块的主要功能是检测主体的执行清单中是否存在非法操作，检验主体的实际工作流程涉及的操作与提交的执行集合是否相符，如果不符则说明主体执行了某些不可信的操作。

执行描述模块把根据一次原子操作的执行条件和执行结果提交给动态可信度量模块，作为进行动态可信度量的依据。

动态可信度量模块把执行描述模块提交的执行条件和执行结果与系统安全风险之间的关系生成可度量的一系列参数，用来表示主体行为的可信度，并根据制定的安全门限决定是否允许这个操作执行。

行为仲裁控制模块根据可信度量的结果决定是否允许这个操作执行。

安全门限在这个过程中发挥了重要作用。

安全政策机构是对安全政策进行管理和更新的组件，安全政策是对系统进行安全分析和制定安全门限的依据，伴随着系统的更新以及环境的变化会有相应的安全政策与之相适应，保证安全性和可用性的实效。

因为安全是一个动态的概念，所以任何安全功能的实现都离不开安全政策的合理制定。

3 结束语
本文从理论上提出了一种主体行为可信度量模型，该模型是针对目前操作系统本身存在的不足，即绝大多数研究只偏重于主体身份的可信认证或者一致性检测而忽略了攻击的发生所依赖的系统本身条件这个最根本的前提，通过对实际信息系统的各种安全要素进行抽象提出的。

本模型从主体的行为方面为甄别不合法的程序和代码提供依据，合法的程序和代码试图执行未授权操作也受到严密的监控，根据适当的安全政策来制定不同的安全阈值，使得在保证实用性时具有充分的主体行为可信度量依据。

本模型不但能够检测出攻击和感染源，而且能对潜在的攻击进行预警，为未知攻击的免疫提供依据。

目前实现本模型的关键问题是在具体信息系统环境下做出完备的安全风险评估以及确定合适的阈值。

对于一些工作流程相对固定的信息系统，本模型具有较高实用性。

参考文献
[1] Barrantes E G, Ackley D H, Forrest S, et al. Randomized Instruction
Set Emulation to Disrupt Binary Code Injection Attacks[C]//Proc. of CCS’03. [S. l.]: ACM Press, 2003.
[2] 李益发, 沈昌祥. 一种新的操作系统安全模型[J]. 中国科学:
E辑, 2006, 36(4): 347-356.
[3] Bell D E, LaPadula L J. Secure Computer Systems: A Mathematical
Model[R]. The MITRE Corporatoin, Technical Report: M74-244, 1973.
[4] Biba K J. Integrity Considerations for Secure Computer System[R].
PSAF Electronic System Division, Hanscom Air Force Base, Technical Report: ESD-76-372, 1977.
[5] Zhou Zheng, Zhang Jun, Li Jian, et al. Protecting Terminals by
Security Domain Mechanism Based on Trusted Computing[J].
Wuhan University Journal of Natural Sciences, 2006, 11(6): 1437-1440.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ （上接第31页）
参考文献
[1] Johnson A E, Cheng Yang, Matthies L H. Machine Vision for
Autonomous Small Body Navigation[C]//Proc. of IEEE Aerospace Conference. [S. l.]: IEEE Press, 2000.
[2] Shakernia O, Koo T J. Vision Guided Landing of an Unmanned Air
Vehicle[C]//Proceedings of the 38th Conference on Decision & Control. Phoenix, Arizona, USA: [s. n.], 1999.
[3] 刘士清, 胡春华, 朱纪洪. 基于计算机视觉的无人直升机位姿估
计方法研究[J]. 计算机工程与设计, 2004, 25(4): 564-568.
[4] 邱力为, 宋子善, 沈为群. 用于无人直升机着舰控制的计算机视
觉技术研究[J]. 航空学报, 2003, 24(4): 351-354. [5] Hartley R I. In Defence of the 8-point Algorithm[C]//Proceedings the
5th International Conference on Computer Vision. Santa Barbara, USA: [s. n.], 1995.
[6] 邱茂林, 马颂德, 李毅. 计算机视觉中摄像机定标综述[J]. 自
动化学报, 2000, 26(11): 43-55.
[7] 孟晓桥, 胡占义. 摄像机自标定方法的研究与进展[J]. 自动化学
报, 2003, 29(1): 110-124.
[8] 胡占义, 雷成, 吴福朝. 关于P4P问题的一点讨论[J]. 自动化
学报, 2001, 27(6): 770-776.
[9] 于起峰, 陆宏伟, 刘肖琳. 基于图像的精密测量与运动测量[M].
北京: 科学出版社, 2002.。