基于双目立体视觉的摄像机外参数快速在线自标定算法

基金项目：国家863计划项目（2007AA04Z225）；国家自然科
学基金项目（60605028）；上海市青年科技启明星计划项目（07QA14024，07QH14006）；上海市曙光计划项目（07SG47）；上海市重大专项（09ZZ091）
!!!!!!!!!!!!!!!!
基于双目立体视觉的摄像机外参数快速在线自标定算法
王涛，谢少荣，潘智昊，罗均
（上海大学机械电子工程与自动化学院，上海200072）
1引言目前，超小型无人飞行器的降落一般都是采用人工控制，不利于多架次接力飞行，不利于增强续航能力，因此需要无人机能自主降落在既定目标上。

随着计算机视觉尤其是双目视觉的快速发展，为无人机自主着陆提供了很好的工具。

但是由于传统的双目视觉系统的光轴夹角是固定的，存在盲区。

因此，我们提出了一种仿生双眼异向运动的变视轴夹角双目视觉系统。

模仿人双眼的异向运动，不仅可以解决盲区的问题，还可以使着陆目标始终成像于摄像机的图像中心。

2视觉模型与摄像机自标定2.1
双目立体视觉系统
双目立体视觉系统是模仿人眼的视差效应，利用双摄像机作为传感器来模拟人的双眼，通过拍摄同一场景的两幅不同图像，并基于视差原理来恢复场景或物体的三维几何信息［1］。

和单目视觉系统一样，双目系统中采用的摄像机模型也是针孔模型即透视投影模型。

如图1所示，在此模型中，假定两摄像机中心连线的中点为世界坐
标系的原点，两光轴与基线共面，定义此平面为XZ 平面，两个摄像机中心之间的距离为B ，
摄像机光轴在XZ 平面内与Z 轴相交于点（0，0，Z ），视轴夹角为2θ待标定。

I 1和I 2是两个摄像机的像平面，（x 1，y 1）和（x 2，y 2）分别是对应点在两个像平面上的图像坐
标，P （X ，Y ，Z ）为世界坐标系下的空间点。

首先，根据图1立体视觉模型中的几何关系可知：
Z =B 2
cot θ（１）x 1=X cot θ（２）x 2f =X cot θr+X sin θ
（3）在式（2）和式（3）中，r 是从光心到两光轴的汇聚点的距离，属于未知量。

由几何关系可知：
r =B -f （４）
摘要：
提出了一种基于双目立体视觉的摄像机外参数在线自标定算法。

该算法采用理想的小孔成像模型，事先离线标定好摄像机的内参数，且各项内参数在自标定过程中均不发生变化，通过双目系统采集的二维目标图像，进行匹配和分析计算，来实时标定视觉系统的位置参数即摄像机的外参数。

由于该算法可以实现摄像机快速在线标定，可以实时获得视觉系统位置参数，故可为无人机的自主着陆提供高度信息。

关键词：
双目立体视觉；摄像机外参数；自标定中图分类号：TP242.62文献标识码：Ａ文章编号：１００２－２３３３（２００９）０１－０1０4－０３
A Quick and on-Line Self-Calibration Algorithm for External Camera Parameters
Based on Binocular Vision
WANG Tao,XIE Shao-rong,
PAN Zhi-hao,
LUO Jun
（School of Mechanical and Electronic Engineering and Automation,Shanghai University,Shanghai 200072,China ）
Ａｂｓｔｒａｃｔ：This passage introduces a quick and on-line self-calibration algorithm for external camera parameters based on binocular vision system.The algorithm using the model of pin-hole which needs to be calibrated the interior camera parameter before self -calibration.The interior parameter cannot be modified during self -calibration.In order to calibrate vision system position parameter in real time,matching and analyzing calculation are necessary through the 2-dimension target image from binocular vision system.For this algorithm can calibrate on -line camera parameters quickly,the vision system position parameter can be gotten and the altitude information of the UAV when it landing can be obtained.
Ｋｅｙｗｏｒｄｓ：binocular vision;external camera parameters;self-calibration
图1
双目立体视觉模型
B
x 2I 2
f （x 2，y 2）
（０，０，０）（x 1，y 1）
I 1
x 1
X
f r r
θθ
θ
θ
ｚ１ｚ２
Z Ｐ（X ，Y ，Z ）
（0，0，Z ）
ACADEMIC COMMUNICATION
学术交流
理论／研发／设计／制造
机械工程师２００９年第1期
104
联立式（2）、式（3）、式（4），消去r 和X ，可得：
Ｚ=－x 1x 2
B
12（５）
在式（5）中，两摄像机中心距离B 属于立体视觉外参标定，焦距f 则是内参标定，均可标定得到，因此只需要知道同一场景下不同图像中对应点的图像坐标x 1和x ２，便可确定出坐标Z ，
即无人机自主着陆的高度信息。

一旦确定了Z ，根据式（１）可确定视轴夹角θ，可为视觉系统提供参数信息，也就为着陆控制提供了保证。

2.2
双目摄像机自标定
立体视觉的标定是计算机视觉系统实现的前提和基础，就是通过建立出精确的模型参数来确定各个坐标系的关系。

在传统的立体视觉系统标定中，不但要确定两个摄像机的内参数，还要确定两个摄像机之间的相对位置和方向［2-3］，以便由2D 图像信息得出被测目标的3D 信息。

而在无人机着陆视觉系统中，由于需要实时地改变视轴夹角，也没有相应的标定参照物，故只能采用自标定进行摄像机标定。

在双目立体视觉中，存在着一种极线约束，是基于两幅图像上点的对应的基本几何约束关系［4］。

用矩阵解析式
可表示为：m T 2Fm 1=0（其中F=A -T r TRA -1
l 为基本矩阵
）由于在本课题中，内参A r 与A l 可事先离线标的好，故约束方程可重新写为：m T 2Em 1=0（其中E=RT 为本质矩阵）在本质矩阵E 中，R 为旋转矩阵，T 为平移向量t 的反对称矩阵，
T=［t ］X =
0-t z t y t z 0-t x -t y
t x
０
（６）
它描述了两个摄像机坐标系之间的相对关系，而与外部场景无关，是双目立体视觉内在的一种约束关系，因此可以求出摄像机的外部参数B 。

近十年来，许多学者对基本矩阵F 和本质矩阵E 的性质和应用进行了深入研究。

其中对于本质矩阵E 是一个具有5个自由度的秩为2的矩阵。

Faugeras ［5］等证明了当有５对匹配点时最多可有10个实解。

而当匹配点超过5个时，一般有唯一解，但在特殊情况下最多可有3个解。

目前一般选取8点（8点法）或更多的匹配点利用最小二乘法来求解本质矩阵，并对结果进行非线性优化以得到最优解。

2.3
图像特征点提取和匹配
从图像中提取特征点是匹配的第一步。

由于噪声、光照变化等因素的影响，存在着误匹配，我们采用了极线和视差连续性等约束条件。

另外，由于无人机着陆中通常会选取特征明显的着陆目标，其目标图像灰度变化明显，因此基于灰度的区域匹配方法成为首选，而在提取过程中我们采用了目前应用广泛的Harris 算子［6］。

特征点匹配的目标是要确定一个特征点匹配对集合。

这里，我们采用基于灰度互相关系数方法来计算相适度，以避免光照的影响因素。

设Ｓ（x ，y ）为（x ，y ）对应的两个邻域窗的相似度，I （x ，
y ）为目标图像（x ，y ）处的灰度值，I 为目标图像邻域窗的灰度平均值；
T （x ，y ）为源图像（x ，y ）处的灰度值，T 为源图像邻域窗的灰度平均值，则：
Ｓ（x ，y ）＝n -1
y ′=0Σm -1
x ′=0Σ（Ｔ（x ′，y ′）-T ）（Ｉ（x+x ′，y+y ′）-I ）（７）
Ｓ（x ，y ）越小表示相似性越强，如果某对点在两幅图像中均表现有最强相似性，则该对点即认为是匹配点。

3
标定结果
首先对双目立体
视觉系统中的云台进行内参的标定，方法采用Tsai 的两步法［7］。

两个云台型号均为Canon VC -C50iR ，对内参的标定结果见表1、表2。

下面在进行着陆实验中，初始着陆高度设定为3m ，双目视觉拍摄各个时刻着陆点的图像（假设各标定点共面）见图2~图7。

开始时，图像采样频率为2s ，当无人机着陆至1m 左右高度时，为了实现着陆控制的安全性和实时性，将采样频率提高至1s 。

算法结果见表3、表4。

通过比较，在无人机由3m 降至1m 过程中，该算法的误差在12％左右，而在1m 以内，误差可以控制在5％-
表１
右像机内部参数的标定结果
f
25.602C x
309.395C y
273.604S x
1.0157k
0.005
表２
左像机内部参数的标定结果
f
25.853C x
384.00
C y
288.00S x
1.0149k
-0.001
图3高度1.5m 时的着陆目标图像
图2高度3m 时的着陆目标图像
图4高度1m 时的着陆目标图像
图5高度0.5m 时的着陆目标图像
图6高度0.4m 时的着陆目标图像图7高度0.3m 时的着陆
目标图像
高度30002500200015001000700500400300
云台转值
2089B 1B 20232126
标定转角3.6°4.5°5.51°6.75°9.79°13.39°17.33°21.04°25.31°
高度30002500200015001000700500400300
标定高度34502175176016501120644470420285
误差15%13%12%10%12%8%6%5%5%
表3
云台偏转角度信息
表4标定高度结果与误差
105
机械工程师２００９年第1期
学术交流
理论／研发／设计／制造
ACADEMIC COMMUNICATION
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!8％，能满足自主着陆要求。

4
结
论
通过实验验证，此自标定算法的精度能满足无人机一般的自主着陆需求。

该算法运算速度较快，能适应1s 的采样频率，具有很好的实时性。

另外，此算法是对摄像机外参数的在线自标定，可获得视觉系统的位置信息，因此在工控方面也有一定的应用前景
［参考文献］
［１］马颂德，张正友.计算机视觉［M ］.北京：科学出版社，1997.［2］陈刚，陈华，车仁生.空间点的立体视觉传感器标定方法［J ］.光
学精密工程，2007，15（9）：1439-1444.
［3］周富强，邾继贵，杨学友，叶声华.CCD 摄像机快速标定技术［J ］.
光学精密工程，2000（9）：96-100.
［4］张广军.机器视觉［M ］.北京：科学出版社，2005.
［5］O.Faugeras and S.Maybank.Motion from Point Matches:Multiplictity
of Solutions ［J ］.The International Journal of Computer Vision ，1994，4（3）：225-246.
［6］Harris C J ，Stephens M.A combined corner and edge detector
［M ］.Britain:Manchester ，1998.
［7］Roger Y T.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses ［J ］.IEEE Journal of Automation ，1987，RA-3（4）.
（编辑明
涛）
作者简介：王涛（1984-），男，硕士生，研究方向为仿生眼与计算机视
觉技术。

罗均（1970-），男，教授，博士学位，主要研究方向为特种机器人，超小型飞行器。

收稿日期：2008-11-04
基金项目：国家863计划（2007AA04Z225）；国家自然科学基
金资助项目（(60605028）；上海市青年科技启明星计划（07QA14024）
!!!!!!!!!!!!!!!!
双眼运动控制生理神经回路功能图谱的创建
夏冰玉，罗均，李恒宇，谢少荣
（上海大学机电工程与自动化学院，上海200072）
1引言视觉是机器人获取外部信息最为主要的形式。

机器人在非结构环境的视觉技术主要包括：视觉侦察中的抗
振动技术；视觉跟踪技术；视觉检测中的深度信息获取及其精度技术等。

视觉专家从图像处理和运动控制的角度对这些视觉技术进行了长期卓有成效的研究，一定程度上解决了视觉中的基本问题，但机器人视觉系统在实际的较恶劣环境中应用时，往往不能平滑稳定地跟踪目标，会出现跟踪视频图像的跳动、跟踪目标的丢失以及图像
摘要：
机器人视觉系统在较恶劣的实际环境中应用时，往往不能平滑稳定地跟踪目标，会出现跟踪视频图像的跳动、跟踪目标的丢失以及图像模糊等。

面对存在的问题，视觉专家从图像处理和运动控制的角度对这些视觉技术进行了研究，一定程度上解决了视觉中的基本问题，但专家们尚无本质上的解决方法。

文中试图从人眼的生理学解剖学研究角度，通过对运动神经回路的分析，建立双眼球运动控制的生理神经回路及其各个神经环节的功能图谱，为演化出仿生机器人双目运动控制模型提供生理学基础，从而从本质上解决上述问题。

关键词：
机器人眼；仿生眼；仿人眼；眼球运动控制；功能图谱中图分类号：ＴP242文献标识码：Ａ文章编号：１００２－２３３３（２００９）０１－０106－０5
Research on the Physiological Function for Binocular Motion Model and Its Control Method
XIA Bing-Yu,LUO Jun,
LI Heng-Yu ，
XIE Shao-rong
（School of Mechatronics Engineering and Automation,Shanghai University,Shanghai 200072,China ）
Ａｂｓｔｒａｃｔ：Although nowadays experts have a long-term fruitful research on the vision technologies though the way of visual image processing and motion control,and the basic problems on the vision have been solved,there are some problems in robot vision system in the actual application of a harsh environment.The target always won ’t be tracked smoothly,the tracking video images will beat,the tracking target will lost,the image will be fuzzy and so on.Face the existing problems,the experts have no solution.This paper try to resolute this problem based on the research achievement of the anatomic structure and physiological function of human being ’s two eyes.Through the analysis of the circuits of Moto neurons,the neural circuits of eye-movement and its functions map of various physiological aspects have been established.And this research provides physiological basis for the binocular movement control model of the bio-robot,so as to resolve these issues in essence.
Ｋｅｙｗｏｒｄｓ：robot eye;biomimetic eye;humanoid eye;oculomotor control;functions map
ACADEMIC COMMUNICATION
学术交流
理论／研发／设计／制造
机械工程师２００９年第1期
106。