视觉传感器与激光测距雷达空间对准方法

CCD 摄 像 机 采 用 针 孔 模 型 近 似 。 图 2 绘 制 了 摄 像机成像模型。 底部的平面是真实世界的图像投影平
图 2 摄像机成像模型 Fig.2 Imaging model of camera coordinates
2 空间对准算法
2.1 深度图的构建
设定云台的俯仰角范围和激光扫描平面的角度，
Camera
0
0
Camera
0 0
00 0
1
00 0
而 P 点在激光测距雷达坐标系下的三维坐标为：
x0
0
0 0
LMS
0 0
0
0
X = y LMS
0
0
0 LMS 0
0
0
z0
0
0
0
0 LMS 0
76
红外与激光工程
第 38 卷
-1
-1
易知 t×R =S(t)R ，因此有：
-1 T
-1
(K U ) (S(t)R XLMS )=0
坐标系下，共面性方程可以表达为：
T
X軒 Camera (t×X′Camera )=0
(3)
-1
将 X′Camera =R XLMS 代 入 上 述 公 式 ，得 到 ：
T
X軒 Camera (t×R-1 XCamera )=0
(4)
对 于 已 经 标 定 的 摄 像 机 ， 根 据 公 式 (1) 可 知 ，
收 稿 日 期 ：2008-06-15 ； 修 订 日 期 ：2008-07-20 基 金 项 目 ： 国 家 自 然 科 学 基 金 资 助 项 目 （60773044 ） 作 者 简 介 ： 付 梦 印 （1964- ） ， 男 ， 内 蒙 古 鄂 尔 多 斯 人 ， 教 授 ， 博 士 生 导 师 ， 博 士 ， 长 期 从 事 组 合 导 航 与 智 能 导 航 技 术 研 究 工 作 。
第 38 卷第 1 期 Vol.38 No.1
红外与激光工程 Infrared and Laser Engineering
2009 年 2 月 Feb. 2009
视觉传感器与激光测距雷达空间对准方法
付梦印，刘明阳
(北 京 理 工 大 学 信 息 科 学 技 术 学 院 ，北 京 100081)
摘 要：利用激光测距雷达与视觉传感器进行数据融合，可以解决因光线问题造成的可见光图像 缺失、虚警率高的问题。 而两者的空间对准又是数据融合的前提。 针对地面自主移动平台上安装的可 见光视觉传感器与激光测距雷达的特性，将激光测距雷达数据转化为图像，利用标定模板提供的空间 约束求解，对可见光与激光距离图像的空间对准问题进行求解。 最后，验证实验结果并进行误差分析。 实验结果表明，该方法能够有效地对可见光与激光距离图像进行空间对准，实现可见光图像与激光测 距雷达数据的关联。
T
f′12 ,…,f′33 ] ，则公式(10)可以化简为一个线性方程组 ：
u x 0
0 0
1
LMS 1
0
u x 0
0 0
2
LMS 2
0
0
0
u x 0
00 0
n
LMS n
u y1 LMS1 u y2 LMS2
u yn LMSn
u z1 LMS1 u z2 LMS2
u zn LMSn
v x1 LMS1 v x2 LMS2
1 坐标系的建立
1.1 激光测距雷达坐标系 采 用 了 安 装 于 Amtec 公 司 Power Cube 云 台 上 的
激 光 测 距 雷 达 （LMS 200）, 其 扫 描 平 面 可 以 进 行 俯 仰 运动， 且做俯仰运动时激光发射中心也位于转动中 心。 该设备建立的坐标系如图 1 所示。
称 E 为本质矩阵。 E 包含了两视图之间的旋转矩阵 R
和平移矩阵 t 的关系。
由于 3×3 的基本矩阵 F 在相差一个尺度量的意
义下是确定的，因此 F 只有 8 个未知量，至少需要 8
个图像对应点对求解。 为了剔除求解过程中的误差，
对应点需要大于 8 个。
2.3 空间变换求解方法
首先，在可见光与激光深度图中提取对应点：
激光测距雷达的融合技术成为了研究的热点[1]。 视觉传感器与激光测距雷达的对准是图像信息
与非图像信息融合的前提。 现有的空间对准方法，其 过程相对复杂且误差较大。 参考文献[2]通过双目立 体视觉摄像机拟合激光测距雷达扫描平面完成了视 觉传感器与激光测距雷达的空间对准。 该方法的不足 之处在于测量实验相对复杂，且双目视觉测量误差较
Key words:Space alignment; LMS; Visible light images; Depth map
0引言
视觉传感器探测范围宽，信号丰富，在车辆环境感 知的过程中得到了广泛的应用。 但它易受外界因素影 响，存在目标缺失、模糊等问题，因此需要采用其他类型 传感器辅助测量。 激光测距雷达测距原理简单，测量精 度高、速度快，可以满足此要求。 近年来，视觉传感器与
（School of Information Science and Technology, Beijing Institute of Technology, Beijing 100081, China ）
Abstract:The data fusion of vision sensor and LMS can solve the problem of image missing and high FAR(False Alarm Rate) always occurring when the light is changing. Space alignment is the basic step of data fusion. Based on the characteristics of vision sensor and LMS installed on ALV, a LMS depth map can be obtained from the data of LMS. Using space constraints of calibration pattern, a fundamental matrix and an essential matrix can be obtained. These two matrixes contain the positional relation between vision sensor and LMS. By decomposing the two matrixes using SVD, a space alignment method of visible light images and LMS depth map was proposed. Finally, the result was verified and the error was analyzed. The simulated results show that this method can align visible light images and LMS depth map effectively, and finally associate visible light images and LMS data.
X軒 Camera =K-1 U ， 则 ：
-1 T
-1
(K U) (t×R X′Camera )=0
(5)
建立反对称矩阵：
0 -t t 0
0
0 0
z
y
0 0
0
0
S(t)=
0 0
tz
0
-tx
0 0
(6)
0
0
-t t 0 0
0
0 0
y
x
0 0
公式(9)说明可见光图像与激光深度图像对应点 的
T
关系，其中 F 称为基本矩阵。 设 E=RS(t)，则 E=-(KF) ，
T
T
Ui =[ui vi 1] ，XLMSi =[xLMSi yLMSi zLMSi ]
其中 i=1,2,…,n。 代入公式(9)，可得：
x0
0
0 0
LMS i
0 0
0
0
0
0
[ui
vi
1]F y =0 0
0
0 0
LMS i
0 0
0
0
0
0
z0
0
0 0
LMS i
0 0
(10)
将基本矩阵的元素改写为 列 向 量 形 式 ，得 f ′=[f′11
可以得到激光测距雷达前方平面的距离矩阵。 通过极
坐标到空间直角坐标的变换，将距离矩阵转化为深度 矩阵。 空间点 P 的空间直角坐标为：
x0
0
=
ρsinθ
y00
0
=
ρcosθsinφ
(2)
0
z00
0
=
ρcosθsinφ
分量 z 即为空间点 P 到激光测距雷达的深度。 将得到
的深度矩阵归一化后即可生成深度图。 2.2 图像对应点的空间变换关系
=0 0 0
Email:fumy@bit.edu.cn
第1期
付梦印等：视觉传感器与激光测距雷达空间对准方法
75
大，这就为真实而准确地求解视觉传感器与激光测距 雷达的空间变换关系增加了难度。
通过合理地建立摄像机坐标系与激光测距雷达 坐标系，利用摄像机图像与激光测距雷达深度图中对 应点的空间约束求解两坐标系的空间变换关系。 实验 结果表明：该方法能够有效地求解视觉传感器与激光 测距雷达空间对准问题。
线性变换。 当世界坐标系与摄像机坐标系重合时，图
像 像 素 坐 标 与 摄 像 机 坐 标 系 的 关 系 为[3]：
u0 0
00
-0
0
fa
-fb
-u0
0 0
x0
0
/
z
0 0
0 00
00
0
v = 0 -fc -v y/z = 0 0 0
0 00 0 00
00
0
0
00 00
0 0
1 0 0 00 00 00
(7)
化简后可得：
T -1
-1
U K S(t)R XLMS =0
(8)
-1
-1
令 F=K S(t)R ，则有：
图 3 摄像机与激光测距雷达观测空间同一点 Fig.3 Same piont is observed by camera and LMS
T
U FXLMS =0
(9)
T
在可见光图像中投影点的齐次坐标为：U=[u v 1] 。
当摄像机与激光测距雷达同时观测 P 点时(见图
3)，其在摄像机坐标系下的坐标为：
x0
0
0 0
Camera
0 0
0
0
X = y Camera
0
0
0 Camera 0
0
0
z0
0
0
0
0 Camera 0
坐标齐次化，得：
x /z 0
0
0 Camera Camera 0
X軒 = y /z Camera
0
0
0 0
设 R，t 分 别 为 摄 像 机 坐 标 系 到 激 光 测 距 雷 达 坐 标
系的旋转、平移矩阵，其中 t 为不带尺度的齐次坐标向
量。 则向量 XLMS 在摄像机坐标系下可以表达为 X′Camera =
-1
R XLMS 。
向 量 X軒 Camera ，X′Camera ，t 共 面 ， 因 此 ， 在 摄 像 机
关键词：空间对准； 激光测距雷达； 可见光图像； 深度图 中 图 分 类 号 ：TP391 文 献 标 识 码 ：A 文 章 编 号 ：1007-2276(2009)01-0074-05
Space alignment of vision sensor and LMS
FU Meng蛳yin, LIU Ming蛳yang
v xn LMSn
v y1 LMS1 v y2 LMS2 … v yn LMSn
v z1 LMS1 v z2 LMS2
v zn LMSn
x LMS1 x LMS2
x LMSn
y LMS1 y LMS2
y LMSn
z f ′ 0 0
LMS 1
00 00
0
11
0 0
00
0
00
z f ′ LMS2
00 00
面 π，纵向的虚轴是光轴，透镜位于焦点 C 且与光轴
垂 直，焦距 f 是透镜的参数。 投影是从视场点 P(Xw ，Tw ，
Zw )反射出的或起源于光源的光线（光束）形成的。 光
线穿过光心 O 射在像平面的点 U(u，v)处。
上 述 模 型 完 成 了 3D 射 影 空 间 到 2D 射 影 空 间 的
图 1 激光测距雷达坐标系 Fig.1 LMS coordinates
图中 O 为激光测距雷达的光心 ，P 为 空 间 一 点 ， φ 为激光扫描平面与水平面夹角，θ 为发射到 P 点的 光 束 与 扫 描 平 面 中 心 光 束 OO′ 的 夹 角 ，ρ 为 激 光 测 距 雷达返回的距离信息。 1.2 摄像机坐标系的建立
0 00
1
1 00 00
00
00
0
γ a0
0u
-u0
0 0
x0
0
/
z
0 0
x0
0
/
z
0 0
0
来自百度文库
00
0
0
0
0 a -u y/z =K y/z 0
00
0
0
0
0 0
v
0
00 00
0
0
0
0
0 0
0 0 1 1 00
00 00
00
0
00
0
1 00
00
0
0
(1)
式中：K 为摄像机投影矩阵， 可以由摄像机标定算法
计 算 得 到[3]。