车载激光与单目线阵相机的数据融合

激光具 有 非 常 精 确 的 测 距 能 力， 可 以 快 速、 方 便、 准确地获取被测物体的空间三维坐标， 是获取空 间数据的有效手段；线阵 CCD 具有快速获取空间物 体的二维几何形状 信 息 的 能 力， 可以通过获取的图 是获取物体纹理信 像提取物体的外形 和 颜 色 信 息， 息的有效手段 . 目前， 单一的数 据 处 理 在 车 载 数 据 处 理 中 无 法 满足三维快速重建的要求 . 单目线阵 CCD 采集的图 像无法交会出三维 坐 标；激 光 点 云 数 据 无 法 获 取 物 体场景的颜色信息， 建筑物提取自动化程度低等都 是制约车载扫描数据三维快速建模的难题 . 因此， 结 合 激 光 和 单 目 线 阵 CCD 相 机 的 优 缺 点， 发挥各自优 势， 将 激 光 与 单 目 线 阵 CCD 相 机 的 建立点云与图像像素的映射关系， 将成 数据相结合， 为车载三维快速重建的关键步骤 . 应用实 践 中， 已经有一些学者尝试将激光与 CCD 相机进行整合 . P. Ronnholm （ 2007 ） 总结了激 光 和 CCD 相机数据 的 融 合 方 法， 依 据 最 终 结 果、 原始 数据种类或描述重 点 的 不 同 分 为 四 个 层 次， 分别为 对象级融合 、 激光辅助融合 、 摄影测量辅助融合和紧
第 31 卷 第 2 期 2010 年 4 月
首都师范大学学报（ 自然科学版） Journal of Capital Normal University （ Natural Science Edition ）
No. 2 Apr. ，2010
车载激光与单目线阵相机的数据融合
杨 勇 钟若飞 康永伟 秦 涛
图1
车载系统同步采集设计示意图
（ x， y ） 为 像 点 q （ i， j ） 的 像 平 面 坐 标， （ X， 其中， Y， Z ） 为激光点 Q 的坐标， （ Xs ， Ys ， Zs ， φ， ω， κ ） 为第 i 83
首都师范大学学报（ 自然科学版）
2010 年 表3 线阵图像对应的时间数据
激光点云数据
激光点云三维坐标 / m
激光扫描仪
SICK LMS291
线阵相机
TVI XIIMUS 2048CT
像素分辨率：2 048 ； 线扫描频率：33 . 3 Hz.
2. 2
同步设计 车载三维信息 采 集 系 统 运 行 时， 车辆以一定的
4
4. 1
数据融合
基本原理 激光点云与 单 目 线 阵 CCD 图 像 数 据 融 合 的 目
［ 13 ］
图像帧序号 135 136 137 138
确定最佳成像 扫 描 行 的 算 法：本 文 根 据 车 载 三 维信息 采 集 系 统 自 身 特 点， 结合激光点云与线阵 CCD 图 像 数 据， 提 出 了 逐 行 查 找 的 迭 代 算 法， 具体 步骤为： 1 ） 激光点云数据通过 UTC 时间与 GPS 打标文 找 到 时 间 最 接 近 的 线 阵 CCD 图 像 的 扫 描 件同步， 线. 2 ） 根 据 该 扫 描 线 的 UTC 时 间 同 步 得 到 IMU /
0907 收稿日期：2009 * 国家 “十一五 ” 863 计划地球 观 测 与 导 航 技 术 领 域 项 目“车 载 （ 2006 AA12 Z324 ） 多传感器集成关键技术研究 ”
（ 2007 ） 提出 基 于 立 体 像 对 匹 配 点 与 三 维 扫 描 点 云 的最邻近迭代配准方法， 将 立 体 像 对 匹 配 点“整 体 ” 配准到由激光扫描 点 云 描 述 的 三 维 表 面 上
杨
勇等：车载激光与单目线阵相机的数据融合
2
2. 1
系统组成与设计
系统组成 车载三维信息采集系统是一个多传感器集成的
3
地面点三维坐标计算
车载激光扫描仪对地面的扫描得到扫描仪与地
同时由 IMU 和 GPS 得到扫描仪的 面上各点的距离， 由此通 过 式 1 即 可 计 算 得 到 地 面 点 的 位置和姿态， 三维坐标
［ 3］
. 张栋
（ 2005 ） 采用人工选取 同 名 点， 进行单张相片空间后
［ 4］ 实 现 LIDAR 数 据 和 航 空 影 像 的 配 准 . 另 方交 会，
一 方 面，李 茂 西 （ 2005 ） 、周 克 勤 （ 2006 ） 、陈 远 （ 2007 ） 、 湛金辉（ 2008 ） 通过外部标定建立激光点 云 与单目 CCD 图像像素的映射关系模型， 将图像的纹 理信息赋予 点 云 数 据 借鉴价值 . 车载单目线 阵 CCD 相 机 与 激 光 在 安 装 时 各 方 相 机 以“线 中 心 投 影 ” 方式（ 一 向都有一个偏移 量， 次曝光成一 条 扫 描 线 ） 对 场 景 进 行 推 扫 成 像， 因而 无法对同一物体同 时 扫 描， 存在一个非固定的扫描 时间间隔 . 外部标 定 无 法 解 决 这 一 问 题 . 另 外， 直接 线性变换没有考虑线阵图像外方位元素随时间变化 的特点， 一般多项式 忽 略 了 道 路 两 侧 地 形 起 伏 较 大 的特点
关键词 ： 车载三维信息采集与处理系统， 数据融合， 空间同步 . 中图分类号 ： P 228 密融 合， 并给出每种融合方式的实例
［ 1］
1
引
言
. Schenk
（ 2002 ） 提出 从 传 感 器 对 位 建 立 通 用 参 考 系 和 特 征
［ 2］ 提取两个层次融合航空影像和 LIDAR 数据 . 邓非
GPS 和 IMU 同 时 观 测， GPS 测 定 车 行 运 速度行 驶， 动轨迹上每 一 历 元 时 刻 位 置 、 速 度， 与 IMU 数 据 组 合确定 平台 的位置和姿态， 激光扫描仪和线阵 CCD 相机也同时以各自固定的频率采集道路两侧地物点 云和图像， 所有传感器都受控与计算机系统， 并通过 同步 控 制 系 统 触 发 脉 冲 来 实 现 数 据 同 步 采 集， 图1 显示了车载系统同 步 采 集 的 实 现 方 式 . 通 过 时 间 同 步控制器和 GPS 及 其 打 标 功 能 将 系 统 内 各 种 设 备 的时间信息统一于 UTC （ 世界协调时） 时间上 .
表2
UTC 时间 / s X = S sin θ 9 662. 127 99 9 662. 128 13 9 662. 128 26 9 662. 128 39 9 662. 128 65 9 662. 128 79 9 662. 128 92 9 662. 129 05 5. 910 1 6. 040 8 6. 030 9 6. 045 3 6. 040 7 6. 021 9 6. 035 3 6. 032 2 Y 0. 000 0 0. 000 0 0. 000 0 0. 000 0 0. 000 0 0. 000 0 0. 000 0 0. 000 0 Z = Scos θ 4. 024 1 4. 151 8 4. 183 8 4. 233 0 4. 308 8 4. 335 1 4. 384 9 4. 423 0
［ 9］ ［ 5］ ［ 6］ ［ 7］ ［ 8］
. 这些研究对于车载
激光与单目线 阵 CCD 相 机 的 数 据 融 合 具 有 重 要 的
， 数字微分 纠 正 需 要 DEM 参 与 纠 正， 没有
考虑车载投影比例变化率较大的特点 . 基于此， 本文 提出了针对车载系统的多源数据融合方法 .
82
第2期
［ 10 ］
由定位定姿传 感 器 和 遥 感 传 感 器 两 部 分 传 感 系统， 器组成， 并与车辆 、 车载升降平台 、 车载计算机系统 、 及电源系统组成整 个 系 统 . 定 位 定 姿 传 感 器 包 括 惯 IMU ） 和 GPS 性测量单元（ Inertial Measurement Unit ， （ Global Position System ， GPS ） ， 获 取 系 统 时 间、 系统 平台 位 置 和 姿 态； 遥 感 传 感 器 包 括 激 光 扫 描 仪 （ Laser Scanner ， LS ） 和线阵 CCD 相机，LS 获取目标 线阵 CCD 相机获取目标 地物的空间三维坐标数据， 地物的图像纹理数 据 . 系 统 各 传 感 器 类 型 及 主 要 技 术指标见下表 1 ：
Y， Z） ， 的是由通用参考坐 标 系 下 的 激 光 点 Q （ X ， 求 j） ， 其在线阵 CCD 图像上的像点 q （ i ， 并将 q 的 RGB 值赋 给 Q. 实 现 方 法 是 通 过 车 载 系 统 同 步 设 计 实 现 数据的同步采集， 进而由式 2 构像方程确定最佳扫 描行实现空间同步， 从而确定对应像点的行列值， 最 后经过颜色内插并赋值给对应的点云 . x = － f y = 0 = － f a 1 （ X － X s ） + b 1 （ Y － Y s ） + c1 （ Z － Z s ） a 3 （ X － X s ） + b 3 （ Y － Y s ） + c3 （ Z － Z s ） a 2 （ X － X s ） + b 2 （ Y － Y s ） + c1 （ Z － Z s ） a 3 （ X － X s ） + b 3 （ Y － Y s ） + c3 （ Z － Z s ） （ 2 ） ［12 ］
100048 ） （ 首都师范大学 三维信息获取与应用教育部重点实验室 ， 北京
*
摘
要
数据融合的目的是建立激光点与图像像点之间 的 映 射 关 系 . 目 前， 常 用 的 方 法 有 标 定 法、 数 字 微 分 纠 正、 多项 以及上述 方 法 在 车 载 系 统 应 用 中 的 不 足 ， 式纠正和直接线性变换方法等 . 本文针对车载三维信息采集系统的特点， 提出了车载系统多源数据融合方法 . 利用线阵图像的构像方程求取最佳扫描行实 现 空 间 同 步， 进而完成数据融合. 最后， 利用铁路两侧采集的数据对融合方法进行验证 .
［ 11 ］
. 表 2 为激光原始坐标数
各传感器类型及主要技术指标
型号 NovAtel DL4 北航 技术指标 采集频率：20 Hz. 采集频率：100 Hz. 角度分辨率：0 . 25 ° ； 最大距离：80 m ； 距离分辨率： 10mm / typ. （ ± ） 35mm ； 扫描频率：18 . 7 Hz.
表1
传感器 GPS IMU
Leabharlann Baidu
. Xs = Ys + Z
s
X Y Z
p
a1 b 1 c1
a2 b2 c2
a 3 S sin θ b3 0 c 3 S cos θ
（1）
S 为地面点到扫描仪的距离， 其中， θ 为扫描角度， 扫 Ys ， Z s ） 和 旋 转 矩 阵 由 IMU 描仪 中 心 的 位 置 为 （ X s ， 得到的位置姿态数据和检校后的车载激光扫描仪的 外方位元 素 共 同 确 定 据.
曝光时间 / s 9 662. 009 093 9 662. 309 312 9 662. 609 532 9 662. 909 751
Ys ， Zs ） 可 通 过 扫描行的外方 位 元 素 . 投 影 中 心 （ X s ， IMU / DGPS 数据和 投 影 中 心 与 GPS 天 线 相 位 中 心 的偏心分量计算得到 . 4. 2 空间同步 空间同步就是确定最佳成像扫描行的过程 . 确定最 佳 成 像 扫 描 行 的 必 要 性： 激 光 与 线 阵 CCD 相机在车的前进方向上有一个偏移量， 在传 感 器扫描时造成两个传感器无法同一时刻扫描同一地 物点， 因而对于同一地物点激光与线阵 CCD 相机在 如 图 2. 时 间 间 隔 不 数据获取时存在一定时间间隔， 是固定不变 的， 它 由 两 个 传 感 器 之 间 的 偏 移 量、 车 两个传感器扫 描 的 角 度 和 距 离 决 定 . 因 此， 激光 速、 点云与线阵 CCD 图 像 融 合 的 关 键 问 题 就 是 确 定 地 即成像的扫描行号， 进而确定该扫 物点的曝光时间， 描行的外方位元素