一种智能汽车的实时道路边缘检测算法_朱学葵
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
［7 ］
。 目前边缘检测方法
果。陈得宝等人 提出了根据前一时刻的状态和 误差信息， 构造一组模糊中心结合最大熵原理来对 下一时刻的状态与误差进行预测， 提取道路边缘， 该方法 计 算 简 单， 但 计 算 量 较 大。 Wijesonma WS 等人 采用一线激光雷达结合扩展卡尔曼滤波算 法检测道路边缘， 并进行跟踪， 取得了良好的效果。 以上所述的各种方法， 都是综合了车体运动信息， 对道路边缘进行跟踪， 而没有给出一种脱离车体运 动信息情况下的解决方案。 除一线激光雷达之外， 市面上比较普遍的还有 四线、 八线、 三十二线和六十四线激光雷达。 与一 线激光雷达相比， 多线激光雷达检测范围更广， 数 据点云更多， 可供提取的特征点更多， 这使得获取 稳定的道路边缘成为可能。 由于六十四线激光雷 达造价昂贵， 所以本文选用 IBEO 公司的 LUX8L 八 线激光雷达作为感知周边环境的传感器。 它由间 隔 0. 8° 的八条激光扫描线构成， 总共 6. 4° 。 本算 “智能汽车未来挑战赛 ” 法已经应用在 参赛的智能 车 ISmart30 中， 并 获 得 了 全 国 第 三 的 好 成 绩。 ISmart30 无人车如图 1 所示。
P
P
图3
理想道路模型
（ 2）
Fig．wk.baidu.com3
The ideal road model
图中 CD 为雷达扫描到的道路路面， 线段 BC 、 ［9 ］ DE 为雷达扫描到的道路边缘 。 根据道路模型的 数据分布特点， 我们需要对数据在纵轴方向进行滤 波， 使得数据更加平滑。 图 4 为 中 值 滤 波 前 的 数 其方差的均值为 15. 834 。图 5 为中值滤波后的 据， 数据， 其方差为 10. 705 。从两幅图的对比以及方差 的均值可以看出， 图 5 比图 4 更加平滑。 （ 3）
1
边缘检测原理
边缘检测一词最早出现在图像分析与处理里 面， 它是图像分析与处理的关键步骤， 也是图像处 理领域中最基本的问题， 对后续高层次的特征描 ［6 ］ 述、 匹配和识别等有着重大影响 。 边缘检测的目 的是标识数字图像中亮度明显的点。 它是图像处 理与计算机视觉中， 尤其是特征提取中的一个重要
图2 Fig． 2 道路边缘检测流程图 The flow chart of Ｒoad Boundary Detection
第 29 卷第 4 期
朱学葵等： 一种智能汽车的实时道路边缘检测算法
3
2
2. 1
道路边缘检测
数据获取与标定 本文采用 IBEO 公司提供的 API 函数完成数据
解上面的方程即可求出对应的标定矩阵 2. 2 分层与中值滤波
{
P P P YP V = a 21 X L + a 22 Y L + a 23 Z L + a 24
，
（ 4）
图4 Fig． 4 中值滤波前 Before median filtering
一种智能汽车的实时道路边缘检测算法
朱学葵，高美娟，李尚年
（ 北京联合大学 北京市信息服务工程重点实验室，北京 100101 ）
［ 摘 要］ 以无人驾驶汽车为平台， 针对结构化、 半结构化道路下无人驾驶汽车道路边缘检测问 题， 提出了一种智能汽车的实时道路边缘检测算法 。 该算法 首先 对 获取 的 激 光 雷 达 数 据 点 云 进 行标定、 分层与中 值 滤波， 然 后 提 取各层 的 左右 边 界 点， 而 后 利用 随 机 抽样 一 致 性算法 ( 简称 Ｒansac) 对左右边界点集进行直线拟合， 最后用卡尔曼滤波算法进行跟踪， 从而实现实时的道路边 缘检测。经实验验证， 该算法准确率高， 可靠性强， 能够准确完成道路边缘检测， 可以满足实时系 “智能汽车未来挑战赛” ， 统的要求， 并已经成功应用于 2014 年的 而且取得了第三名的好成绩。 ［ 关键词］ 无人驾驶汽车; 激光雷达; Ｒansac; 卡尔曼滤波; 道路边缘检测 ［ ［ ［ 中图分类号］ U 469. 79 文献标志码］ A 文章编号］ 1005-0310 （ 2015 ） 04-0001-07
［8 ］
八线激光雷达扫描频率为 80 ms 一次， 每次四 条扫描线， 处理当前数据时需要保留上次的数据， 这样就能充分利用八层信息。 通过标志位我们可 以将这些数据点云分为八层去处理。 首先我们考 虑理想道路模型， 如图 3 所示。
XV Y P = Ｒ3X3 * V ZP V
P
XL Y P + T3 ×1 。 L ZP L
P
（ 1）
V 表示车体坐标系， L 表示雷达坐标系。 将旋 其中， 转矩阵与平移矩阵合并后变为
P XV YP = V ZP V
[ Tz ]
T xy2 ×4
1 ×4
XL P Y × L 。 ZP L 1 a13 a23
设 T xy2 ×4 =
[a
a11
21
a12 a22
a14 a24
]，
由公式（ 2 ） 得公式（ 3 ） ：
[X ] Y
P V P V
XL P Y = T xy2 ×4 L ， ZP L 1
化简得公式（ 4 ） ： P P P XP V = a 11 X L + a 12 Y L + a 13 Z L + a 14
［5 ］
［4 ］
主要分为两大类。 1 ） 经典的边缘检测算法， 如 sobel 算子法、 最 。 优算子法等 2 ） 以高新技术为基础的图像边缘检测算法， 如基于神经网络的边缘检测算法、 基于数学形态学 的边缘检测算法等。 本文主要研究基于激光雷达的道路边缘检测， 其数据为一系列点， 不同于基于图像的边缘检测方 法。基于激光雷达的道路边缘检测主要步骤如下 ： 1 ） 获取八线激光雷达数据并标定。 2 ） 对获取的数据按层分类。 3 ） 提取每层的边界点。 4 ） 利用 Ｒansac 算法拟合直线。 5 ） 卡尔曼滤波， 获取新的道路边缘。 程序流程图如图 2 所示。
[ Tz ] 。
T xy2 × 4
1 ×4
由于雷达安装的高度、 俯仰角、 倾斜角 的采集工作， 和旋转角都不同， 故需要对数据进行标定。 我们采 用外标定方法。 根据下面的坐标变换公式即可推 导出来。 刚体变换可由平移矩阵 T 与旋转矩阵 Ｒ 来描 述， 则激光雷达坐标系中的一点 P 到车体坐标系的 转化关系为
0
引言
自智能机器人诞生以来， 关于无人驾驶汽车方
［ 收稿日期］ 2015 － 03 － 05
［ 基金项目］ 北京市教育委员会科技发展计划面上项目（ SQKM201411417004 ） ， 北京联合大学人才强校计划人才资助 （ BPHＲ2014E02 ） ， 北 京 市 属 高 等 学 校 创 新 团 队 建 设 与 教 师 职 业 发 展 计 划 项 目 项目资 助 （ BPHＲ2014A04 ） 、 （ CIT＆TCD20130513 ） 、 （ IDHT20140508 ） 。 ［ Email： ttgg500@ 163． com 通信作者］ 高美娟，
2015 年 10 月 第 29 卷第 4 期总 102 期
北京联合大学学报 Journal of Beijing Union University
Oct． 2015 Vol． 29 No． 4 Sum No． 102 DOI： 10. 16255 / j． cnki． ldxbz． 2015. 04. 001
A Ｒealtime Ｒoad Boundary Detection Algorithm Based on Driverless Cars
ZHU Xuekui， GAO Meijuan， LI Shangnian
（ Beijing Key Laboratory of Information Service Engineering，Beijing Union University，Beijing 100101 ，China）
Abstract： Pointing to road boundary detection problem of driverless cars in structured and semistructured road， the paper proposed a new realtime road boundary detection algorithm based on driverless cars as a platform． The algorithm firstly includes the following steps： calibration，layering and median filtering will be made according to the obtained lidar point cloud data． And then the left and right road boundary point of each layer will be extracted． The extracted road boundary points are then straight line fitted using Ｒansac algorithm． Finally， straight line is tracked using Kalman filtering，thus the realtime road boundary detection is achieved． The test results show that this boundary detection algorithm is with high accuracy and reliability and is able to accurately accomplish the boundary detection task， which can satisfy the requirements of realtime system． And this algorithm has been applied successfully in “The Future Challenge Competition for Driverless Cars ”2014 and obtained the third place． Key words： Driverless cars； Lidar； Ｒansac； Kalman filtering； Ｒoad boundary detection 面的研究越来越火热化。其中， 道路边缘检测是无 人驾驶汽车领域重要的研究内容， 吸引了众多学者 的目光。道路边缘检测需要依靠无人驾驶汽车装
［3 ］ 合概率数据关联滤波器 （ 简称 IPDAF ） 对提取的 道路边缘与障碍物进行跟踪， 并取得了很好的效
杨象军等人
［1 ］
图1 Fig． 1
北京联合大学 ISmart30 智能车
Beijing union university ISmart30 smart car
领域。然而基于视觉传感器获得的图像在成像过 混合、 畸变和噪声等导致图像的模糊 程中的投影、 与变形使得边缘难以检测
2
北京联合大学学报
2015 年 10 月
载的传感器去感知周边环境信息， 由于装载的传感 器不同， 出现了很多不同的道路边缘检测技术， 如 基于视觉传感器、 雷达传感器等方面的检测技术。 其中， 激光雷达具有不受光照、 树阴等外界环境影 测量距离远、 测量精度高等优点。 响且探测范围广、 所以， 基于激光雷达的道路边缘检测得到了广泛的 应用。 利用四线激光雷达对检测到的 数据点云首先进行直线拟合， 并融合四条扫描线获 取道边信息， 然后根据车体运动信息， 构造卡尔曼 此 方 法 计 算 简 单。 滤波器 对 道 路 边 缘 进 行 跟 踪， Han Jaehyun 等人［2］提出利用斜向下的一线激光雷 首先对点云数据进行 达来检测道路边缘与障碍物， 特征提取和分类， 而后结合车体运动信息， 采用联
。 目前边缘检测方法
果。陈得宝等人 提出了根据前一时刻的状态和 误差信息， 构造一组模糊中心结合最大熵原理来对 下一时刻的状态与误差进行预测， 提取道路边缘， 该方法 计 算 简 单， 但 计 算 量 较 大。 Wijesonma WS 等人 采用一线激光雷达结合扩展卡尔曼滤波算 法检测道路边缘， 并进行跟踪， 取得了良好的效果。 以上所述的各种方法， 都是综合了车体运动信息， 对道路边缘进行跟踪， 而没有给出一种脱离车体运 动信息情况下的解决方案。 除一线激光雷达之外， 市面上比较普遍的还有 四线、 八线、 三十二线和六十四线激光雷达。 与一 线激光雷达相比， 多线激光雷达检测范围更广， 数 据点云更多， 可供提取的特征点更多， 这使得获取 稳定的道路边缘成为可能。 由于六十四线激光雷 达造价昂贵， 所以本文选用 IBEO 公司的 LUX8L 八 线激光雷达作为感知周边环境的传感器。 它由间 隔 0. 8° 的八条激光扫描线构成， 总共 6. 4° 。 本算 “智能汽车未来挑战赛 ” 法已经应用在 参赛的智能 车 ISmart30 中， 并 获 得 了 全 国 第 三 的 好 成 绩。 ISmart30 无人车如图 1 所示。
P
P
图3
理想道路模型
（ 2）
Fig．wk.baidu.com3
The ideal road model
图中 CD 为雷达扫描到的道路路面， 线段 BC 、 ［9 ］ DE 为雷达扫描到的道路边缘 。 根据道路模型的 数据分布特点， 我们需要对数据在纵轴方向进行滤 波， 使得数据更加平滑。 图 4 为 中 值 滤 波 前 的 数 其方差的均值为 15. 834 。图 5 为中值滤波后的 据， 数据， 其方差为 10. 705 。从两幅图的对比以及方差 的均值可以看出， 图 5 比图 4 更加平滑。 （ 3）
1
边缘检测原理
边缘检测一词最早出现在图像分析与处理里 面， 它是图像分析与处理的关键步骤， 也是图像处 理领域中最基本的问题， 对后续高层次的特征描 ［6 ］ 述、 匹配和识别等有着重大影响 。 边缘检测的目 的是标识数字图像中亮度明显的点。 它是图像处 理与计算机视觉中， 尤其是特征提取中的一个重要
图2 Fig． 2 道路边缘检测流程图 The flow chart of Ｒoad Boundary Detection
第 29 卷第 4 期
朱学葵等： 一种智能汽车的实时道路边缘检测算法
3
2
2. 1
道路边缘检测
数据获取与标定 本文采用 IBEO 公司提供的 API 函数完成数据
解上面的方程即可求出对应的标定矩阵 2. 2 分层与中值滤波
{
P P P YP V = a 21 X L + a 22 Y L + a 23 Z L + a 24
，
（ 4）
图4 Fig． 4 中值滤波前 Before median filtering
一种智能汽车的实时道路边缘检测算法
朱学葵，高美娟，李尚年
（ 北京联合大学 北京市信息服务工程重点实验室，北京 100101 ）
［ 摘 要］ 以无人驾驶汽车为平台， 针对结构化、 半结构化道路下无人驾驶汽车道路边缘检测问 题， 提出了一种智能汽车的实时道路边缘检测算法 。 该算法 首先 对 获取 的 激 光 雷 达 数 据 点 云 进 行标定、 分层与中 值 滤波， 然 后 提 取各层 的 左右 边 界 点， 而 后 利用 随 机 抽样 一 致 性算法 ( 简称 Ｒansac) 对左右边界点集进行直线拟合， 最后用卡尔曼滤波算法进行跟踪， 从而实现实时的道路边 缘检测。经实验验证， 该算法准确率高， 可靠性强， 能够准确完成道路边缘检测， 可以满足实时系 “智能汽车未来挑战赛” ， 统的要求， 并已经成功应用于 2014 年的 而且取得了第三名的好成绩。 ［ 关键词］ 无人驾驶汽车; 激光雷达; Ｒansac; 卡尔曼滤波; 道路边缘检测 ［ ［ ［ 中图分类号］ U 469. 79 文献标志码］ A 文章编号］ 1005-0310 （ 2015 ） 04-0001-07
［8 ］
八线激光雷达扫描频率为 80 ms 一次， 每次四 条扫描线， 处理当前数据时需要保留上次的数据， 这样就能充分利用八层信息。 通过标志位我们可 以将这些数据点云分为八层去处理。 首先我们考 虑理想道路模型， 如图 3 所示。
XV Y P = Ｒ3X3 * V ZP V
P
XL Y P + T3 ×1 。 L ZP L
P
（ 1）
V 表示车体坐标系， L 表示雷达坐标系。 将旋 其中， 转矩阵与平移矩阵合并后变为
P XV YP = V ZP V
[ Tz ]
T xy2 ×4
1 ×4
XL P Y × L 。 ZP L 1 a13 a23
设 T xy2 ×4 =
[a
a11
21
a12 a22
a14 a24
]，
由公式（ 2 ） 得公式（ 3 ） ：
[X ] Y
P V P V
XL P Y = T xy2 ×4 L ， ZP L 1
化简得公式（ 4 ） ： P P P XP V = a 11 X L + a 12 Y L + a 13 Z L + a 14
［5 ］
［4 ］
主要分为两大类。 1 ） 经典的边缘检测算法， 如 sobel 算子法、 最 。 优算子法等 2 ） 以高新技术为基础的图像边缘检测算法， 如基于神经网络的边缘检测算法、 基于数学形态学 的边缘检测算法等。 本文主要研究基于激光雷达的道路边缘检测， 其数据为一系列点， 不同于基于图像的边缘检测方 法。基于激光雷达的道路边缘检测主要步骤如下 ： 1 ） 获取八线激光雷达数据并标定。 2 ） 对获取的数据按层分类。 3 ） 提取每层的边界点。 4 ） 利用 Ｒansac 算法拟合直线。 5 ） 卡尔曼滤波， 获取新的道路边缘。 程序流程图如图 2 所示。
[ Tz ] 。
T xy2 × 4
1 ×4
由于雷达安装的高度、 俯仰角、 倾斜角 的采集工作， 和旋转角都不同， 故需要对数据进行标定。 我们采 用外标定方法。 根据下面的坐标变换公式即可推 导出来。 刚体变换可由平移矩阵 T 与旋转矩阵 Ｒ 来描 述， 则激光雷达坐标系中的一点 P 到车体坐标系的 转化关系为
0
引言
自智能机器人诞生以来， 关于无人驾驶汽车方
［ 收稿日期］ 2015 － 03 － 05
［ 基金项目］ 北京市教育委员会科技发展计划面上项目（ SQKM201411417004 ） ， 北京联合大学人才强校计划人才资助 （ BPHＲ2014E02 ） ， 北 京 市 属 高 等 学 校 创 新 团 队 建 设 与 教 师 职 业 发 展 计 划 项 目 项目资 助 （ BPHＲ2014A04 ） 、 （ CIT＆TCD20130513 ） 、 （ IDHT20140508 ） 。 ［ Email： ttgg500@ 163． com 通信作者］ 高美娟，
2015 年 10 月 第 29 卷第 4 期总 102 期
北京联合大学学报 Journal of Beijing Union University
Oct． 2015 Vol． 29 No． 4 Sum No． 102 DOI： 10. 16255 / j． cnki． ldxbz． 2015. 04. 001
A Ｒealtime Ｒoad Boundary Detection Algorithm Based on Driverless Cars
ZHU Xuekui， GAO Meijuan， LI Shangnian
（ Beijing Key Laboratory of Information Service Engineering，Beijing Union University，Beijing 100101 ，China）
Abstract： Pointing to road boundary detection problem of driverless cars in structured and semistructured road， the paper proposed a new realtime road boundary detection algorithm based on driverless cars as a platform． The algorithm firstly includes the following steps： calibration，layering and median filtering will be made according to the obtained lidar point cloud data． And then the left and right road boundary point of each layer will be extracted． The extracted road boundary points are then straight line fitted using Ｒansac algorithm． Finally， straight line is tracked using Kalman filtering，thus the realtime road boundary detection is achieved． The test results show that this boundary detection algorithm is with high accuracy and reliability and is able to accurately accomplish the boundary detection task， which can satisfy the requirements of realtime system． And this algorithm has been applied successfully in “The Future Challenge Competition for Driverless Cars ”2014 and obtained the third place． Key words： Driverless cars； Lidar； Ｒansac； Kalman filtering； Ｒoad boundary detection 面的研究越来越火热化。其中， 道路边缘检测是无 人驾驶汽车领域重要的研究内容， 吸引了众多学者 的目光。道路边缘检测需要依靠无人驾驶汽车装
［3 ］ 合概率数据关联滤波器 （ 简称 IPDAF ） 对提取的 道路边缘与障碍物进行跟踪， 并取得了很好的效
杨象军等人
［1 ］
图1 Fig． 1
北京联合大学 ISmart30 智能车
Beijing union university ISmart30 smart car
领域。然而基于视觉传感器获得的图像在成像过 混合、 畸变和噪声等导致图像的模糊 程中的投影、 与变形使得边缘难以检测
2
北京联合大学学报
2015 年 10 月
载的传感器去感知周边环境信息， 由于装载的传感 器不同， 出现了很多不同的道路边缘检测技术， 如 基于视觉传感器、 雷达传感器等方面的检测技术。 其中， 激光雷达具有不受光照、 树阴等外界环境影 测量距离远、 测量精度高等优点。 响且探测范围广、 所以， 基于激光雷达的道路边缘检测得到了广泛的 应用。 利用四线激光雷达对检测到的 数据点云首先进行直线拟合， 并融合四条扫描线获 取道边信息， 然后根据车体运动信息， 构造卡尔曼 此 方 法 计 算 简 单。 滤波器 对 道 路 边 缘 进 行 跟 踪， Han Jaehyun 等人［2］提出利用斜向下的一线激光雷 首先对点云数据进行 达来检测道路边缘与障碍物， 特征提取和分类， 而后结合车体运动信息， 采用联