深度学习在自动驾驶中的应用

深度学习在自动驾驶中的应用

成为继互联网后新浪潮的原因

深度学习应用

提高相机、激光雷达算法精度带动地图、定位、决策规划互联网+汽车Telsa的autopilot系统百度自动驾驶demo

专业技术融汇

多种传感器融合技术

计算机、电子、汽车多行业合作国内外、产品和研究产品需求

业务流程自动化(港口、运输)安全和效率

国家政策

新能源汽车的推广

主流的架构设计

高精度定位

环境感知

决策规划

高精地图

在四大模块中的核心角色深度学习在自动驾驶中的应用

环境感知

目标分类

目标检测和跟踪场景分割

高精地图

地图元素矢量化

高精度定位

SLAM

地图元素矢量化

决策规划

复杂路径规划和决策

驾驶员状态分析

深度学习

有监督学习

无监督学习

强化学习

迁移学习

历史发展特征提取

sift, surf, lbp, harr, hog

人工设计特征

分类器学习

svm, adaboost, random forest 跟特征强相关深度学习

特征提取和分类器学习优秀的特征表达

主要架构

硬件平台

GPU (nvidia PX2)深度学习平台

Caffe, TensorFlow , Torch, ……

深度学习网络

CNN, RNN, DNN, ……

深度学习模型

alexnet, googlenet, lstm , ……

任务

检测？文字识别？

对象

图像？语音？

要求

跨平台？速度？

应用

价格？功耗？

在四大模块中的核心角色

环境感知

目标分类

目标检测和跟踪场景分割

高精地图

地图元素矢量化

高精度定位

SLAM

地图元素矢量化

决策规划

复杂路径规划和决策

驾驶员状态分析

深度学习

有监督学习

无监督学习

强化学习

迁移学习

在四大模块中的核心角色

环境感知

目标分类

目标检测和跟踪场景分割

高精地图

地图元素矢量化

高精度定位

SLAM

地图元素矢量化

决策规划

复杂路径规划和决策

驾驶员状态分析

深度学习

有监督学习

无监督学习

强化学习

迁移学习

目标分类用深度学习完成目标的类别细化

200+交通标志（限速、限重等）

30+路面标识（车道线、箭头、文字等）

10+障碍物（车辆、行人、锥桶）

其他（护栏、路沿、灯杆等）

深度学习架构

卷积神经网络：卷积、池化、全连接等

十万~千万量级的参数

几十层~几百层的网络架构

alexnet, vggnet, googlenet, resnet

目标检测和跟踪用深度学习自动解析各类目标

目标级的解析

自动提取车辆、行人、交通标志等

为规划决策提供依据：栅格态势图+策略

深度学习架构

同时完成类别区别和位置回归

特征层归一化

兼容2D图像和3D激光点云

rcnn, fast/faster rcnn, yolo, ssd

目标检测和跟踪* 国际公共测试数据集KITTI曾排名第一

目标检测和跟踪

场景分割用深度学习对整个场景进行分割

像素级的解析

自动提取可行驶区域、障碍物区域等

辅助检测跟踪，加速

深度学习架构

编码+解码结合的v型架构

非均衡化的能量损失函数

fcn, segnet, deeplab, enet

场景分割* nvidia px2处理速度50Hz

在四大模块中的核心角色深度学习在自动驾驶中的应用

环境感知

目标分类

目标检测和跟踪场景分割

高精地图

地图元素矢量化

高精度定位

SLAM

地图元素矢量化

决策规划

复杂路径规划和决策

驾驶员状态分析

深度学习

有监督学习

无监督学习

强化学习

迁移学习

……

SLAM 用深度学习估计深度和相机姿态

双目相机解决深度估计问题

帧间解决相机姿态变化问题simultaneously localization and mapping

深度学习架构

共享特征的交叉卷积神经网络

多种距离度量的融合(欧式, 马氏, 相关等) deepid, mccnn, deepface

SLAM * Large-Scale Direct SLAM with Stereo Cameras

地图元素矢量化用深度学习矢量化地图元素

包括精确轮廓、几何位置以及属性

支持的地图元素包括车道线、箭头、文字、

路沿、交通标志等

地图=构建数据，定位=查询数据

深度学习架构

multi-task能量损失函数的设计

特征提取, fp, bp迭代式优化

GAN网络生成海量样本

ubernet, multinet, DCGAN