深度神经网络的关键技术及其在自动驾驶领域的应用

CN 11-5904/U J Automotive Safety and Energy, Vol. 10 No. 2, 2019119—145深度神经网络的关键技术及其在自动驾驶领域的应用

李升波1，关 阳1，侯 廉1，高洪波1，段京良2，梁 爽3，汪 玉3，成 波1，

李克强1，任 伟4，李 骏1

（1. 清华大学车辆与运载学院，北京100084，中国；2. 加州大学伯克利分校机械系，加州 94720，美国；

3. 清华大学电子工程系，北京100084，中国；

4. 加州大学河滨分校电子计算机系，加州92521，美国）

摘 要： 智能化是汽车的三大变革技术之一，深度学习具有拟合能力优、表征能力强和适用范围广的

特点，是进一步提升汽车智能性的重要途径。该文系统性总结了用于自动驾驶汽车的深度神经网络（DNN）技术，包括发展历史、主流算法以及感知、决策与控制技术应用。回顾了神经网络的历史及现状，总结DNN的“神经元－层－网络”3级结构，重点介绍卷积网络和循环网络的特点以及代表性模型；

阐述了以反向传播（BP）为核心的深度网络训练算法，列举用于深度学习的常用数据集与开源框架，概

括了网络计算平台和模型优化设计技术；讨论DNN在自动驾驶汽车的环境感知、自主决策和运动控

制3大方向的应用现状及其优缺点，具体包括物体检测和语义分割、分层式和端到端决策、汽车纵

横向运动控制等；针对用于自动驾驶汽车的DNN技术，指明了不同问题的适用方法以及关键问题的

未来发展方向。

关键词： 智能汽车；自动驾驶；深度神经网络(DNN)；深度学习；环境感知；自主决策；运动控制

中图分类号： TP 18；U 463.6 文献标志码： A DOI: 10.3969/j.issn.1674-8484.2019.02.001

Key technique of deep neural network and its applications in

autonomous driving

LI Shengbo1, GUAN Yang1, HOU Lian1, GAO Hongbo1, DUAN Jingliang2, LIANG Shuang3,

WANG Yu3, CHENG Bo1, LI Keqiang1, REN Wei4, LI Jun1

（1. School of Vehicle and Mobility, Tsinghua University, Beijing 100084, China; 2. Mechanical Engineering,

University of California Berkeley, Berkeley, CA 94720, USA; 3. Electronic Engineering, Tsinghua University,

Beijing 100084, China; 4. Electrical and Computer Engineering, University of California Riverside, Riverside,

CA 92521, USA）

Abstract: Autonomous driving is one of the three major innovations in automotive industry. Deep learning

is a crucial method to improve automotive intelligence due to its outstanding abilities of data fitting, feature

representation and model generalization. This paper reviewed the technologies of deep neural network (DNN)

收稿日期 / Received ： 2019-01-19。

基金项目 / Supported by ： “十三五”国家重点研发计划（2016YFB0100906）；国家自然科学基金面上项目（51575293）；国家自然科学基金优秀青年科学基金项目（U1664263）；国家自然科学基金重点项目(51622504）；北京市自然科学基金杰出青

年科学基金项目（JQ18010）；汽车安全与节能国家重点实验室开放基金课题（KF1828）。

第一作者 / First author ： 李升波(1982—），男（汉），山东，副教授。E-mail: lishbo@。

for autonomous vehicles, which covered its history, main algorithms and key technical application. The historical timeline of DNN, its “Unit-Layer-Network” architecture, and two types of representative models were introduced. The training algorithms centered on back propagation (BP), labelled datasets and free-source frameworks for deep learning were summarized, followed by the introduction to computing platforms and model optimization technologies. Finally, the applications of DNN in autonomous vehicles were discussed, including object detection and semantic segmentation, hierarchical and end-to-end decision-making, longitudinal and lateral motion control. The applicable methods and future works for different key problems of DNN in autonomous vehicles were pointed out.

Key words: i ntelligent vehicles; autonomous driving; deep neural network(DNN); deep learning; environmental

perception; decision making; motion control

然后系统概述其在自动驾驶领域中的应用。

本文对深度神经网络技术进行了总结，包括发展历史、关键算法和在自动驾驶领域的主要技术应用。 首先介绍了神经网络的发展历史及现状，阐述了DNN 层级结构以及主要模型；然后介绍DNN 的训练算法， 列举了公开数据集和开源框架；继而介绍了计算平台和模型优化技术，概述了DNN 在自动驾驶汽车感知、决策及控制领域的应用；最后，对基于神经网络的自动驾驶技术进行展望。

1 神经网络历史与现状

神经网络（NN ）的研究最早可追溯到20世纪40年代， 迄今为止，共经历了3次发展浪潮。 20世纪60年代，初步提出类似人脑神经元的连接结构；至20世纪80年代由联结主义思想引导进入以浅层网络为主的研究； 2006年之后，以深度学习之名再度兴起。

1.1 20世纪60年代

神经网络（NN ）研究始于神经元活动特性的探索。早在1943年，McCulloch 和Pitts 提出了第1个类神经元的运算模型，即“M–P 模型”，通过多个输入的线性组合输出0或1，但需要人为设置所需的权重和阈值[1]。1956年Rosenblatt 提出了感知机，这是第1个根据数据样本自动学习权重的NN 模型[2]。感知机由输入层和输出层的两层神经元组成，没有隐藏层，实现逻辑与、或、非运算。之后Widrow 和Hoff 等设计了带自适应线性元件的网络模型，具备输出连续模拟量的能力[3]。1969年Minsky 和Papert 发现感知机不能执行异或运算，这导致NN 研究经历了近10年的沉寂[4]。

1.2 20世纪80年代

第2次NN 研究浪潮伴随联结主义思想而出现，核心是智能行为可由大规模的神经元单元组合进行模

智能化是汽车的三大变革技术之一，具有提升道路交通安全、减少燃油消耗、提高道路通畅性的巨大潜力，将彻底改变人类的出行方式与社会结构。按照智能水平的高低，美国国家公路交通安全管理(National Highway Traf fic Safety Administration ，NHTSA ）将智能汽车分为5级，从第1级到第5级智能水平依次递增。最高级别的智能汽车要求具备所有驾驶场景的人类驾驶能力，这对环境感知、自主决策和运动控制提出了极大的挑战：1）环境感知方面，以摄像头、雷达等为主的传感器系统难以达到完美感知，准确性和可靠性均有待进一步提升；难以适应恶劣天气、混杂交通、陌生环境等特殊场景。2）自主决策方面，尤其是面向城市道路工况的智能性不足。这不仅是因为交通参与者的动态度高、行为随机性强，而且是对象之间存在强烈的交互耦合，道路结构及交通规则硬性约束的结果。3）运动控制方面，车辆纵横向动力学特性高度非线性时变，模型难以准确可知，且存在外界风、大弯道、湿滑路面等干扰，加上传感器噪声、执行器误差以及对象模型不确定性等因素，运动控制的稳定性和鲁棒性仍然有待进步。

神经网络（neural network ，NN ），特别是深度神经网络 （deep neural network ，DNN ）具有如下3方面特点：1）拟合能力优，理论上DNN 具备较强非线性映射能力，可拟合任意复杂函数；2）表征能力强，DNN 的层次深，表达维度高，具备很强的特征抽取能力；3）适用范围广，既用于图像、语音、文本的识别领域，又适合工业制造、电子游戏的智能控制，且泛化能力较好，是提升自动驾驶智能水平的重要手段。现有有关深度学习的综述仅停留于对方法原理的概述以及在计算机视觉、自然语言处理等领域的应用，而自动驾驶作为人工智能应用的重要场景，大量用到了深度学习技术[1-3]。本综述首先对神经网络按层级结构进行梳理，