深度学习在控制领域的研究现状与展望_段艳杰

第42卷第5期自动化学报Vol.42,No.5 2016年5月ACTA AUTOMATICA SINICA May,2016

深度学习在控制领域的研究现状与展望

段艳杰1吕宜生1张杰1,2赵学亮1王飞跃1

摘要深度学习在特征提取与模型拟合方面显示了其潜力和优势.对于存在高维数据的控制系统,引入深度学习具有一定的意义.近年来,已有一些研究关注深度学习在控制领域的应用.本文介绍了深度学习在控制领域的研究方向和现状,包括控制目标识别、状态特征提取、系统参数辨识和控制策略计算.并对相关的深度控制以及自适应动态规划与平行控制的方法和思想进行了描述.总结了深度学习在控制领域研究中的主要作用和存在的问题,展望了未来值得研究的方向.

关键词深度学习,控制,特征,自适应动态规划

引用格式段艳杰,吕宜生,张杰,赵学亮,王飞跃.深度学习在控制领域的研究现状与展望.自动化学报,2016,42(5): 643−654

DOI10.16383/j.aas.2016.c160019

Deep Learning for Control:The State of the Art and Prospects DUAN Yan-Jie1LV Yi-Sheng1ZHANG Jie1,2ZHAO Xue-Liang1WANG Fei-Yue1

Abstract Deep learning has shown great potential and advantage in feature extraction and modelfitting.It is significant to use deep learning for control problems involving high dimension data.Currently,there have been some investigations focusing on deep learning in control.This paper is a review of related work including control object recognition,state feature extraction,system parameter identification and control strategy calculation.Besides,this paper describes the approaches and ideas of deep control,adaptive dynamic programming and parallel control related to deep learning in control.Also,this paper summarizes the main functions and existing problems of deep learning in control,presents some prospects of future work.

Key words Deep learning,control,feature,adaptive dynamic programming(ADP)

Citation Duan Yan-Jie,Lv Yi-Sheng,Zhang Jie,Zhao Xue-Liang,Wang Fei-Yue.Deep learning for control:the state of the art and prospects.Acta Automatica Sinica,2016,42(5):643−654

近年来,深度学习(Deep learning)[1]在学术界和工业界发展迅猛.它在很多传统的识别任务上取得了识别率的显著提升[2],显示了其处理复杂识别任务的能力,吸引了大批学者研究其理论和应用.许多领域开始尝试利用深度学习解决本领域的一些问题.在控制领域,关于深度学习的研究已初现端倪.本文在概述深度学习的主要思想和方法的基础上,阐述深度学习在控制领域的研究现状,回顾相关的深度网络与深度控制的研究内容,介绍深度学习在控制领域常用的结合方法:自适应动态规划及其拓展平行控制.综合以上内容提出深度学习在控制领

收稿日期2015-12-26录用日期2016-03-26

Manuscript received December26,2015;accepted March26, 2016

国家自然科学基金(71232006,61233001,71402178)资助Supported by National Natural Science Foundation of China (71232006,61233001,71402178)

本文责任编委侯忠生

Recommended by Associate Editor HOU Zhong-Sheng

1.中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190

2.青岛智能产业技术研究院山东266000

1.The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing100190

2.Qingdao Academy of Intelligent Industries,Shandong266000域的研究展望.

1深度学习概述

深度学习源于神经网络的研究,可理解为深层的神经网络.通过它可以获得深层次的特征表示,免除人工选取特征的繁复冗杂和高维数据的维度灾难问题.目前较为公认的深度学习的基本模型包括基于受限玻尔兹曼机(Restricted Boltzmann machine,RBM)的深度信念网络(Deep belief net-work,DBN)[3−4]、基于自动编码器(Autoencoder, AE)的堆叠自动编码器(Stacked autoencoders, SAE)[5]、卷积神经网络(Convolutional neural net-works,CNN)[6]、递归神经网络(Recurrent neural networks,RNN)[7].为便于清楚地阐述深度学习在控制领域的研究现状,本节将概述以上四种深度学习模型的主要思想和方法.关于深度学习的更多内容,参见深度学习领域的综述[1,8−11].

1.1DBN

基于RBM的DBN由多个RBM堆叠而成,其结构如图1所示.网络前向运算时,输入数据从低层