基于深度学习的数据融合方法研究综述

2020，56（24）基于深度学习的数据融合方法研究综述
张红1，程传祺1，徐志刚1，李建华2
1.兰州理工大学计算机与通信学院，兰州730050
2.兰州理工大学机电工程学院，兰州730050
摘要：数据融合是最大程度发挥大数据价值的关键，深度学习是挖掘数据深层特征信息的技术利器，基于深度学习的数据融合能够充分挖掘大数据潜在价值，从新的深度和广度拓展对世界的探索和认识。

综述了近几年基于深度学习的数据融合方法的相关文献，以此了解深度学习在数据融合中应用所具有的优势。

分类阐述常见的数据融合方法，同时指出这些方法的优点和不足。

从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析，并做了对比研究与总结。

总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。

关键词：数据融合；信息融合；深度学习；算法分类
文献标志码：A 中图分类号：TP 391doi ：10.3778/j.issn.1002-8331.2007-0475
张红，程传祺，徐志刚，等.基于深度学习的数据融合方法研究综述.计算机工程与应用，2020，56（24）：1-11.
ZHANG Hong,CHENG Chuanqi,XU Zhigang,et al.Survey of data fusion based on deep puter Engineering and Applications,2020,56（24）：1-11.
Survey of Data Fusion Based on Deep Learning
ZHANG Hong 1,CHENG Chuanqi 1,XU Zhigang 1,LI Jianhua 2
1.School of Computer and Communication,Lanzhou University of Technology,Lanzhou 730050,China
2.School of Mechanical and Electrical Engineering,Lanzhou University of Technology,Lanzhou 730050,China
Abstract ：As data fusion is the key to maximize the value of big data,while deep learning is a technical tool for mining deep characteristic information of data,data fusion based on deep learning can fully tap the potential value of big data,thus expanding the exploration and understanding of the world to a new depth and breadth.And this paper learns the advan-tages of deep learning in data fusion by reviewing the literature related to data fusion based on deep learning in recent years.The common data-fusion methods are classified,the advantages and disadvantages of which are pointed out.Analysis is conducted on data fusion method based on deep learning from three perspectives,namely the data fusion method extracted based on features of deep learning,data fusion method based on deep learning fusion and data fusion method based on the whole process of deep learning,and corresponding comparisons and summaries are conducted as well.This paper summa-rizes the whole document,discusses the difficulties in the application of deep learning in data fusion and the problems which require further research in the future.
Key words ：data fusion;information fusion;deep learning;algorithm classification
⦾热点与综述⦾
基金项目：国家重点研发计划（No.2018YFB1702900，No.2019YFB1707300）。

作者简介：张红（1977—），通信作者，女，博士，副教授，CCF 会员，研究方向为智能交通、大数据分析，E-mail ：*****************.cn ；
程传祺（1995—），男，硕士研究生，研究方向多源异构数据融合；徐志刚（1977—），男，博士，副教授，研究方向为计算机视觉理论集应用、人工智能理论与应用、信号稀疏表示模型与理论；李建华（1975—），男，博士，副教授，研究方向为分布式人工智能、制造业信息化。

收稿日期：2020-07-29修回日期：2020-09-18文章编号：1002-8331（2020）24-0001-11
CNKI 网络出版：2020-11-20,https:///kcms/detail/11.2127.tp.20201120.1104.010.html
Computer Engineering and Applications 计算机工程与应用
1
Computer Engineering and Applications计算机工程与应用2020，56（24）
1引言
在大数据时代，数据的来源越来越广泛，数据类型也越来越多样化。

但是，由于大数据的“5V”特性（Volume、Variety、Value、Veracity、Velocity），使人们难以充分挖掘大数据的隐含信息。

因此，人们迫切需要有效的手段对多源异构数据进行融合，并挖掘出有价值的信息加以利用。

数据融合技术作为一种重要的数据处理手段，有广泛的应用，如目标检测[1-3]、战场评估[4]、医疗诊断[5-7]、遥感测绘[8-10]、故障诊断[11-14]、智能制造[15-16]等。

在智能制造领域中，数据融合技术有效地提高了人们对工业大数据的处理能力和利用效率。

通过数据融合技术，对海量、高维、多源异构含噪声工业数据进行清洗去噪、集成建模与多尺度分类，为之后的关联分析、性能预测和优化决策提供可靠的数据资源支持。

因此，数据融合技术有力地推动了应用领域的发展。

美国Joint Directors of Laboratories（JDL）数据融合小组曾从军事角度对数据融合做出描述：数据融合是一种多层次多角度的信息处理手段。

在处理过程中，为了得到精确的状态判定、身份识别以及完整及时的态势与威胁评估，将多源数据进行一系列包括检测、结合、关联、估计和组合等操作[17]。

Hall等人[18]认为“信息融合是将不同来源、不同时刻的信息自动或半自动地转换成能够为人为或自动决策提供有效支持的表示形式”。

根据研究人员对数据融合技术的不同描述，可以将数据融合总结为：针对多个信息采集设备所提供的不完整、不精确信息，进行一定的综合处理和分析手段，得到对目标较为准确和完善的描述，为决策或判断做支持。

在应用场景中，使用数据融合技术对多源数据进行处理存在诸多优势[19]，如多源数据具有对目标描述全面、数据互补的特点，对其进行融合操作能很好地提高决策可信度和模型的抗干扰能力；对多源数据进行融合，能够降低多源数据存在的冗余，减少了对存储资源的浪费，也减少了在传输数据时不必要的资源消耗。

2研究现状
常用的数据融合方法可分为基于概率融合方法、基于Dempster-Shafer理论的融合方法、基于知识的融合方法等[20]。

基于概率融合的方法包括贝叶斯推理[21-23]、卡尔曼滤波模型[24-26]以及马尔科夫模型[27-28]等，这类融合方法的核心数学理论是贝叶斯推理，通过引入概率分布和概率密度函数来表示随机变量之间的依赖关系，从而建立不同数据集之间的关系；基于证据理论的融合方法主要是D-S证据理论，D-S理论通过引入置信度和合理度来表示数据的不确定性，在动态的情况下进行推理，使用规定的融合规则进行数据融合。

D-S理论作为贝叶斯推理的推广形式，相较于贝叶斯推理，具有不需要获取数据的先验概率的优点；基于知识的融合方法包括支持向量机、聚类[29]等方法，这类方法认为数据中包含大量有用的知识信息，寻找数据中包含的知识以及度量知识之间的相关性和相似性，是这类方法的关键。

研究人员意识到常用的数据融合方法在对大数据进行融合时存在诸多弊端，如基于概率的融合方法存在难以获取先验概率、处理高维复杂数据困难的缺点；基于证据理论的融合方法存在质量函数难以估计的缺点；基于知识的融合方法对数据缺失和噪声数据敏感的特点。

随着计算机运算硬件和数据处理技术的发展，计算设备的运算能力不再成为深度学习的障碍。

这为深度学习在数据融合中的应用带来了新的发展机遇。

深度学习能够根据训练数据进行自学习，而无需对每个要解决的问题具体编程实现。

深度学习模型旨在对数据进行建模，以获得数据中的深层关联关系并建立知识框架，最终将模型用于预测、分类和特征提取等方面。

近年来，研究人员尝试将深度学习运用到数据融合中，希望能够提高融合算法在处理大数据时的性能。

众多学者已经从不同的角度对数据融合方法进行归纳整理。

如Alam等人[30]对物联网中数据融合的方法进行综述；Pires等人[31]对移动设备中传感器数据融合技术进行了系统的概述；Gite等人[32]对数据融合技术在上下文感知系统中的应用进行了深入研究；Meng等人[33]系统地回顾了基于机器学习的数据融合方法在各领域的应用，并对基于机器学习的数据融合方法进行评价；Ding等人[34]从物联网安全和隐私保护角度，回顾了数据融合技术在其中的应用；Khaleghi等人[35]从以数据为中心的角度，对数据融合方法进行了分类阐述，并且重点介绍了数据融合领域未来的发展方向；Zhang等人[36]对基于深度学习的数据融合方法在多源异构数据中的应用进行了综述；Liu等人[37]在对常用数据融合方法进行总结的基础上，概述了基于深度学习的城市大数据融合方法，也简要地讨论了多模式大数据融合存在的困难和一些解决思路。

从以上文献发现，研究人员从各种角度对数据融合方法进行了综述。

但是，缺少对基于深度学习的数据融合方法进行系统的概括和总结。

尽管Liu等人[37]对基于深度学习的数据融合方法进行了分类，并列举了在城市大数据融合中的应用，但是作者只关注了城市大数据融合背景下的相关文献，也缺少与传统数据融合方法的比较；而Zhang等人[36]仅是简单介绍了深度学习在大数据融合方面的应用，并未对方法进行评价和总结。

随着深度学习在数据融合领域的不断发展，深入了解基于深度学习的数据融合方法的应用现状和未来发展趋势是至关重要的。

本文将对基于深度学习的数据融合方法进行详细的阐述和总结。

首先，对传统的数据融合方法进行分类阐述，对传统的数据融合方法应用领域、存在的优点和
2
2020，56（24）不足进行简要总结；然后按照深度学习模型在数据融合过程中的参与阶段，对基于深度学习的数据融合方法进行归纳分类；最后将传统的数据融合方法与基于深度学习的数据融合方法进行比较，并指出基于深度学习的数据融合方法的难点和未来研究方向。

本文的主要贡献如下：（1）回顾了基于深度学习的数据融合方法在各种场景下的应用，并按照融合性能、资源消耗、模型复杂度等方面将其与传统的数据融合进行对比，着重讨论了两者在不同应用场景下的优劣。

（2）总结了部分基于深度学习的数据融合方法，并按照深度学习在数据融合模型中参与的阶段，将基于深度学习的数据融合方法分为基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法以及基于深度学习全过程的数据融合方法，并介绍了各类方法的结构特点。

（3）讨论了基于深度学习的数据融合方法存在的难点和未来值得研究的一些问题。

3基于深度学习的数据融合方法3.1深度学习概述深度学习是深度神经网络的统称，是由浅层神经网络发展而来。

浅层神经网络通常由一个输入层、一个隐藏层和一个输出层组成，用Wx +b 来计算前一层输入的加权和，其中W 为权重向量，b 为偏置量，之后将加权和通过非线性激活函数，如tanh 、sigmod 和ReLU 等得到后一层的输入。

而深度神经网络的隐藏层则包含多个，较低层的隐藏层输出作为较高层隐藏层的输入。

因此，深度神经网络能够学习到数据中更有效的特征表示。

相较于浅层网络，深度神经网络能够更好地表示复杂的目标函数，具有更好的泛化性能，能够通过多个隐藏层提取数据的多层特征从而获得更多的信息。

深度神经网络比浅层神经网络具有更强的表示能力，由于深度神经网络的网络层增加使得非凸目标函数容易产生局部最优解。

反向传播算法基于梯度下降，从初始化点开始寻找最优解，这通常会陷入局部极值，并且随着网络层增加而进一步恶化。

因此，不能很好地求解深度神经网络问题，这也导致在20世纪80年代和90年代深度神经网络研究进展缓慢。

在2006年Hinton 教授[38]提出深度学习概念，并提出求解深度神经网络的贪婪逐层训练算法，这使得深度学习迅速发展，并在目标检测[39]、图像处理[40]、语音[41]等领域广泛应用，而深度学习在数据融合领域中的应用还是相对较新的研究。

深度神经网络具有多个隐藏层和大量参数，适合描述不确定的复杂系统。

深度神经网络的多层结构使得在海量数据特征提取方面更具优势[42]，并且所提取特征质量要远优于人工标注等方式获得的特征[43]。

由于深度学习模型是模拟人类大脑的神经连接结构，在处理图像、声音等数据时通过多个变换阶段分层对数据进行描述，因此更适合处理海量异构数据。

3.2基于深度学习的数据融合方法分类深度神经网络（Deep Neural Network ，DNN ）优秀的特征表示能力，使其在数据融合领域有了较为广泛的
应用。

文献[36]将现有的基于深度学习的数据融合方法分为三类：基于深度学习输入的数据融合方法、基于深度学习输出的数据融合方法以及基于深度学习双阶段的数据融合方法，但是该文献中综述的模型偏向于对
城市大数据的融合，因此该分类方法并不能很好地对基于深度学习的数据融合方法进行分类。

本文将在上述文献融合模型分类方法的基础上，提出一种针对基于深度学习的数据融合模型的新的分类方法。

该分类方法按照深度学习在数据融合中所参与的阶段，把基于深度学习的数据融合方法分为三种类型：基于深度学习特征
提取的数据融合方法、基于深度学习融合的数据融合方法和基于深度学习全过程的数据融合方法，如图1所
示。

在基于深度学习特征提取的数据融合方法中，深度
学习主要参与数据融合中特征提取的阶段，融合阶段则
是使用其他方法完成；基于深度学习融合的数据融合方
法中，深度学习主要参与到数据融合阶段；在基于深度学习全过程的数据融合方法中，深度学习模型则是参与了数据融合操作的特征提取阶段和融合阶段，并且通常使用了不同的深度学习模型。

3.2.1基于深度学习特征提取的数据融合方法基于深度学习特征提取数据融合方法中，深度学习主要作用是提取数据的特征，融合操作可以在深度学习模型之后（特征级融合或决策级融合）也可以在深度学习模型之前（数据级融合）。

Liu 等人[44]
提出一种基于非下采样轮廓波变换（Non-
Subsampled Contourlet Transform ，NSCT ）和卷积神经
网络（Convolutional Neural Networks ，CNN ）的X 射线
图像骨龄评估多尺度数据融合框架，并在该框架下提出基于特征级融合的回归模型和基于决策级融合的分类模型，分别如图2所示。

在基于特征级融合的回归模型中，首先通过NSCT 对X 射线图像进行4级分解，获得丰富的底层特征；然后将提取出的底层特征输入进卷积模块，该模块由多个VGGNet-16网络构成，每一个由13层卷积层和5个最大池化层组成，分别处理NSCT 的一级分解，以获得特征图；在融合阶段，将不同VGGNet-16神经网络输出特征图拼接，以实现特征级融合。

基于决策级融合的分类模型主要包含4个模块：NSTC 分解、分类、融合和估计。

NSCT 分解模块同样是通过对X 射线图像分解得到底层特征；分类模块包含特征提取以及分类决策，在该模块中使用VGGNet-16神经网络提取特征，然后将特征作为输入通过三层全连接层进行分类；在融合模块中，可以使用不同的融合规则对分类模块中
张红，等：基于深度学习的数据融合方法研究综述
3
Computer Engineering and Applications 计算机工程与应用
2020，56（24）的决策结果进行融合，在该文献中，作者给出了三种融合规则：元素最大值规则、元素均值规则和元素乘法规则。

元素最大规则：P f,j =max{P i,j }（1）元素均值规则：P f,j =1N ∑i =1N P i,j （2）
元素乘法规则：P f,j =∏i =1N P i,j （3）
其中，P f,j 为第j 个元素的融合预测，P i,j 为第j 个元素
中第i 个源的预测结果，N 为原预测的个数，i ,j ∈
{1,2,⋯,N }。

作者最后将该方法与最新的骨龄预测方法
进行对比，结果表明该方法具有更好的性能。

该方法不同于传统医学图像融合方法以原始图像作为输入，而是
使用了NSCT 对原始图像进行分解，既解决了医学图像
样本少的缺点，同时通过图像分解也获得了图像在多个
不同角度的特征，使得对目标的描述更加精确。

该模型集成了多个VGGNet-16卷积神经网络分别对NSCT 所
分解的特征进行进一步特征提取，因此，这导致模型的
复杂度较高，模型训练时间较长。

作者指出基于特征级融合的回归模型和基于决策级融合的分类模型训练所
消耗时间分别为14.61h 和4.14h ，测试集平均运行时间
分别为22.69ms 和35.36ms 。

该模型为离线训练，因此
模型部署后仍具有较好的实时性。

此外，该方法虽然只
在公开骨龄评估数据集上进行验证，但是同样适用于其
他样本较小的医学图像融合，具有较好的扩展性。

Zhang 等人[45]提出一种基于多传感器数据融合和
DBN （Deep Belief Network ）的滚珠丝杠劣化检测识别
方法，如图3所示。

首先通过快速傅里叶变换（Fast Fourier Transform ，FFT ）将多个传感器采集的时域信号转换为对
应的频域信号，并通过平行叠加的方式进行融合；然后将融合结果作为输入通过无监督学习的方式对DBN 进行训练；最后使用Softmax 分类器进行分类。

在该方法中，融合操作在深度学习模型之前，其融合过程如下所示：步骤1使用n 个传感器采集不同位置的时域信号。

步骤2使用FFT 计算n 组时域信号对应的频谱{f (1)i ,f (2)i ,⋯,f (n )i },i =1,2,⋯,M ，其中M 为每组收集的退
化样本数。

（b ）基于深度学习全过程的数据融合方法（c ）基于深度学习融合的数据融合方法图1
基于深度学习的数据融合方法分类
（a ）基于特征级融合的回归模型
（b ）基于决策级融合的分类模型
图2基于NSCT 和CNN 的数据融合框架
4
2020，56（24）步骤3将这n 组频谱按照平行叠加的方式进行融合，得到融合后的频谱{F i },i =1,2,⋯,M ，其中，F i =f (1)i ⋃f (2)i ⋃⋯⋃f (n )i ，然后将融合后的频谱进行归一化。

融合后的频谱的维数为n 组频谱维度之和，即dim(F i )=
∑j =1,2,⋯,n dim(f (j )i )。

为了验证方法的有效性，作者将该方法与使用未融合数据集的DBN 方法进行对比，实验结果显示该方法
在训练集和测试集上的表现出较好的准确性和稳定性。

相对于单传感器信号，该文献使用的多传感器信号
对故障描述更加全面、准确。

DBN 从融合频谱中挖掘固有特征，并建立融合频谱和退化特征之间的非线性映
射，有效降低了多传感器特征提取的难度，避免了特征提取不充分，导致的准确性较差的问题。

同时，模型的深度结构和大量神经元，使得模型的训练时间相对于浅
层神经网络等方法更长。

若采取离线训练后对模型进行部署，仍能够保证模型的实时性。

该方法采用信号处理常用的手段对传感器信号进行处理，因此，在多传感器数据融合领域有较好的扩展性。

此外，该方法采取平行叠加的方式对数据进行融合，但是在传感器节点较少的情况下，并不能有效降低某节点传感器数据异常造成的影响。

Zhai 等人[46]提出一种基于深度学习融合识别方法，通过合成孔径雷达（SAR ）图像数据进行融合以提升目标识别准确度，其模型流程如图4所示。

首先通过主成分分析（PCA ）对SAR 图像数据进行降维，并将其作为输入，通过堆叠自动编码器（Stacked Auto-encoder ，SAE ）来获取SAR 图像的深层特征；之后将经过预处理的SAR 图像数据作为输入，使用CNN 网络提取深层特征；然后将SAE 提取的特征向量和CNN 提取的特征向量直接拼接完成融合；最后将融合特征通过Softmax 分类器进行分类。

实验结果表明，该方法能够有效避免噪声、背景和姿态角对目标识别模型的影响，提升了模型的鲁棒性。

在该方法中，CNN 网络具有较好的平移不变性，能够有效地提取SAR 数据的深层特征，并且对数据的背景和噪音具有较好的鲁棒性；使用PCA 和SAE 网络对添加随机高斯噪声的SAR 图像数据进行降维，使得模型具有较好的抗噪能力。

但是，一维的PCA 特征缺失了图像的部分域信息，这导致目标识别的精度有所下降。

该方法有效降低了姿态角、背景以及噪声等对检测结果影响，因此该方法在SAR 目标检测中具有较好的适应性和扩展性。

除了上述经典深度学习方法在数据融合中的应用，改进的深度学习方法也在数据融合中有广泛的应用。

Zheng 等人[47]使用BPNN 和indRNN 提取数据的空间特征和时间特征，并通过全连接层对特征进行融合。

该方法通过引入时间特征，大大降低了时间特征对产量预测的影响，降低了预测误差。

3.2.2基于深度学习融合的数据融合方法
基于深度学习融合的数据融合方法中，深度学习模块的主要功能为对输入的数据进行融合。

在实际应用中，该模块的输入数据可能是原始数据集，也可能是经过处理后的数据特征。

尽管在此类方法中，深度学习模块主要起到数据融合作用，但是，通常在数据融合操作的同时具有一定的特征提取功能。

Chen 等人[48]在故障诊断研究过程中，提出一种基于深度卷积神经网络的数据融合模型（DCNN ），其模型结构如图5所示。

由于单个传感器采集的故障数据通常不太稳定且噪声影响严重，因此，作者提出在不同位置安装传感器，分别用来采集水平振动信号数据和垂直振动信号数据，这使得传感器数据对故障特征描述更加全面和准确。

首先对水平振动信号和垂直振动信号进行重叠切片，并将同一时刻的切片信号进行组合，作为DCNN 模型的输入；然后通过DCNN 模型对组合后的切片信号进行融合，并同时完成对数据的特征提取；
最后
图3基于DBN
的多传感器数据融合模型
图4基于SAE 和CNN 的数据融合模型
张红，等：基于深度学习的数据融合方法研究综述
5
Computer Engineering and Applications 计算机工程与应用
2020，56（24）将融合后的数据特征通过Softmax 层进行分类。

由于使用两个传感器同时采集设备在水平和垂直方向上的信号，能够有效地消除噪声对所采集到数据的影响，并且使得传感器数据对设备状态的描述更加全面。

通过对同时刻的传感器信号数据进行切片组合也能很好地保留不同传感器之间的时间相关性。

文献通过实验证明
了将两个传感器数据融合后进行故障诊断能够获得更好的诊断效果。

此外，通过在多个数据集上与支持向量
机（Support Vector Machine ，SVM ）、BP 神经网络（Back Propagation Neural Network ，BPNN ）等浅层网络对比，结果表明通过引入DCNN 数据融合方法使得检测模型具有更好的检测性能和扩展性。

该方法充分体现了基于深度学习数据融合的优势，即DCNN 模型具有的非线性映射能力，能够进行特征自动提取并通过数据融合提
高模型鲁棒性。

但是，DCNN 模型的特征学习能力与神
经网络层数成正比，而深层网络结构意味着需要更多的训练数据和大量待训练参数，模型的训练时间也会更久。

但是通过离线训练后部署模型，仍能够使模型具有
不错的实时性。

此外，该方法对噪声数据并未进行预处
理处理操作，因此该方法有进一步研究的空间。

Wu 等人[49]提出一种基于深度长短时记忆神经网络（Deep Long Short Time Memory ，DLSTM ）数据融合预测模型，用于对设备剩余使用寿命预测。

该模型以LSTM 神经单元为基础，多个LSTM 神经单元构成LSTM 层，DLSTM 模型通过多层LSTM 层进行叠加构成，其结构如图6所示。

相较于单传感器数据使用多个传感器数据进行预测，能够提高预测的准确性和可靠性。

在DLSTM 模型中，将多传感器数据构造成为二维矩阵，矩阵中的行数和列数分别为k 和T ，其中k 为传感器数量，T 表示对单个传感器采样数据量。

模型的输入层神经元为所选传感器信号的数量，即k 。

多个LSTM 层堆叠构成DLSTM 模型对多传感器数据进行融合并提取深层特征，不同的LSTM 层在空间上相连，数据从上层神经元输入到下层神经元，每个LSTM 层的LSTM 神经元之间进行信息交换。

因此，通过在层之间以及神经元之间的连接，DLSTM 模型能够很好地挖掘多传感器数据之间的长期依赖关系。

文献通过实验验证了基于DLSTM 数据融合预测模型的预测准确率有明显提高，并且模型的鲁棒性也有很大提高。

DLSTM 模型层与层之间、神经元与神经元之间的信息交换，使其能够更好地对多传感器数据进行融合。

但是，DLSTM 网络结构复杂、待训练参数较多，因此，DLSTM 网络的训练过程较为复杂且漫长，而且对运算设备的计算能力要求更高。

该方法的平均在线计算时间为0.18s ，实时性满足实际应用要求，并且该方法具有较好的多传感器融合能力，可以广泛应用于工业领域中，具有较好的扩展性。

Li 等人[50]为解决在多源数据融合故障诊断中，数据
融合困难的问题，提出一种基于卷积神经网络的自适应
数据融合方法，该方法基于卷积神经网络的自适应卷积
核设计自适应数据融合层，之后提出基于空洞卷积的一维卷积神经网络对融合数据特征进行提取。

该方法有效降低了多源数据的融合难度。

Fu 等人[51]提出一种基于残差网络的多尺度特征融合卷积神经网络（MCFF-CNN ），用于车辆颜色识别。

MCFF-CNN 通过组合不同的网络层的输出特征实现图像特征的多尺度融合，同时将深层网络和浅层网络的输出特征融合，从而获得车辆图像的更深层特征。

该方法能够很好地识别出不同光线条件下车辆颜色，方法具有很好的鲁棒性。

3.2.3基于深度学习全过程的数据融合方法基于深度学习全过程数据融合方法的特征提取阶段以及数据融合阶段都使用深度学习模型。

在该类模型中，特征提取和数据融合既可以使用相同类型的深度学习模型，也可以使用不同类型的深度学习模型。

Du 等人[52]提出一种基于CNN 模型、GRU （Gated Recurrent Unit ）模型和自适应多模态联合模型的深度学习框架，用于对短时交通流量进行预测，框架结构如图7所示。

该模型中的CNN 模型用于学习序列数据局部趋势的空间表示，GRU 模型学习长期依赖特征的时间表示，之后将提取出的时间相关特征和空间相关特征，通过带注意力机制融合层进行初步融合。

该过程表
示如下：
图5
基于深度卷积神经网络的数据融合模型…………图6DLSTM 数据融合模型结构
6。