【CN110084303A】一种基于CNN与RF高维多粒度特征选择方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910347785.2

(22)申请日 2019.04.28

(71)申请人 北京工业大学

地址 100124 北京市朝阳区平乐园100号

(72)发明人 刘磊　孙应红　陈圣　侯良文　

(74)专利代理机构 北京思海天达知识产权代理

有限公司 11203

代理人 吴荫芳

(51)Int.Cl.

G06K 9/62(2006.01)

G06N 3/04(2006.01)

G06N 3/08(2006.01)

(54)发明名称一种基于CNN与RF高维多粒度特征选择方法(57)摘要本发明涉及一种基于CNN与RF高维多粒度特征选择方法，属于信息处理技术领域。本发明基于高纬多粒度特征数据集，结合深度学习算法和机器学习算法用于解决高纬多粒度特征提取的问题。首先利用深度学习算法CNN模型构建了一种FSelCNN模型，通过该模型将原有数据从多粒度转化为单一粒度，使得该数据成为机器学习算法所需的数据；最后利用机器学习算法RF从该高纬的数据中选择出影响实际问题的有效特征。本发明从高纬多粒度特征数据的单一特征层面出发，将其从多粒度维度转化为单一粒度维度，有效解决了运算复杂度；模型减少了参数量，能够在较短时间内训练完成；适用于各种高纬多粒度数据，自适应能力较强，

并且具有较好的效果。权利要求书1页 说明书6页 附图1页CN 110084303 A 2019.08.02

C N 110084303

A

1.一种基于CNN与RF高维多粒度特征选择方法，包括以下步骤：

步骤1对待特征选择的数据进行规范化表示：数据表示D＝{X 1,X 2,…,X n }，其中每个数据点

X i ＝(x 1,x 2,…,x m )(i＝1,2,…,n)，每个特征x j ＝(x j1,x j2,…,x jl )(j＝1,2,…,m)，则每

一个数据点X∈D可以表示为如下矩阵A：

其中，矩阵A的每一行表示数据点X的一个特征，并且该特征分布在l个不同的维度，在本文中将每个特征统称为多粒度特征；

步骤2构建基于CNN技术的FSelCNN模型并训练，其中，f表示FSelCNN模型函数，该模型用于对多粒度特征进行降维；

步骤2.1构建FSelCNN模型

FSelCNN模型依次包括两个卷积层、一个Flatten层以及一个全连接层，其中，第一卷积层包括M个尺寸为1×l的并行的卷积核，M个卷积核的输入均为矩阵A m ×l ，每个卷积核的卷积操作相同且为Φ1，经过每个卷积核卷积操作后输出一个m ×1的列向量，则第一卷积层的输出为矩阵B m ×M ；第二卷积层包括一个尺寸为1×1的卷积核，输入为第一卷积层的输出，卷积操作为Φ2，第二卷积层的输出再通过一个Flatten层，输出一个m ×1的列向量；Flatten层作用是对第二卷积层的输出做一个相当于reshape的操作；

步骤2.2训练FSelCNN模型，确定函数f

首先，用规范化表示后的数据构建数据集D＝{(X 1,y 1),(X 2,y 2)…,(X n ,y n )}，其中y i ,(i ＝1,2,…,n)为类别标签；其次将数据集D划分为训练集与测试集，利用训练集并通过深度学习框架对FSelCNN模型进行训练，当模型在测试集上的准确率Acc∈(α,1]时，α为一常数，提取FSelCNN的Flatten层输出结果，得到函数f，训练完成，其中准确率即分类正确的样本数N right 除以样本总数N；

步骤3利用随机森林RF技术对待进行特征选择的数据进行特征选择

3.1构造数据集D ′＝((f 1,y 1),(f 2,y 2),…,(f n ,y n ))，数据f i ∈R m (i＝1,2,…n)由规范化表示后的数据带入函数f得到，y i (i＝1,2,…,n)为类别标签，与步骤2.2中的标签相同；

3.2通过训练RF模型来获取特征

首先将数据集D ′划分为训练集与测试集，利用RF技术在训练集上训练，使得模型在测试集上的准确率Acc∈(β,1]，β是一常数；再通过训练好的RF模型，输出m个特征对(F 1,I 1),(F 2,I 2),…,(F m ,I m )，I i 为特征F i 对应的重要性；

3.3通过特征的重要性选择特征

将特征对(F 1,I 1),(F 2,I 2),…,(F m ,I m )根据特征重要性I i 从大到小排序，选出前N个所需特征。

权　利　要　求　书1/1页2CN 110084303 A