基于深度神经网络的自动调制识别
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
算法又可以分为人工提取特征的传统机器学习分类
方 法（K-近 邻、决 策 树 等）、自 动 提 取 特 征 的 卷 积 神
经网络 CNN 分类方法。
图3
卷积神经网络调制方式自动识别的流程
理 论 上 ，CNN 叠 加 的 层 数 越 多 ，分 类 准 确 度 越
高，然而实践结果却是 CNN 叠加的层数增加到一定
入技术有了迫切的需求。这种非授权接入的通信方
信环境中难以广泛应用 [2]。基于特征提取的模式识
式称为非协作通信。其中首先必须要知道信号的调
别方法则较为稳定从而实用性更强 [3]。
制方式和调制参数，这就要对其进行调制识别。现
收稿日期：2019-04-பைடு நூலகம்9
稿件编号：201904178
本文主要针对现有的基于特征提取的模式识别
RESNET 进 行 分 类 测 试 。 实 验 结 果 显 示 自 动 调 制 识 别 的 分 类 准 确 度 提 高 了 近 12% 。 证 明 了
RESNET 适用于自动调制识别，可以满足工程需求。
关键词：自动调制识别；软件无线电；神经网络；残差网络
中图分类号：TP3
文献标识码：A
DOI：10.14022/j.issn1674-6236.2019.23.024
with 8 signal- to- noise ratios are generated based on GNU Radio，and the deep neural network model
RESNET is trained to classify and test. The experimental results show that the classification accuracy of
定程度缓解了深度网络中“梯度弥散”的问题，从而
极端情况下 X i + 1 = X i 是最优的，在没有恒等快捷连
使得训练深度网络模型更加容易和稳定。
而在加入恒等快捷连接的 RESNET 网络中，则可以
于 逻 辑 函 数（Logistic sigmoid）和 tanh 双 曲 函 数 等 传
接 的 CNN 网 络 中 就 出 现 了 预 测 准 确 度 下 降 问 题 。
Xi + 1 = F ( Xi) → Xi + 1 = F ( Xi) + Xi
∂X i + 1 ∂F
∂X
=
→ i + 1 = 1 + ∂F
∂X i
∂X i
∂X i
∂X i
（1）
（2）
通信领域专业知识。传统机器学习识别方法，不能
何凯明在文献[11]的分析，深度网络退化现象表
以原始 IQ 数据训练模型，常见的人工提取特征主要
文章编号：1674-6236（2019）23-0116-05
Modulation recognition based on deep neural network
LIU Qiao⁃ping1，2，QIU Xin1，GUO Rui1
（1.Institute of Microelectronics of the Chinses Academy of Sciences，Beijing 100085，China；2.University of
的 自 动 特 征 提 取 网 络 。 RESNET Block 引 入 了 恒 等
快捷连接，解决了卷积神经网络的退化问题。
Mean + Dense （global average pooling + fully
图4
RESNET 模型解析
我们将 RESNET 应用到调制识别领域上来。本
文使用的 RESNET 模型如图 5 所示。
程度之后网络的分类准确度反而开始下降。分析结
果表明这一现象的根源不是过拟合。这就是卷积神
经网络的退化问题。显然只要解决卷积神经网络的
退化问题，我们就可以通过提高网络结构中 CNN 的
层数来获得更好的分类效果 [10]。
1.1
图 1 非协作通信中的自动调制识别
传统机器学习
包括 KNN（K-近邻）[6]、DT（决策树）[7] 和 SVM（支
Automatic modulation recognition is a classification problem. Common methods are KNN，DT，SVM，
and CNN. In order to improve the accuracy of automatic modulation recognition，20 kinds of IQ data sets
值、观测值的概率密度达到最大时找出最为合理的
在一对多的网络通信、无线电的监控管理、通信
参数估计量。从贝叶斯估计的角度来说，基于假设
系统的故障检查、通信对抗侦察等军用和民用领域
检验的最大似然方法的结果是最优的，但该类方法
已经对在不影响正常通信的同时实现第三方系统接
对参数偏差和模型失配较为敏感，在现实的复杂通
通 过 求 解 优 化 算 法 收 敛 于 F ( X i ) à0；这 样 即 使 网 络
RELU（Rectified Linear Unit）修正线性单元相比
统的神经网络激活函数，有着以下几方面的优势 ：
1）仿生物学原理：人脑神经系统的研究表明人
层数加深，结果至少也不会比原来的网络差。
文 献 [12]则 通 过 实 验 对 RESNET 网 络 从 另 一 个
机器神经网络中神经元的活跃度（即输出为正值）从
可以被视为许多短路径的集合而不是单个深度网络。
而实现类人脑化。
2）更加有效率的梯度下降以及反向传播：避免
尽管这些路径是联合训练的，但它们并不强烈依赖
于彼此。此外它们表现出类似集合的行为，因为它
们的性能平滑地与有效路径的数量相关联。如图 4，
3 个 RESNET Block 串 联 等 效 于 8 种 0~3 个 RESNET
脑神经元的信息编码特点是分散和稀疏。通常人脑
会产生任何梯度。因此，RESNET 不是通过在整个网
态。而 RELU 以及正则化（regularization）就可以调试
角度进行了分析。认为在训练期间 RESNET 深路径不
在同一时间大约只有 1%-4%的神经元处于激活状
络深度保留梯度流来解决消失梯度问题。RESNET
方法进行改进。基于特征提取的模式识别方法依据
基金项目：装备预研教育部联合基金（6141A020223）
作者简介：刘桥平（1989—），男，湖南郴州人，硕士研究生。研究方向：无线通信和智能信号处理。
-116-
刘桥平，等
基于深度神经网络的自动调制识别
分类模型可以分为传统机器学习分类方法 [4]、卷积神
[5]
1 相关工作
非协作通信系统模型的简化框图如图 1 所示，
可见自动调制识别是实现非协作通信的重要环节。
1.2
卷积神经网络
使用卷积神经网络自动提取不同调制类别的区
分特征 [9]，网络模型如图 3 所示。
调制分类器的设计主要包括两个步骤：信号预处理
和分类算法实现。预处理任务包括但不限于执行降
噪、估计载波频率、计算符号周期和信号功率。分类
Block 并联，是典型的 3 个臭皮匠赛过诸葛亮。
了梯度爆炸和梯度消失问题。
3）简化计算过程：RELU 替代复杂的指数函数，
也使得神经网络的计算成本显著降低。
RESNET Block（Residual Network）类 似 CNN 代
替 人 工 特 征 工 程 。 RESNET Block 是 比 CNN 更 有 效
Key words: automatic modulation recognition；Software Defined Radio；neural network；RESNET
21 世纪初，软件无线电（Software Defined Radio，
有的自动调制识别技术主要可分为两类 [1]：一种是基
SDR）诞生。通过通用 PC 运行代码实现不同的通信
于假设检验的最大似然方法，另一种是基于特征提
功能，可对运行频率、工作带宽、调制类别、编码方式
取的模式识别方法。基于假设检验的最大似然方法
等进行灵活编程，系统可调节适用性大为增强。软
是一种统计方法，其利用概率模型推导，在观测采样
件无线电为非协作通信提供了合适的硬件平台。
Chinese Academy of Sciences，Beijing 100049，China）
Abstract: Automatic modulation recognition plays an important role in various civil and military
applications such as cognitive radios， intelligent demodulators， and electronic reconnaissance.
接 。 假 设 神 经 网 络 每 一 层 模 块 等 价 于 一 个 函 数 F，
则当输入为 x 时输出为 F（x）。假设第 1 层的输出是
x1，第 2 层的输出是 x2，依次类推，这里的 xi 就是每 i 层
的输出。CNN 没有恒等快捷连接，第 i+1 层的输入
是第 i 层的输出，于是 xi+ 1=F（x）
connected layers）在整个神经网络中起到“分类器”的
作用。卷积层、池化层和激活函数层负责将原始数
据转换到隐层的特征空间，全连接层则负责将学到
的“分布式特征表示”转换到样本的标记空间。由于
全连接层具有参数冗余的特点（全连接层参数约占
整个网络参数的 80%），目前大多采用全局平均池化
层替代全连接层。然而研究表明不含全连接层的网
第 27 卷
Vol.27
第 23 期
No.23
电子设计工程
Electronic Design Engineering
2019 年 12 月
Dec. 2019
基于深度神经网络的自动调制识别
刘桥平 1，2，邱 昕 1，郭 瑞 1
（1.中国科学院微电子所 北京 100085；2.中国科学院大学 北京 100049）
持向量机）[8]，具体关键流程如图 2 所示。
2 我们的算法
近几年深度学习取得了飞速发展，在图像识别
领域各种新颖的人工神经网络框架层出不穷。微软
亚研院的何凯明在文献[11]提出了 RESNET，在不出
现神经网络退化问题的前提下将神经网络层数提高
到 152 层 。 RESNET 创 新 性 地 引 入 了 恒 等 快 捷 连
络微调后的结果要差于含全连接层的网络。也证实
了冗余的参数并非一无是处，尤其在源域与目标域
现为神经网络层数加深之后反而会出现预测准确度
包括时域或变换域特征参数：时域特征有瞬时相位、
下降，表明目前的求解优化算法难以将深度网络优
瞬时频率以及瞬时幅度；变换域特征有谱相关函数、
化为浅层子网络，更进一步即说明目前的求解优化
-117-
《电子设计工程》2019 年第 23 期
算法难以通过多个非线性层来近似恒等映射。如果
功率谱以及其他一些统计参数。然而这些都不可能
经网络分类方法 。本文引入深度神经网络 RESNET
面面俱到，人工提取特征间接丢失了原始数据的一
模型用于自动调制识别。无需通信领域专业知识预
些信息。再加上传统机器学习模型的局限性，人工
处理提取特征，同时分类准确度能满足工程需求。
提取特征的传统机器学习分类方法准确度不高。
摘要：自动调制识别在认知无线电、智能解调器、电子侦察等各种民用及军事应用中扮演重要角
色。自动调制识别属于分类问题，常见的方法有 KNN、DT、SVM、CNN。为了提高自动调制识别的
准 确 度 ，基 于 GNU Radio 生 成 20 种 信 噪 比 8 种 调 制 类 型 的 IQ 数 据 集 ，训 练 深 度 神 经 网 络 模 型
automatic modulation recognition is improved by nearly 12% . It proves that RESNET is suitable for
automatic modulation recognition and can meet engineering requirements.
而 RESNET 有恒等
i ，
快捷连接，第 i+1 层的输入是第 i 层的输出，但是第 i+
1 层的输出还叠加了第 i 层的输出（即所谓的恒等快
捷连接）于是 xi + 1=F（x）
i +xi。 网络结构图关键不同点
在于 X i + 1 中增加了 X i 分量：
图2
传统机器学习的自动调制识别流程
自动调制方式识别的人工特征提取要求较高的
方 法（K-近 邻、决 策 树 等）、自 动 提 取 特 征 的 卷 积 神
经网络 CNN 分类方法。
图3
卷积神经网络调制方式自动识别的流程
理 论 上 ，CNN 叠 加 的 层 数 越 多 ，分 类 准 确 度 越
高，然而实践结果却是 CNN 叠加的层数增加到一定
入技术有了迫切的需求。这种非授权接入的通信方
信环境中难以广泛应用 [2]。基于特征提取的模式识
式称为非协作通信。其中首先必须要知道信号的调
别方法则较为稳定从而实用性更强 [3]。
制方式和调制参数，这就要对其进行调制识别。现
收稿日期：2019-04-பைடு நூலகம்9
稿件编号：201904178
本文主要针对现有的基于特征提取的模式识别
RESNET 进 行 分 类 测 试 。 实 验 结 果 显 示 自 动 调 制 识 别 的 分 类 准 确 度 提 高 了 近 12% 。 证 明 了
RESNET 适用于自动调制识别，可以满足工程需求。
关键词：自动调制识别；软件无线电；神经网络；残差网络
中图分类号：TP3
文献标识码：A
DOI：10.14022/j.issn1674-6236.2019.23.024
with 8 signal- to- noise ratios are generated based on GNU Radio，and the deep neural network model
RESNET is trained to classify and test. The experimental results show that the classification accuracy of
定程度缓解了深度网络中“梯度弥散”的问题，从而
极端情况下 X i + 1 = X i 是最优的，在没有恒等快捷连
使得训练深度网络模型更加容易和稳定。
而在加入恒等快捷连接的 RESNET 网络中，则可以
于 逻 辑 函 数（Logistic sigmoid）和 tanh 双 曲 函 数 等 传
接 的 CNN 网 络 中 就 出 现 了 预 测 准 确 度 下 降 问 题 。
Xi + 1 = F ( Xi) → Xi + 1 = F ( Xi) + Xi
∂X i + 1 ∂F
∂X
=
→ i + 1 = 1 + ∂F
∂X i
∂X i
∂X i
∂X i
（1）
（2）
通信领域专业知识。传统机器学习识别方法，不能
何凯明在文献[11]的分析，深度网络退化现象表
以原始 IQ 数据训练模型，常见的人工提取特征主要
文章编号：1674-6236（2019）23-0116-05
Modulation recognition based on deep neural network
LIU Qiao⁃ping1，2，QIU Xin1，GUO Rui1
（1.Institute of Microelectronics of the Chinses Academy of Sciences，Beijing 100085，China；2.University of
的 自 动 特 征 提 取 网 络 。 RESNET Block 引 入 了 恒 等
快捷连接，解决了卷积神经网络的退化问题。
Mean + Dense （global average pooling + fully
图4
RESNET 模型解析
我们将 RESNET 应用到调制识别领域上来。本
文使用的 RESNET 模型如图 5 所示。
程度之后网络的分类准确度反而开始下降。分析结
果表明这一现象的根源不是过拟合。这就是卷积神
经网络的退化问题。显然只要解决卷积神经网络的
退化问题，我们就可以通过提高网络结构中 CNN 的
层数来获得更好的分类效果 [10]。
1.1
图 1 非协作通信中的自动调制识别
传统机器学习
包括 KNN（K-近邻）[6]、DT（决策树）[7] 和 SVM（支
Automatic modulation recognition is a classification problem. Common methods are KNN，DT，SVM，
and CNN. In order to improve the accuracy of automatic modulation recognition，20 kinds of IQ data sets
值、观测值的概率密度达到最大时找出最为合理的
在一对多的网络通信、无线电的监控管理、通信
参数估计量。从贝叶斯估计的角度来说，基于假设
系统的故障检查、通信对抗侦察等军用和民用领域
检验的最大似然方法的结果是最优的，但该类方法
已经对在不影响正常通信的同时实现第三方系统接
对参数偏差和模型失配较为敏感，在现实的复杂通
通 过 求 解 优 化 算 法 收 敛 于 F ( X i ) à0；这 样 即 使 网 络
RELU（Rectified Linear Unit）修正线性单元相比
统的神经网络激活函数，有着以下几方面的优势 ：
1）仿生物学原理：人脑神经系统的研究表明人
层数加深，结果至少也不会比原来的网络差。
文 献 [12]则 通 过 实 验 对 RESNET 网 络 从 另 一 个
机器神经网络中神经元的活跃度（即输出为正值）从
可以被视为许多短路径的集合而不是单个深度网络。
而实现类人脑化。
2）更加有效率的梯度下降以及反向传播：避免
尽管这些路径是联合训练的，但它们并不强烈依赖
于彼此。此外它们表现出类似集合的行为，因为它
们的性能平滑地与有效路径的数量相关联。如图 4，
3 个 RESNET Block 串 联 等 效 于 8 种 0~3 个 RESNET
脑神经元的信息编码特点是分散和稀疏。通常人脑
会产生任何梯度。因此，RESNET 不是通过在整个网
态。而 RELU 以及正则化（regularization）就可以调试
角度进行了分析。认为在训练期间 RESNET 深路径不
在同一时间大约只有 1%-4%的神经元处于激活状
络深度保留梯度流来解决消失梯度问题。RESNET
方法进行改进。基于特征提取的模式识别方法依据
基金项目：装备预研教育部联合基金（6141A020223）
作者简介：刘桥平（1989—），男，湖南郴州人，硕士研究生。研究方向：无线通信和智能信号处理。
-116-
刘桥平，等
基于深度神经网络的自动调制识别
分类模型可以分为传统机器学习分类方法 [4]、卷积神
[5]
1 相关工作
非协作通信系统模型的简化框图如图 1 所示，
可见自动调制识别是实现非协作通信的重要环节。
1.2
卷积神经网络
使用卷积神经网络自动提取不同调制类别的区
分特征 [9]，网络模型如图 3 所示。
调制分类器的设计主要包括两个步骤：信号预处理
和分类算法实现。预处理任务包括但不限于执行降
噪、估计载波频率、计算符号周期和信号功率。分类
Block 并联，是典型的 3 个臭皮匠赛过诸葛亮。
了梯度爆炸和梯度消失问题。
3）简化计算过程：RELU 替代复杂的指数函数，
也使得神经网络的计算成本显著降低。
RESNET Block（Residual Network）类 似 CNN 代
替 人 工 特 征 工 程 。 RESNET Block 是 比 CNN 更 有 效
Key words: automatic modulation recognition；Software Defined Radio；neural network；RESNET
21 世纪初，软件无线电（Software Defined Radio，
有的自动调制识别技术主要可分为两类 [1]：一种是基
SDR）诞生。通过通用 PC 运行代码实现不同的通信
于假设检验的最大似然方法，另一种是基于特征提
功能，可对运行频率、工作带宽、调制类别、编码方式
取的模式识别方法。基于假设检验的最大似然方法
等进行灵活编程，系统可调节适用性大为增强。软
是一种统计方法，其利用概率模型推导，在观测采样
件无线电为非协作通信提供了合适的硬件平台。
Chinese Academy of Sciences，Beijing 100049，China）
Abstract: Automatic modulation recognition plays an important role in various civil and military
applications such as cognitive radios， intelligent demodulators， and electronic reconnaissance.
接 。 假 设 神 经 网 络 每 一 层 模 块 等 价 于 一 个 函 数 F，
则当输入为 x 时输出为 F（x）。假设第 1 层的输出是
x1，第 2 层的输出是 x2，依次类推，这里的 xi 就是每 i 层
的输出。CNN 没有恒等快捷连接，第 i+1 层的输入
是第 i 层的输出，于是 xi+ 1=F（x）
connected layers）在整个神经网络中起到“分类器”的
作用。卷积层、池化层和激活函数层负责将原始数
据转换到隐层的特征空间，全连接层则负责将学到
的“分布式特征表示”转换到样本的标记空间。由于
全连接层具有参数冗余的特点（全连接层参数约占
整个网络参数的 80%），目前大多采用全局平均池化
层替代全连接层。然而研究表明不含全连接层的网
第 27 卷
Vol.27
第 23 期
No.23
电子设计工程
Electronic Design Engineering
2019 年 12 月
Dec. 2019
基于深度神经网络的自动调制识别
刘桥平 1，2，邱 昕 1，郭 瑞 1
（1.中国科学院微电子所 北京 100085；2.中国科学院大学 北京 100049）
持向量机）[8]，具体关键流程如图 2 所示。
2 我们的算法
近几年深度学习取得了飞速发展，在图像识别
领域各种新颖的人工神经网络框架层出不穷。微软
亚研院的何凯明在文献[11]提出了 RESNET，在不出
现神经网络退化问题的前提下将神经网络层数提高
到 152 层 。 RESNET 创 新 性 地 引 入 了 恒 等 快 捷 连
络微调后的结果要差于含全连接层的网络。也证实
了冗余的参数并非一无是处，尤其在源域与目标域
现为神经网络层数加深之后反而会出现预测准确度
包括时域或变换域特征参数：时域特征有瞬时相位、
下降，表明目前的求解优化算法难以将深度网络优
瞬时频率以及瞬时幅度；变换域特征有谱相关函数、
化为浅层子网络，更进一步即说明目前的求解优化
-117-
《电子设计工程》2019 年第 23 期
算法难以通过多个非线性层来近似恒等映射。如果
功率谱以及其他一些统计参数。然而这些都不可能
经网络分类方法 。本文引入深度神经网络 RESNET
面面俱到，人工提取特征间接丢失了原始数据的一
模型用于自动调制识别。无需通信领域专业知识预
些信息。再加上传统机器学习模型的局限性，人工
处理提取特征，同时分类准确度能满足工程需求。
提取特征的传统机器学习分类方法准确度不高。
摘要：自动调制识别在认知无线电、智能解调器、电子侦察等各种民用及军事应用中扮演重要角
色。自动调制识别属于分类问题，常见的方法有 KNN、DT、SVM、CNN。为了提高自动调制识别的
准 确 度 ，基 于 GNU Radio 生 成 20 种 信 噪 比 8 种 调 制 类 型 的 IQ 数 据 集 ，训 练 深 度 神 经 网 络 模 型
automatic modulation recognition is improved by nearly 12% . It proves that RESNET is suitable for
automatic modulation recognition and can meet engineering requirements.
而 RESNET 有恒等
i ，
快捷连接，第 i+1 层的输入是第 i 层的输出，但是第 i+
1 层的输出还叠加了第 i 层的输出（即所谓的恒等快
捷连接）于是 xi + 1=F（x）
i +xi。 网络结构图关键不同点
在于 X i + 1 中增加了 X i 分量：
图2
传统机器学习的自动调制识别流程
自动调制方式识别的人工特征提取要求较高的