短波认知通信中的机器学习策略

短波认知通信中的机器学习策略
王董礼1，魏琼2，曹鹏1，孙启禄1，王叶群1
（1.空军工程大学信息与导航学院，陕西西安710077；
2.西安市中心血站，陕西西安710061）
摘要：在短波中应用认知无线电，能够提高短波频谱利用率。

为提高短波认知通信系统的智能水平，应用机器学习策略能够更加智能地预测相关参数、选择通信频率，保证短波通信质量。

文章主要综述机器学习策略中基于神经网络的学习、统计学习和强化学习在短波认知通信中的应用，并展望其在短波中的发展前景。

关键词：短波通信；认知无线电；机器学习；神经网络；统计学习；强化学习
中图分类号：TN92文献标识码：A文章编号：1673-1131（2016）12-0040-03
The Machine Learning Strategies in HF Cognitive Communication
Wang Dongli1,Wei Qiong2,Cao Peng1,Sun Qilu1,Wang Yequn1
(1.School of Information and Navigation,Air Force Engineering University,Xi’an710077,China；
2.Xi’an Blood Center,Xi’an710061,China)
Abstract：Applying Cognitive Radio techniques to HF communications can improve the HF spectrum utilization.In or-der to increase the intelligence of HF cognitive communication system,multiple Machine Learning strategies are ap-plied to intelligently predict relative parameters and select the frequencies,which can guarantee the quality of HF com-munication.This paper primarily summarizes the applications of Machine Learning strategies of the learning based on Neural Networks,Statistical Learning and Reinforcement Learning in HF cognitive communication,and addresses their prospects for development.
Key words：HF communication;Cognitive Radio;Machine Learning;Neural Networks;Statistical Learning；Reinforcement Learning
0引言
短波天波传播具有超视距通信能力，一直是重要的军事通信手段，用途十分广泛。

研究表明，短波频段存在大量频谱空洞[1-2]，但是如何感知、接入空闲频谱，这就要求短波通信系统具有认知能力。

因此在短波中应用认知无线电技术，能够提高短波频谱利用率，减少短波用户之间非合作式频率竞争导致的干扰冲突和用频紧张[3-5]。

实现认知无线电的主要部分是学习（Learning），而短波认知无线电是认知无线电在短波领域的应用和拓展，能够根据历史信息和学习结果实现对环境和用户情况的判断，进行用户需求和无线电效用水平的最优化，实现智能决策。

由于短波信道的时变特性，导致信道在前一时刻可用，在后一时刻未必可用，因此信道选择和接入是短波通信的重要问题，而利用学习更加智能地进行信道选择，能够提高短波通信系统的可靠性。

机器学习是实现短波认知能力的核心，它能够模拟人类学习，通过对外部环境的感知获得信息数据，进而使用分析、综合、类比、归纳等学习方法获得相应知识，并且对相应问题能够应用学到的知识进行求解，不断提高自身性能和实现自身完善[6]。

因此为使短波认知通信系统具有学习能力，提高智能水平，需要使用机器学习策略，在短波环境下主要的机器学习策略有基于神经网络的学习、统计学习和强化学习，本文只对这三种机器学习策略在短波认知通信中的应用进行综述，并展望其在短波中的发展前景。

1基于神经网络的学习
随着机器学习的迅速发展，实现机器智能的最好方法是向人类自身学习,因而引入神经网络理论。

人工神经网络（Ar-tificial Neural Networks，ANN）是由大量神经元节点相互连接而构成的大规模并行分布式结构，是一种模拟人脑结构及功能的抽象数学模型，能够通过学习从外界环境中获取知识，并存储于突触权值中。

考虑到短波信道的时变衰落特性，神经网络能够调整自身突触权值进而适应外界环境的变化，在短波环境下有着广泛的应用。

利用神经网络能够预测短波通信频率和相关参数[7-9]，并且结合云理论能够评估短波通信效能[10-11]，提高短波通信质量。

文献[12]使用神经网络设计优化短波信道模型，具有运算速度快、精度高的优点，能够加快短波系统仿真速度。

神经网络具有良好的泛化能力，在认知系统中能够对信道空闲时长进行分析预测，提高频谱的利用率，减少切换次数[13]，对短波认知通信中的频谱预测十分有应用价值。

文献[14]使用神经网络中典型的极限学习机（Extreme Learning Machine，ELM）预测短波频谱数据，实现实时频谱预测，提高预测准确性。

在短波认知通信中神经网络能够预测相关参数，使系统更加智能的根据环境和相关参数进行自适应调整，提高短波通信效果。

2统计学习
针对有限样本下的机器学习问题，Vapnik等人提出了统计学习（Statistical Learning）理论[15]，是研究利用经验数据进行机器学习的一般理论，属于计算机、模式识别和统计学交叉结合的范畴，其基本思想是利用结构风险最小化代替经验风险最小化，在训练样本较少时可以有效地控制机器学习的推广能力。

主要内容包括四个方面：
４０
习在经验风险最小化准则下的一致性条件；
在这些界的基
础上建立的小样本归纳推理准则；
４１
无线电等通信技术再认识[J].中国电子科学研究院学报, 2015,10(2):156-161.
[6]闫友彪,陈元琰.机器学习的主要策略综述[J].计算机应
用,2004,33(7):4-13.
[7]简相超,郑君里.混沌和神经网络相结合预测短波通信
频率参数[J].清华大学学报（自然科学版）,2001,41(1): 16-19.
[8]袁立明.基于模糊小波神经网络的短波通信频率预测方
法研究[D].哈尔滨：哈尔滨工程大学,2009.
[9]任淑婷,郭黎利.基于模糊小波神经网络的短波频率预测
[J].通信技术，2011,44(4):37-39.
[10]崔莹.基于云神经网络的短波通信效能评估方法研究[D].
哈尔滨：哈尔滨工程大学,2013.
[11]任淑婷,郭黎利.基于云神经网络的短波通信效能评估[J].
通信技术，2014,47(2):195-199.
[12]马永涛.通信信道建模的神经网络优化技术研究[D].天
津：天津大学，2009.
[13]鲜永菊,杨钺,徐昌彪,等.认知无线电中基于混沌神经网络
的频谱预测[J].计算机应用,2011,31(12):3181-3183. [14]Zhifen Yang,Ling Yang,Yanping Fu.Spectrum Prediction
for High-Frequency Radar Based on Extreme Learning Ma-chine[C]//7th International Conference on Advanced Com-putational Intelligence.Fujian:IEEE,2015:235-239. [15]Cortes C，Vapnik V．Support vector networks[J]．Machine
Learning，1995，20(1):273-297．
[16]殷志伟.基于统计学习理论的分类方法研究[D].哈尔滨：
哈尔滨工程大学,2009.
[17]L.Melián-Gutiérrez,S.Zazo,J.L.Blanco-Murillo,et al.
EFFICIENCY IMPROVEMENT OF HF COMMUNI-CATIONS USING COGNITIVE RADIO PRINCIPLES
[C]//Ionospheric Radio Systems and Techniques(IRST
2012),12th IET international conference.York:IET, 2012:1-5.
[18]L.Melián-Gutiérrez,S.Zazo,et al.HF spectrum activity
prediction model based on HMM for cognitive radio applic-ations[J].Physical Communication9(2013):199–211. [19]林刚，程云鹏，江汉.一种用于短波ALE系统的信道可用
性预测方法[J].军事通信技术,2015,36(3):23-29.
[20]林刚，程云鹏，江汉.一种基于HMM预测的短波信道接
入方法[J].通信技术,2015,48(12):1377-1383.
[21]Gang Lin,Yunpeng Cheng,Han Jiang.A HMM-Based
Spectrum Access Method Used for HF Communication[C].
20158th International Symposium on Computational Intel-ligence and Design.Zhejiang:IEEE，2015:426-431. [22]林刚，程云鹏，江汉，等.短波信道估计中的三状态HMM
性能分析[J].通信技术,2016,49(3):286-292.
[23]王董礼,曹鹏,黄国策,等.基于隐马尔科夫模型的短波认
知频率选择方法[J].计算机应用,2016,36(5):1179-1182.
[24]高翔，任国春，陈瑾，等.快变信道环境下基于支持向量回
归的频谱预测[J].信号处理,2014,30(3):289-297.
[25]R.S.Sutton,A.G.Barto.Reinforcement Learning[M].
Cambridge MA(USA):The MIT Press,1998.
[26]Jan Oksanen,Jarmo Lundén,Visa Koivunen.REINFOR-
CEMENT LEARNING METHOD FOR ENERGY EFFI-CIENT COOPERATIVE MULTIBAND SPECTRUM SEN-SING[C]//2010IEEE International Workshop on Machine Learning for Signal Processing(MLSP2010).Finland: IEEE,2010:59-64.
[27]Angeliki Kordali,Panayotis G.Cottis.Cognitive channel se-
lection for opportunistic spectrum access:A reinforcement-learning approach[C]//ACM PCI2015.Greece:ACM, 2015:261-266.
[28]Bechir Hamdaoui,Pavithra Venkatraman,Mohsen Guizani.
Opportunistic Exploitation of Bandwidth Resources Through Reinforcement Learning[C]//Global Telecommuni-cations Conference.Honolulu:IEEE,2009:1-6.
[29]Wassim Jouini,Robin Bollenbach,Matthieu Guillet,et al.
Reinforcement learning application scenario for Opportunis-tic Spectrum Access[C]//2011IEEE54th International Mid-west Symposium on Circuits and Systems(MWSCAS).Se-oul:IEEE,2011:1-4.
[30]Christophe Moy,Amor Nafkha,Malek Naoues.Reinfor-
cement Learning Demonstrator for Opportunistic Spectrum Access on Real Radio Signals[C]//2015IEEE International Symposium on Dynamic Spectrum Access Networks(Dy-SPAN).Stockholm:IEEE,2015:283-284.
[31]L.Melián-Gutiérrez,Navikkumar Modi,Christophe Moy,et
al.Upper Confidence Bound Learning Approach for Real HF Measurements[C]//IEEE ICC2015-Workshop on Ad-vances in Software Defined and Context Aware Cognitive Networks.London:IEEE,2015:381-386.
[32]L.Melián-Gutiérrez,Navikkumar Modi,Christophe Moy,et
al.Hybrid UCB-HMM:A Machine Learning Strategy for Cognitive Radio in HF Band[J].IEEE Transactions on Cog-nitive Communications and Networking,2015,1(3):347-358.
[33]A.Lempel,J.Ziv.On the complexity of finite sequences[J].
IEEE Transaction on Information Theory.1967,22(1): 75-81.
[34]Irene Macaluso,Danny Finn,Bar s zgül,et plexity
of Spectrum Activity and Benefits of Reinforcement Learning for Dynamic Channel Selection[J].IEEE JOUR-NAL ON SELECTED AREAS IN COMMUNICATIONS, 2013,31(11):2237-2248.
基金项目：中国博士后科学基金2013M532220。

作者简介：王董礼（1992-）（通讯作者），男，硕士研究生，主要研究方向为短波认知通信；魏琼（1982-），女，主要研究方向为通信在医疗中的应用；曹鹏（1982-），男，讲师，博士后，主要研究方向为短波通信组网；孙启禄（1977-），男，讲师，博士，主要研究方向为短波通信组网；王叶群（1985-），男，讲师，博士，主要研究方向为短波装备应用。

信息通信王董礼等：短波认知通信中的机器学习策略
４２。