基于TCN-BiLSTM_的网络安全态势预测

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第45卷 第11期2023年11月
系统工程与电子技术
SystemsEngineeringa
ndElectronicsVol.45 No.11
November2023
文章编号:1001 506X(2023)11 3671 09 网址:www.sy
s ele.com收稿日期:20220503;修回日期:20220812;网络优先出版日期:20220922。

网络优先出版地址:http:
∥kns.cnki.net/kcms/detail/11.2422.TN.20220922.0912.002.html基金项目:国家自然科学基金(62002362);国防自然科学基金(61703426);陕西省高校科协青年人才托举计划(2019038)
;中国陕西省创新能力支持计划(2020KJXX 065)资助课题 通讯作者.
引用格式:孙隽丰,李成海,曹波.基于TCN BiLSTM的网络安全态势预测[J].系统工程与电子技术,2023,45(11):3671 3679.
犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋:SUNJF,LICH,CAOB.NetworksecuritysituationpredictionbasedonTCN BiLSTM[J].SystemsEngineering
andElectronics,2023,45(11):3671 3679.
基于犜犆犖 犅犻犔犛犜犕的网络安全态势预测
孙隽丰1,
2, ,李成海1,曹 波1(1.空军工程大学防空反导学院,陕西西安710051;
2.中国人民解放军第94994部队,江苏南京210000)
摘 要:针对现有网络安全态势预测模型预测精确度低和收敛速度慢的问题,
提出一种基于时域卷积网络(temporalconvolutionnetwork,TCN)和双向长短期记忆(bi directionallongshort termmemory,BiLSTM)网络的预测方法。

首先,将TCN处理时间序列问题的优势应用到态势预测上学习态势值的序列特征;随后,引入注意力机制动态调整属性的权值;然后,利用BiLSTM模型学习态势值的前后状况,以提取序列中更多的信息进行预测;利用粒子群优化(particleswarmoptimization,PSO)算法进行超参数寻优,提升预测能力。

实验结果表明,所提预测方法的拟合度可达0.9995,
其拟合效果和收敛速度均优于其他模型。

关键词:网络安全;态势预测;时域卷积网络;双向长短期记忆网络;粒子群优化;注意力机制中图分类号:TP393 文献标志码:A 犇犗犐:10.12305/j.
issn.1001 506X.2023.11.36犖犲狋狑狅狉犽狊犲犮狌狉犻狋狔狊
犻狋狌犪狋犻狅狀狆狉犲犱犻犮狋犻狅狀犫犪狊犲犱狅狀犜犆犖 犅犻犔犛犜犕SUNJunfeng1,2, ,LICheng
hai1,CAOBo1(1.犃犻狉犇犲犳犲狀狊犲犪狀犱犃狀狋犻犿犻狊狊犻犾犲犛犮犺狅狅犾,犃犻狉犉狅狉犮犲犈狀犵犻狀犲犲狉犻狀犵犝狀犻狏犲狉狊犻狋狔,犡犻’
犪狀710051,犆犺犻狀犪;2.犝狀犻狋94994狅犳狋犺犲犘犔犃,犖犪狀犼
犻狀犵210000,犆犺犻狀犪) 犃犫狊狋狉犪犮狋:Inordertosolvetheproblemsoflowpredictionaccuracyandslowconvergencespeedofexisting
networksecuritys
ituationpredictionmodels,apredictionmethodbasedontemporalconvolutionnetwork(TCN)andbi directionallongshort termmemory(BiLSTM)networkisproposed.Thismethodfirstlyapp
liestheadvantagesofTCNindealingwithtimeseriesproblemstothesequencecharacteristicsoflearningpotentialvaluesinsituationprediction,thenintroducestheattentionmechanismtodynamicallyadjusttheweightsofattributes.Secondly,
theproposedmethodusesthestatusbeforeandafterlearningpotentialvaluesofBiLSTMmodeltoextractmoreinformationfromtheseriesforprediction.Particleswarmop
timization(PSO)algorithmisusedtooptimizethehyperparameterstoimprovethepredictionability.Theexperimentalresultsshowthatthefittingdegreeoftheproposedpredictionmethodcanreach0.9995,anditsfittingeffectandconvergencespeedarebetterthanothermodels.
犓犲狔狑狅
狉犱狊:networksecurity;situationprediction;temporalconvolutionnetwork(TCN);bi directionallongshort termmemorynetwork(BiLSTM);particleswarmop
timization(PSO);attentionmechanism0 引 言随着网络环境日益复杂,网络安全问题已经成为当前时代国家重点关注的问题之一,网络安全态势预测任务应运而生。

预测网络未来的安全态势可以为网络防御提供指
导,从而降低网络攻击所带来的不利影响。

近年来,各行各业都将引入人工智能作为行业发展的方向,网络安全态势预测任务也不例外。

其中,将神经网络
Copyright ©博看网. All Rights Reserved.
 ·3672 ·
系统工程与电子技术第45卷 应用到网络安全态势预测领域已成为当前研究者们所重点关注的方向。

相比传统方法,神经网络可以有效地逼近和拟合非线性时间序列数据,在态势预测领域取得了较好的效果。

文献[1]
提出了一种基于经验模式分解和改进粒子群优化(particleswarmop
timization,PSO)算法优化双向门控循环单元神经网络的网络安全态势预测方法,该方法对网络安全态势数据序列进行经验模式分解后分别建立预测
模型,
最终将预测结果进行叠加,取得了较高的预测精度。

文献[2]提出了一种网络安全态势预测方法,该方法利用门控循环单元(gaterecurrentunit,GRU)对样本的特征进行降维后,输入Transformer提取具有时序关系的特征,降低了训练时间,提升了预测精度。

文献[3]提出了一种改进遗传PSO算法优化极限学习机的网络安全态势预测方法,该方法对遗传PSO算法进行改进,虽然收敛速度加快,但是样本数目和滑动窗口数的设置对预测精度有很大影响。

文献[4]提出了一种基于改进的综合学习的PSO(compre hensivelearningPSO,CLPSO)
算法优化径向基函数(radialbasisfunction,RBF)神经网络的网络安全态势预测方法,该方法利用改进的CLPSO算法对RBF神经网络的聚类半径进行优化,使得模型准确性更高,收敛效果更好。

文献[5]
提出了一种基于注意力机制的GRU神经网络安全态势预测方法,该方法融合了GRU和注意力机制,并用
PSO算法进行超参数寻优,
在网络安全态势预测中取得了较好的效果。

为更好地学习网络安全各要素之间的关系对态势预测的影响,本文提出一种网络安全态势预测方法,该方法的主要贡献如下:
(1)利用时域卷积网络(temporalconvolutionnetwork,TCN)在时间维度上学习网络态势值的序列特征;(2)引入注意力机制突出对态势值影响较大的特征,提升态势值的预测精度,并加快模型的收敛速度;(3)引入双向长短期记忆(bi directionallongshort termmemory,BiLSTM)网络进一步学习数据的前后状况以提取特征,并得到该时刻的网络安全态势值;
(4)通过PSO算法优化网络模型的超参数,提升模型的预测精度,降低预测误差。

1 基于犜犆犖 犅犻犔犛犜犕的网络安全态势预测方法1.1 模型构建
该方法的网络模型主要包括4个部分:输入层、TCN编码器层、注意力层和BiLSTM预测层,具体结构如图1所示。

图1 基于TCN BiLSTM预测方法的网络模型
Fig.
1 NetworkmodelbasedonTCN BiLSTMpredictionmethod (1)输入层选取国家互联网应急中心[6]的安全数据作为实验数据,每周进行态势评估得到态势值,将态势值进行归一化处理、滑动窗口处理,将其转换为时间步长×输入维度的形式。

数据重构以滑动窗口狊=5为例,数据重构结果如表1所示。

表1 数据重构结果犜犪犫犾犲1 犚犲狊狌犾狋狊狅犳犱犪狋犪狉犲犮狅狀狊狋狉狌犮狋犻狅狀输入样本输出样本SA1,SA2,SA3,SA4,SA5SA6
SA2,SA3,SA4,SA5,SA6SA7
SA251,SA252,SA253,SA254,SA255SA256 (2)TCN编码器层TCN是Bai等[7]于2018年提出的,主要用于时序数据处理。

TCN与普通一维卷积相比添加了两个操作[89]:因果卷积和空洞卷积,并在各网络层之间使用残差连接,在对序列特征进行提取的同时,避免了梯度消失或爆炸现象的
产生。

其因果卷积与空洞卷积结构如图2(a)所示,残差模块如图2(b)所示。

本文将TCN引入网络安全态势预测任务中,其因果卷积的应用可以有效地保证态势信息从未来到过去不出现“泄露”现象,进而保证数据的完整性。

而空洞卷积的应用则可使TCN以较少层数拥有较大的感受野,从而接收更长的历史数据;ReLU激活函数、Drop
out和恒等映射网络能够有效抑制网络过拟合现象,从而提高网络
Copyright ©博看网. All Rights Reserved.
 第11期孙隽丰等:基于TCN BiLSTM的网络安全态势预测·3673 ·
 学习速度和准确率。

具体而言,假设对于一个输入狓∈犚狀的一维序列和一个卷积核犳:{0,…,犽-1}→犚,
对序列中的元素狊的空洞卷积运算犉被定义为
犉(狊)=(狓·犱犳)(狊)=∑犽-1犻=0
犳(犻)·狓狊-犱·犻(1)式中:犱是膨胀因子;犽是卷积核大小;狊-犱·犻表示过去看的方向。

在使用空洞卷积时,犱通常会随着网络层数犻的深度呈指数型增加,即犱=犗(2犻),确保感受野增大的同时覆盖输入时间序列的所有有效输入。

图2 TCN网络模型Fig.2 NetworkmodelofTCN由于TCN的感受野依赖于网络深度狀、卷积核大小犽和膨胀因子犱,残差连接的引入可以使TCN的感受野在网络深度很深的情况下依旧稳定,其残差模块由网络犉和输入狓组成:狅=Activation(狓+犉(狓))(2)
(3)注意力层深度学习中的注意力机制[10]的主要作用为从大量信息中筛选出对当前任务目标最为重要的信息,凸显出重要特征的作用。

本文引入注意力机制,对TCN中不同时刻输出的向量权重进行计算,可以有效地突出对态势值影响较大的特征。

数据经TCN提取特征后输出犜,将其输入到注意力层
中得到初始状态向量犪狋,之后将其赋予权重系数α狋,得到最
终输出的状态向量犢,
具体计算过程如下:犲狋=t
anh(狑狋犪狋+犫狋)(3)α狋=exp(犲狋)∑狋犻=1犲狋(4)犢=∑狀
狋=1
α狋犪狋
(5)式中:犲狋代表犪狋对应的能量值;狑狋、犫狋分别代表第狋个特征向量所对应的权重系数和偏置。

(4)BiLSTM网络预测层
为解决传统循环神经网络的梯度爆炸或消失问题,1997年,Schmidhuber等[11]提出长短期记忆(longs
hort termmemory,LSTM)
网络,通过门控机制实现信息选择性的传递,其内部结构如图3所示。

图3 LSTM基本结构
Fig.
3 BasicstructureofLSTM其中,犳狋表示遗忘门;犻狋表示输入门;狅狋表示输出门;狓狋表示当前时刻的输入信息;犺狋-1和犺狋分别表示上一时刻和当前时刻的细胞输出值;犮狋-1和犮狋分别表示上一时刻和当前时刻的记忆单元;σ表示sigmoid激活函数;狋表示tanh激活函数。

输入门犻狋用于控制细胞信息更新的程度。

犮~狋=t
anh(犠犮·[犺狋-1,狓狋]+犫犮)(6)犻狋=σ(
犠狋·[犺狋-1,狓狋]+犫犻)(7) 遗忘门犳狋用于控制从细胞状态中丢弃的信息。

犳狋=σ(犠犳·[犺狋-1,狓狋]+犫犳)(8)犮狋=犳狋 犮狋-1+犻狋 犮~狋
(9) 输出门狅狋用于控制细胞输出值的信息量。

狅狋=σ(犠狅·[犺狋-1,狓狋]+犫狅)(10)
犺狋=狅狋 tanh(犮狋)
(11)式中:犠和犫分别代表权重矩阵和偏置项。

Copyright ©博看网. All Rights Reserved.
 ·3674 ·
系统工程与电子技术第45卷 在网络安全态势预测任务中,当前时刻网络的状况往往与之前之后都有关联,若单一地使用TCN模型,则无法获取从后到前的信息。

为提升预测效果,本文引入BiL STM网络[1213]进行网络安全态势预测。

BiLSTM由正向和反向LSTM叠加而成,其结构如图4所示。

图4 BiLSTM网络模型Fig.4 NetworkmodelofBiLSTM正向和反向LSTM网络分别对正向输入和逆向输入的态势值进行计算,得到隐藏层状态输出珤犎={犺犔1,犺犔2,…,犺犔狋}与珣犎={犺犚狋,犺犚狋-1,…,犺犚1

,而后将正向和反向的隐藏层状态输出的向量进行拼接,得到BiLSTM网络层的最终输出:犎={珤犎,珣犎}(12)1.2 模型训练优化算法本文提出的TCN BiLSTM模型中采用Ranger21优化算法[1415],通过求解代价函数的最优化问题来求解模型的参数。

Ranger21将AdamW[16]和LookAhead[17]等8个组件结合在一起,既结合了AdamW能够获取更好泛化性能
的优点,又融合了其他组件的各项优点。

Ranger21的具体算法如算法1所示。

算法1 Ranger21优化算法输入 训练集输出 最优模型1 参数:随机目标函数为犳狋(θ),学习率为η,权重衰减因子λ=10-4,衰减速率β0=0.9、β1=0.9、β2=0.999、βlookahead=0.5,用于数值稳定的小常数ε=10-8、εclipping=10-3,自适应梯度裁剪阈值τclipping=10-2,更新频率犽lookahead=5,迭代次数为狋max,学习率预热迭代次数狋warmup=0.22×狋max,学习率慢化迭代次数狋warmdown=0.28×狋max
2 模型初始化:
设置模型参数θ0为近似0的随机值3 参数更新4 初始化一阶动量:犿0←0
5 初始化二阶动量:狏0←06 初始化二阶最大动量:狏max←0
7 for狋←1to狋maxdo
8 从训练集中采集包含犿个样本{狓(1),…,狓(犿)}的小批量,对应目标为狔(犻)9 计算梯度:犵狋←Δ
犳狋(θ狋-1)10 梯度裁剪:for狉∈rows(犵狋)
do11 if‖犵狉狋
‖max(‖θ狉狋‖,εclipping
)>τclippingthen12 犵狉狋←τclippingmax(‖θ狉狋‖,εclipping)‖犵狉狋‖
犵狉狋13 endif
14 endfor15 梯度中心化:犵狋=犵狋-mean(犵狋)
16 更新一阶动量估计:犿狋←β1犿狋-2+(1-β1)犵狋17 修正偏差:犿^狋←(1+β0)犿狋-β0犿狋-11-β狋
118 更新二阶动量估计:狏狋←β2狏狋-1+(1-β2)犵2狋
19 更新二阶最大动量估计:狏max←max(狏狋,狏max)
20 修正偏差:狏^狋←狏max1-β狋221 更新矢量:狌狋←犿^狋
(1+β0)2+β2槡0(狏^狋+槡ε)22 自动调整学习率:η狋=min1,max1-β22·狋,狋狋warmu(
)p,狋max-狋狋()
warmdownη23 权重衰减:犱狋=η狋mean(狏^狋槡)λ1-1‖θ狋-1()
‖θ狋-1
24 应用更新:θ狋←θ狋-1-η狋狌狋-η狋犱狋25 LookAhead:if狋%犽lookahead==0then26 犾狋/犽←βlookahead犾狋/犽-1+(1-βlookahead)θ狋27 θ狋←犾狋/犽
28 endif29 endfor1.3 犘犛犗算法优化模型超参数在实际应用中,超参数选取的不同将会对模型训练结果产生影响。

本文采用PSO算法[18]对模型中的5个超参
数:BiLSTM神经元数ln1、ln2和ln3、批处理大小batch_size、优化器的学习率lr进行寻优,以找到模型参数的最优解,具体算法详见算法2。

算法2 PSO算法输入 训练集输出 最优模型1 参数配置:种群大小为5,迭代次数为30,
惯性权重狑为0.6,学习因子犮1、犮2为0.5,狉1、狉2为(0,1)的
随机数2 生成种群粒子:(ln1,ln2,ln3,batch_size,lr)3 初始化粒子的位置:狓0犻,犑←[狓0犻,1,狓0犻,2,狓0犻,3,狓0犻,4,狓0犻,5]4 初始化粒子的速度:狏0犻,犑←[狏0犻,1,狏0犻,2,狏0犻,3,狏0犻,4,狏0犻,5]5 设置粒子的适应度函数:
模型的损失函数6 计算每个粒子的初始适应值7 将初始的适应值作为每个粒子的局部最优解。

计算并保存每一次迭代每个粒子的最优位置。

第犱次迭代中各个粒子的最优位置为犘犱犻,犑←[狆犱犻,1,狆犱犻,2,狆犱犻,3,狆犱犻,4,狆犱犻,5
]Copyright ©博看网. All Rights Reserved.
 第11期孙隽丰等:基于TCN BiLSTM的网络安全态势预测·3675 ·
8 截至第犱次迭代找到最优值,将其作为全局最优解的
初值,并记录其位置犵犱犑←[犵犱1,犵犱2,犵犱3,犵犱4,犵犱5]
9 更新粒子的速度:
狏犱+1犻,犼←狑狏犱犻,犼+犮1狉1(狆犱犻,犼-狓犱犻,犼)+犮2狉2(犵犱犼-狓犱犻,犼)
10 更新粒子的位置:狓犱+1犻,犼←狓犱犻,犼+狏犱+1犻,犼
11 重新计算每个粒子的适应度函数并更新个体最佳位置和群体最佳位置
12 当迭代次数或粒子的适应度函数趋于稳定时停止,将群体最佳位置的粒子作为本次求得的最优参数组合1.4 网络安全态势预测方法的预测步骤
基于TCN BiLSTM的网络安全态势预测方法主要步骤如下:
步骤1 获取数据集,读取数据并进行清洗,随后进行归一化处理、滑动窗口处理,并划分出训练集和测试集。

步骤2 初始化PSO中的相关参数,设定待优化的粒子中每个维度的取值范围及粒子群算法的适应度函数,通过粒子群算法获得最优参数赋予模型。

步骤3 将预处理后的训练集送往参数优化后的TCN BiLSTM网络进行训练。

首先利用TCN学习态势值的序列特征,之后引入注意力机制动态调整属性的权值,然后利用BiLSTM学习态势值的前后状况以提取序列中的更多信息,最后将训练好的模型保存下来。

步骤4 将测试集送入步骤3,以最终保存的TCN BiLSTM网络进行预测,得到预测态势值,并分析结果。

2 实验仿真
2.1 实验数据获取与环境配置
采用国家互联网应急中心发布的安全态势周报数据作为实验基础。

本文选取该网站发布的自2012年第30期至2022年第16期(共计509期)的态势周报数据为基础进行实验验证,其数据主要从5个角度进行评估。

为了直观体现网络安全态势,本文采用文献[19]提到的态势评估方法进行量化,根据对网络安全威胁的程度高低分配不同权重,权重分配结果具体如表2所示,之后计算每周的态势值:
SA=∑5犻=1NT犻NT犻max·ω犻(13)式中:NT犻代表某周某种网络安全威胁的数量(犻代表安全威胁的种类);NT犻max代表选取的509期数据中该种安全威胁的最大数量;ω犻代表其对应的权重。

经计算,网络安全态势值如图5所示。

表2 网络安全威胁权重分配
犜犪犫犾犲2 犠犲犻犵犺狋狅犳犮狔犫犲狉狊犲犮狌狉犻狋狔狋犺狉犲犪狋狊
境内感染网络病毒的主机数量境内被篡
改网站的
总数
境内被
植入后门的
网站总数
境内网站的
仿冒页面
数量
新增信息
安全漏洞
数量
0.300.250.150.150.15
图5 网络安全态势值
Fig.5 Cybersecuritysituationvalues
TCN BiLSTM模型及所做的所有实验均在Tensor Flow深度学习框架下进行,具体实验环境如表3所示。

表3 实验环境配置
犜犪犫犾犲3 犈狓狆犲狉犻犿犲狀狋犪犾犲狀狏犻狉狅狀犿犲狀狋犮狅狀犳犻犵狌狉犪狋犻狅狀
实验环境具体配置
操作系统Windows11
CPUIntel(R)Core(TM)i5 11300H@3.10GHz3.11GHz内存16GB
硬盘500GB
开发框架TensorFlow2.8.0
开发语言Python3.9.12
2.2 实验数据预处理
数据归一化可以将特征的方差减少到一定的范围,减少异常值的影响,提升模型的收敛速率。

本文采用min max归一化的方法将特征数据规范到-1和1之间,其计算公式如下所示:
狓′=狓-min(狓)
max(狓)-min(狓)(14)式中:狓′为狓映射到区间[-1,1]的数据;min(狓)和max(狓)是数据集中的最小值和最大值。

2.3 实验设置与评价标准
为验证所提TCN BiLSTM态势预测算法的性能,本文设置多组实验。

实验1:不同优化算法分析
实验2:不同池化方式分析
实验3:模型超参数优化
实验4:不同模型预测精度对比
实验5:拟合度对比
实验6:收敛性分析
为评价本文所提预测模型的效果,选取平均绝对误差(meanabsoluteerror,MAE)、均方误差(meansquareerror,MSE)以及拟合优度决定系数(thecoefficientofdetermina tion,犚2)3个参数作为评价指标[20],评价指标的计算公式如下:
MAE=1犖∑犖犻=1狔犻-狔^犻(15)
Copyright©博看网. All Rights Reserved.
 ·3
676 ·系统工程与电子技术
第45卷
MSE=1犖∑犖
犻=1
(狔犻-狔^犻)2(16)犚2=
∑犖犻=1
(狔犻-狔-
)(狔^
犻-狔^-
犻[])

∑犖
犻=1(狔犻-狔-)[]2∑犖
犻=1
(狔^犻-狔^-犻)[]2(17)
式中:狔犻代表某样本的真实值;狔
^犻代表某样本的预测值;犖代表样本个数;狔-犻代表真实值的平均值;狔^-犻代表预测值的
平均值。

2.4 实验结果分析2.4.1 不同优化算法分析为验证本文选用的Rang
er21算法的有效性,将其自适应矩估计(adaptivemomentestimation,Adam)[21]、随机梯度下降(stochasticgradientdecent,SGD)[22]、自适应梯度(adaptivegradient,Adag
rad)[23]优化算法进行对比实验,不同优化算法预测对比结果如图6所示。

Copyright ©博看网. All Rights Reserved.
 第11期孙隽丰等:基于TCN BiLSTM的网络安全态势预测
·3677 ·
 表5 优化后的模型参数设置
犜犪犫犾犲5 犗狆狋犻犿犻狕犲犱犿狅犱犲犾狆犪狉犪犿犲狋犲狉狊犲狋狋犻狀犵狊模型参数参数设置优化算法Ranger21学习率0.001TCN卷积核4
膨胀因子1/2/4BiLSTM神经单元数146/352/260
批处理大小222
2.4.4 预测精度对比
为有效对比本文所提模型与其他模型预测能力的差别,本文设置以下实验:在相同的实验条件下设置滑动窗口数s=5,分别用TCN BiLSTM、LSTM、GRU[28]、BiLSTM、自适应输入选择的LSTM(LSTMwithadaptiveinp
utse lection,AIS LSTM)[29]、Attention GRU[5]、Attention BiL
STM[30]这7种模型进行预测,
得到预测值与真实值对比图如图8所示;不同模型评价指标如表6所示。

图8 不同模型预测的态势值对比
Fig.
8 Comparisonofstatus’valueofpredictionresultsfromdifferentmodels
表6 不同模型评价指标对比
犜犪犫犾犲6 犆狅犿狆犪狉犻狊狅狀狅犳犲狏犪犾狌犪狋犻狅狀犻狀犱犻犮犪狋狅狉狊狅犳犱犻犳犳犲狉犲狀狋犿狅犱犲犾狊
模型MAEMSETCN BiLSTM0.0009690.000002LSTM0.0064260.000058GRU0.0066920.000069BiLSTM0.0053800.000034AIS LSTM0.0051770.000034Attention GRU0.0047170.000035Attention BiLSTM0.0055640.000034
从图8可以看出,所有模型均可达到预测效果,而本文
所提TCN BiLSTM预测模型融合了TCN和BiLSTM在提取时间序列之间关系的特性,同时融入了注意力机制,预测结果更加准确。

从表6可以看出,本文所提TCN BiLSTM预测模型的误差值最小,相比其他模型有很大的优势。

与LSTM模型相比,MAE降低了84.9%,MSE降低了96.6%;与GRU模型相比,MAE降低了85.5%,MSE降低了97.1%;与BiLSTM模型相比,MAE降低了82.0%,MSE降低了94.1%;与AIS LSTM模型相比,MAE降低了81.3%,
MSE降低了94.1%;与Attention GRU模型相比,MAE降
低了79.5%,MSE降低了94.3%;与Attention BiLSTM模
型相比,MAE降低了82.6%,MSE降低了94.1%。

结果表明,TCN BiLSTM模型对于网络安全态势值的预测较为有效,且相比其他模型预测精度较高。

2.4.5 拟合度对比
为进一步验证本文所提TCN BiLSTM模型的有效性,对不同模型拟合度进行对比,如表7所示。

表7 不同模型拟合度对比犜犪犫犾犲7 犆狅犿狆犪狉犻狊狅狀狅犳犳犻狋狋犻狀犵犱犲犵
狉犲犲狅犳犱犻犳犳犲狉犲狀狋犿狅犱犲犾狊模型犚2TCN BiLSTM0.999523LSTM0.982796GRU0.979407BiLSTM0.989853AIS LSTM0.989801Attention GRU0.989701Attention BiLSTM0.989990
从表7可以看出,在相同模型中引入注意力机制后,模
型拟合度明显提高,证明了引入注意力机制可以提升模型的预测精度。

TCN BiLSTM模型的拟合度相较其他6种模型最高,拟合度相比其他6种模型均提升了1.0%以上,进一步证明了本文所提TCN BiLSTM预测模型所得到的预测曲线相较其他模型更加准确。

同时,也证明了TCN BiLSTM预测模型在预测态势值时的有效性和准确性。

2.4.6 收敛性分析
图9给出了模型训练误差随迭代步数变化的曲线图。

从图9可以看出,在相同模型中引入注意力机制后,模型收
Copyright ©博看网. All Rights Reserved.
 ·3678 ·
系统工程与电子技术第45卷 敛速度明显变快,证明了加入注意力机制可以提升模型的收敛速度;本文所提TCN BiLSTM预测模型在收敛速度和
收敛精度上均优于其他模型,证明了本文所提模型能够充分学习时序数据的特征,
效果较好。

图9 误差值随迭代次数的变化曲线Fig.9 Curveoferrorvalueswiththenumberofiterationsteps3 结束语本文将TCN和BiLSTM网络进行了融合,
并引入注意力机制及PSO算法,提出了一种基于TCN BiLSTM的网络安全态势预测方法,将TCN处理时间序列问题的优势与BiLSTM能够学习序列前后状况的优势结合起来,更好地提取态势值的序列特征。

之后引入注意力机制,为属性分配不同的权值,并利用PSO算法对模型进行超参数寻优,提升了预测能力。

本文通过不同优化算法分析实验、不同池化方式分析实验模型超参数优化实验、预测精度对比实验、拟合度对比实验、收敛性分析实验证明了模型在处理网络安全态势数据时具有的较强的特征提取能力、较高的预测精度和预测效率,验证了本文模型的有效性。

参考文献[1]ZHANGB,JISP,XUJE,etal.Networksecuritys
ituationpredictionmodelbasedonEMDandELPSOop
timizedBiGRUneuralnetwork[EB/OL].[20220426].https:∥doi.org/10.21203/rs.3.rs 778136/v1.
[2]赵冬梅,李志坚.基于Transformer的网络安全态势预测[J].
华中科技大学学报(自然科学版),2022,50(5):4652.
ZHAODM,LIZJ.Networksecuritys
ituationpredictionbasedonTransformer[J].JournalofHuazhongUniversityo
fScienceandTechnology(
NaturalScienceEdition),2022,50(5):4652.[3]唐延强,李成海,王坚,等.IGAPSO ELM:一种网络安全态势预测模型[J].电光与控制,2022,29(2):3035.TANGYQ,LICH,WANGJ,etal.IGAPSO ELM:anet worksecurityp
osturepredictionmodel[J].Electro OpticsandControl,2022,29(2):3035.[4]LIRX,LIF,WUCW,etal.Researchonvehiclenetworkse curitys
ituationpredictionbasedonimprovedCLPSO RBF[J].JournalofPhysics:ConferenceSeries,2021,1757(1):012148.[
5]何春蓉,朱江.基于注意力机制的GRU神经网络安全态势预测方法[J].系统工程与电子技术,2021,43(1):258266.HECR,ZHUJ.Anattentionmechanism basedsecurityp
osturep
redictionmethodforGRUneuralnetworks[J].SystemsEngi neeringa
ndElectronics,2021,43(1):258266.[6]中国互联网信息中心.2012至2022年网络安全信息与动态周
报[EB/OL].[20220420].https:∥www.cert.org.cn/pub lish/main/index.html.NationalInternetEmergencyCenter.Weeklyrep
ortonnetworksecurityi
nformationfrom2012to2022[EB/OL].[20220420].https:∥www.cert.org.cn/p
ublish/main/index.html.[7]BAIS,KOLTERJZ,KOLTUNV.Anempiricalevaluationofgenericconvolutionalandrecurrentnetworksforseq
uencemod eling[EB/OL].[20220423].https:∥arxiv.org/abs/1803.01271.[8]HEWAGEP,BEHERAA,TROVATIM,etal.Temporalconvo lutionalneural(TCN)networkforaneffectiveweatherforecastingusingt
ime seriesdatafromthelocalweatherstation[J].SoftCom puting,2020,24(21):1645316482.[9]ZHANGRJ,SUNF,SONGZW,etal.Short termtraffic
flowforecastingmodelbasedonGA TCN[J].JournalofAdvancedTransportation,2021,2021:1338607.[10]
HUD.AnintroductorysurveyonattentionmechanismsinNLPproblems[C]∥Proc.ofSAIIntelligentSystemsConfer ence,2019:432448.[
11]HOCHREITERS,SCHMIDHUBERJ.Longshort termmemory[J].NeuralComputation,1997,9:17351780.[12]PRIHATNOAT,NURCAHYANTOH,AHMEDMF,etal.
ForecastingPM2.5concentrationusingasingle denselayerBiLSTMmethod[J].Electronics,2021,10(15):1808.[13]PENGT,ZHANGC,ZHOUJZ,etal.Anintegratedframe workofbi directionallong shorttermmemory(B
iLSTM)basedonsinecosinealgorithmforhourlysolarradiationfore casting[J].Energy,2021,221:119887.[14]WRIGHTL,DEMEUREN.Ranger21:asynergisticdeeplearningoptimizer[EB/OL].[20220423].https:∥arxiv.org/abs/2016.13731.[15]LIULY,JIANGHM,HEPC,etal.Onthevarianceoftheadaptivelearningrateandbeyond[EB/OL].[20220423].https:∥arxiv.org/abs/1908.03265.[16]LOSHCHILOVI,HUTTERF.Decoupledweightdecayregu larization[EB/OL].[20220423].https:∥arxiv.org/abs/1711.05101.[
17]ZHANGMR,LUCASJ,HINTONG,etal.Lookaheadoptimi zer:kstepsforward,1stepb
ack[EB/OL].[20220423].https:∥arxiv.org
/abs/1907.08610.[18]CARLISLEA,DOZIERG.Anoff the shelfPSO[C]∥Proc.oftheWorkshopo
nParticleSwarmOptimization,2001.[19]MUNKHDALAIL.Anend to endadaptiveinp
utselectionwithCopyright ©博看网. All Rights Reserved.
 第11期孙隽丰等:基于TCN BiLSTM的网络安全态势预测
·3679 ·
 dynamicweightsforforecastingmu
ltivariatetimeseries[J].IEEEAccess,2
019,7:9909999114.[20]WANGG.Comparativestudyondifferentneuralnetworksfornetworksecuritysituationprediction[J].SecurityandPrivacy,
2021,4(1):e138.
[21]JAISIKM,ISMAILAR,NISASQ.Adamoptimizationalgorithmforwideanddeepneuralnetwork[J].Knowledg
eEngineeringa
ndDataScience,2019,2(1):4146.[22]WANGYJ,ZHOUPY,ZHONGWY.AnoptimizationstrategybasedonhybridalgorithmofADAMandSGD[C]∥MATECWebofConferences,2018,232:03007.[23]LYDIAA,FRANCISS.Adagrad anop
timizerforstochasticg
radientdescent[J].InternationalJournalofInformationandComputingS
cience,2019,6(5):566568.[24]YUD,WANGH,CHENP,etal.Mixedpoolingforconvolu tionalneuralnetworks[C]∥Proc.oftheInternationalConfer enceonRoughSetsandKnowledgeTechnology,2014:364375.[25]BOUREAUYL,PONCEJ,LECUNY.Atheoreticalanalysisoffeaturepoolinginvisualrecognition[C]∥Proc.ofthe27thInterna tionalConferenceonMachineLearning,2010:111118.[26]NAGIJ,DUCATELLEF,DICAROGA,etal.Max poolingconvolutionalneuralnetworksforvision basedhandgesturerecog
nition[C]∥Proc.ofthe2011IEEEInternationalConfe renceonSignalandImageProcessingApp
lications,2011:342347.[27]WANGSH,KHANMA,GOVINDARAJV,etal.Deeprank basedaveragepoolingnetworkforCOVID 19recog
nition[J].Computers,Ma
terials&Continua,2022,70(2):27972813.[28]LICS,TANGG,XUEXM,etal.Short termwindspeedin tervalpredictionbasedonensembleGRUmodel[J].IEEE
Trans.onSustainableEnergy,2
019,11(3):13701380.[29]MUNKHDALAIL,MUNKHDALAIT,PARKKH,etal.Anend to endadaptiveinputselectionwithdynamicweightsforforecastingmultivariatetimeseries[J].IEEEAccess,2019,7:9909999114.[30]DUJ,CHENGYY,ZHOUQ,etal.PowerloadforecastingusingB
iLSTM attention[J].IOPConferenceSeries:EarthandEnvironmentalScience,2020,440(3):032115.
作者简介
孙隽丰(1995—)
,男,硕士研究生,主要研究方向为网络安全态势预测。

李成海(1966—),男,教授,硕士,主要研究方向为网络安全态势感知、嵌入式操作系统。

曹 波(1998—)
,男,硕士研究生,主要研究方向为网络安全态势感知。

Copyright ©博看网. All Rights Reserved.。

相关文档
最新文档