一种基于相关度统计的告警事件关联算法
一种基于数据挖掘的告警相关方法的研究与实现
T程硕士掌位论文块采用了关联分析算法FP.Tree算法“讣,此算法既能发现告警属性之间的关系,又能发现告警之问的关系。
由于两个挖掘过程分别处于不同的阶段,挖掘的结果类型不同,因而被处理的数据结构也应该不同,模块分析的对象也不同,下面根据数据挖掘模块分别处于不同的阶段来介绍数据挖掘模块的挖掘过程。
图4.3数据挖掘模块4.3.1挖掘告警属性之间的规则模式预处理子模块本预处理子模块负责从告警数据库SQLserver2000中读出告警信息,视每一条告警为一个事务,将告警各字段信息转化为数据挖掘分折所需要的数据格式,如图4.4所示.图4.4挖掘告警各属性关系时预处理的数据格式数据挖掘子模块数据挖掘子模块是利用关联分析算法进行知识发现,挖掘告警属性之间的影响,得出属性之间的规律性,这种规律加入关联动作后可以转化为过滤规则。
属一种基于数据挖掘的告警相关方法的研究与实现这需要通过对告警信息的审查和人工分析,确认一次入侵是否最终成功。
这个过程很复杂,当静我们所具有的资源还难以完成。
在本文的实际工作中,采用了一种简单方法,仅根据告警信息的源地址和目标地址分区,即将具有相同的源地址和目的地址的告警信息归类于同一个入侵事件。
因本模块挖掘的是告警之间的关系,预处理子模块只要从告警数据库SQLSel-vet2000中依次读出告警类别信息按不同的入侵事件,转化为数据挖掘分析需要的数据格式如图4.5所示,视每个入侵事件为一个事务。
图4.5挖掘告警间关系时预处理的数据格式数据挖掘子模块本数据挖掘子模块功能是挖掘告警之间的规律性,褥出告警之间的时序关系,相关分析引擎可以将这些有时序关系的告警组合成新的告警,达到缩减告警数量的目的。
本子模块利用频繁模式挖掘FP—Tree算法来挖掘一维数据关系的功能,下面简单介绍挖掘告警之间关系的算法流程。
输入:入侵事件数据库,最小支持度阀值min—sup,最小置信度阀值min—conf,输出:告警类别之间的强关联规则;实现步骤:Stepl.视一次入侵事件为一个事务,组成该入侵事件的告警类别为其组成项集,所有入侵事件的集合形成待挖掘的事务集D;Step2.扫描D一次,收集频繁一次项集F和每个频繁项的支持度,把F按支持度递降排序,结果记为L;Step3.创建FP-Tree的根节点,并标志为null。
第七章日志,告警关联分析技术综述
对于安全事件,我们一般只能通过专门的
工具或设备如防火墙、IDS(入侵检测系统) 等检测出。所以安全事件的最终表现形式为 这些工具或设备产生的报警信息和日志信息。 另外必须指出报警的发生和真正事件的发生 并不等价,有可能是误告警
4.其他
关联分析的基本模型
关联分析模型如图 1.1 所示,其中核心的部件 是 2 和 3。部件 2 是部件 3 的基础,部件 3 根据部件 2 提供的知识体系对接收的安全事件 进行关联分析处理,最后将结果提交给关联分 析结果处理部件进行显示并做 进一步的响应处理。
介绍关联分析技术
核心领域论文
1.综述 A Comprehensive Approach to Intrusion Detection Alert Correlation 2.实例 A mission-impact-based approach to INFOSEC alarm correlation 3.特定关联技术 告警相似关联 Probabilistic Alert Correlation 模式识别技术
LAMBDA---a language to model a database for detection of attack
Modeling Multistep Cyber Attacks for Scenario 有限状态机技术 Fusing a Heteorgeneous Alert Stream into Scenarios 事件因果关联 Techniques and Tools for Analyzing Intrusion Alerts Analyzing Intensive Intrusion Alerts via Correlation
基于关联规则的网络故障告警相关性分析
据库中的更新规则进行增量关联规则挖掘 ,将传 统告警 分析方法与挖 掘出的关联规 则相结合 ,应用于 网络故障告警相关性分析 中。实验结
果表明 ,该算法能减少冗余规则 ,提高挖掘效率 。 关奠诃 :关联规则 ;增量式挖掘 ;故障告警 ;相关性分析
Ne wo k Fa l a m r e a i n An l ss t r ut Al r Co r l to a y i
Ba e o As o i to Rul s d n s c a i n e
LI i - n , ANG a- i nf gW J e Hu i n b
( yL b rtr f o ue i o n y t S h o f mp tr dC mmu i t nE gn e n , Ke a o a yo mp tr s na dS se o C V i m, c o l o Co ue o n a n c i n ie r g ao i
l 概述
随着移动通信 网络规模的扩大 ,故障诊 断与定位成为 网
络 管理 的核 心。当网络发 生故 障时,必然会有大量 的告警信
y ,若 cu t o n 表示事务的支持 数,则事务 x的支持度为 :
u X p( o % 0 (】 1
息 产 生,如何 从众 多的故 障信息 中及 时找到故 障位置 和原 因、排 除无 用信 息并恢复 网络性能 ,不仅是质量 问题 ,更是 效率 问题。由于 网络 中故 障比较复杂 ,告警数据库信息量非 常庞 大且在 不断更新 ,对 数据库 的每一 次更新都重新做一 次
Taj iesyo eh oo y Taj 0 34 Chn ) ini Unv ri f c n lg , ini 30 8 , ia n t T n
通信网告警相关性分析中有效的关联规则挖掘算法
第34卷 增 刊 JOURNAL OF XIDIAN UNIVERSITY V ol.34 Sup.通信网告警相关性分析中有效的关联规则挖掘算法李彤岩, 李兴明(电子科技大学 宽带光纤传输与通信网技术教育部重点实验室,四川 成都 610054)摘要:关联规则挖掘算法是通信网告警相关性分析中的重要方法。
在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth 算法会产生大量的条件模式树,使得在通信网环境下挖掘关联规则的难度非常大。
针对上述问题,提出了一种基于分层频繁模式树的LFPTDP 算法,采用分层模式树的方法产生频繁项集,从而避免了产生大量的条件模式树,并用动态剪枝的方法删除大量的非频繁项。
算法分析及仿真表明,LFPTDP 算法具有较好的时间和空间效率,是一种适合于通信网告警相关性分析的关联规则挖掘算法。
关键词:关联规则;告警相关性分析;条件模式树;分层频繁模式树中图分类号:TN915.07 文献标识码:A 文章编号:1001-2400(2007)S1-0039-04An efficient method for association rules mined in telecommunication alarm correlation analysisLI T ong-yan , LIXing-ming (Key Laboratory of Broadband Optical Fiber Transmission and Communication Networksof Ministry of Education, UESTC, Chengdu ,610054)Abstract: The mining of association rules is one of the primary methods used in telecommunication alarm correlation analysis, in which the alarm databases are very large. The efficiency of the algorithms plays an important role in tackling large datasets. The classical FP-growth algorithm can produce a large number of conditional pattern trees which makes it difficult to mine association rules in telecommunication environment. In this paper, an algorithm LFPTDP based on the Layered Frequent Pattern Tree is proposed for mining frequent patterns and deleting infrequent items with dynamic pruning which can avoid producing conditional pattern trees. Analysis and simulation show that it is a valid method with better time and space efficiency, which is adapted to mining association rules in telecommunication alarm correlation analysis. Key words: association rules; alarm correlation analysis; conditional pattern tree; Layered Frequent Pattern Tree关联规则挖掘是数据挖掘中的一个非常重要的研究领域,适合于通信网的告警相关性研究[1],可以通过挖掘关联规则找出告警之间的相关性,从而有效的定位故障。
一种基于信息论的告警关联方法[发明专利]
专利名称:一种基于信息论的告警关联方法专利类型:发明专利
发明人:冯河清
申请号:CN202010044712.9
申请日:20200115
公开号:CN111274285A
公开日:
20200612
专利内容由知识产权出版社提供
摘要:本发明公开了一种基于信息论的告警关联方法,本发明以告警A和告警B为例探讨了如何利用条件熵这个信息论的基本概念来判定告警之间存在的统计关联性。
那么在具体的告警关联实践中,需要考虑的统计关联性不是单纯的两个告警之间的,而是多个告警之间的,因此情况要复杂一些。
在实际关联处理中,需要考虑每个告警以及与它处于同一个时间范围内的所有告警的统计关联性,并且从中选择与它一起发生概率最大的n条告警作为与它存在潜在关联的告警保存起来。
然后再利用攻击脚本分析的办法对这些潜在的关联关系进行检查,从而得到最终的告警关联结果。
申请人:上海观安信息技术股份有限公司
地址:200062 上海市普陀区大渡河路388弄华宏商务中心5号楼6层
国籍:CN
代理机构:北京专赢专利代理有限公司
代理人:刘梅
更多信息请下载全文后查看。
基于知识库的告警关联分析方法[发明专利]
(10)申请公布号 (43)申请公布日 2014.09.03C N 104021195A (21)申请号 201410265884.3(22)申请日 2014.06.13G06F 17/30(2006.01)(71)申请人中国民航信息网络股份有限公司地址100010 北京市东城区东四西大街157号(72)发明人王跃 张延彬 王夏(74)专利代理机构北京瑞思知识产权代理事务所(普通合伙) 11341代理人李涛袁红红(54)发明名称基于知识库的告警关联分析方法(57)摘要本发明提供了一种基于知识库的告警关联分析方法,包括:步骤1:获取告警总线中存在的告警信息;步骤2:对所述告警信息进行告警吸收关联分析,得到根源告警;步骤3:对所述告警信息进行告警推论关联分析,推论出新告警作为根源告警;步骤4:把关联分析的结果,通过置位关联标识符的方式,在告警总线中进行标识;步骤5:确定根源告警后,对子告警进行自动确认,并在关闭根源告警时同步关闭所有相关的子告警。
本发明能够依据知识库中存储的告警吸收和告警推论的关联规则,对告警总线中的多个告警进行实时规则匹配,依次建立吸收关系和推论关系,形成树形结构,从而实时分析出根源告警,将衍生告警吸收,或者根据既有告警推论得出一个新告警。
(51)Int.Cl.权利要求书3页 说明书20页 附图9页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书3页 说明书20页 附图9页(10)申请公布号CN 104021195 A1.一种基于知识库的告警关联分析方法,其特征在于,所述方法包括:步骤1:获取告警总线中存在的告警信息;步骤2:对所述告警信息进行告警吸收关联分析,得到根源告警;步骤3:对所述告警信息进行告警推论关联分析,推论出新告警作为根源告警;步骤4:把关联分析的结果,通过置位关联标识符的方式,在告警总线中进行标识;步骤5:确定根源告警后,对子告警进行自动确认,并在关闭根源告警时同步关闭所有相关的子告警。
基于分布式关联规则挖掘的告警关联分析方法的研究
基于分布式关联规则挖掘的告警关联分析方法的研究摘要:随着电网系统覆盖范围的扩展,监控设备前端呈现的告警数量也呈骤增状态,其中包括各网管系统中的大量重复或者无用告警,直接妨碍调度、运维人员对故障高效、准确的处理。
关联分析技术可有效地过滤重复和无用告警,但规则系统缺乏记忆性,告警关联分析系统中的规则提取主要依赖于专家经验,为避免问题的重复查找及确保特殊情况的及时处理,设计一种基于分簇的分布式关联规则挖掘的告警相关性分析方法,通过缩小告警数据库中告警量及其告警频繁项集,提高规则系统的性能和健壮性,提升告警关联分析的效率。
关键词:告警关联分析;分簇;告警频繁项集;分布式关联分析1. 引言随着电力通信网络的发展,网络的结构逐渐复杂,因此系统中产生的告警数量也日益增多,其中也包含根告警引发的一系列重复无用的设备告警。
当无用告警将根告警信息淹没时,运维人员的故障处置工作难度增加,无法在短时间内从监控系统内判断和分析骤增的告警。
关联分析方法的出现,过滤掉了重复和无用的告警信息,解脱了前端监控处人工的查询和分析。
这一技术将系统产生的所有告警集中至告警信息库中进行数据挖掘。
电力系统具有非常广泛的覆盖范围,告警信息库中的告警多是通过一种集中式的处理方式,即海量告警的分析处理都是在一个主服务器上完成的。
但将传统关联分析方法直接应用到规模逐渐增加的智能电网系统中,将会面临着的低下的关联分析效率问题,无法满足运维需求。
因此,需研究适用于电力系统的告警信息的高效关联分析方法,保障网络的稳定运行和实行有效维护。
本文设计了一种基于分簇的分布式关联规则挖掘的告警相关性分析方法,通过缩小告警数据库中告警量及其告警频繁项集,提升告警关联分析的效率。
2. 告警关联分析研究现状较典型的告警关联分析方法主要有以下五类[1]:基于规则推理的分析方法、基于范例推理的分析方法、基于模型推理的分析方法、基于贝叶斯网络的分析方法和基于关联规则挖掘的分析方法。
网络安全中的告警事件关联分析技术研究的研究报告
网络安全中的告警事件关联分析技术研究的研究报告网络安全中的告警事件关联分析技术研究的研究报告概述网络安全是当今互联网时代中一个十分关键的领域,而网络攻击也成为了互联网时代中一个极其热门的话题。
为了保护网络安全,网络安全工作者们通常会在有告警事件的情况下,追踪攻击来源,分析攻击方式和攻击目的。
关联分析技术,是追踪告警事件过程中非常重要的一环,本文将对网络安全中的告警事件关联分析技术进行研究分析。
告警事件的分析实现在网络安全的实践中,告警事件是由安全设备或安全软件捕获的异常情况。
数据源种类繁多,产生告警消息的源头可以是操作系统、网络流量、日志、数据库等等。
告警事件通常较为简单,通常只需要人工分析即可得出结论,比如病毒入侵、端口扫描、登录失败等。
但是有时候,网络攻击人员会采用多种手段混淆攻击来源,制造安全设备和安全软件误判,导致告警事件的关联变得更加复杂。
从而使得原本简单的告警事件,变得十分复杂,追溯攻击过程十分困难。
这时候,就需要引入“告警事件关联分析技术”来协助完成分析任务。
告警事件关联分析技术告警事件关联分析技术是指:在网络安全领域中,通过对信息安全事件进行搜集、存储、处理、分析,从而研究异常事件的恶意行为和攻击者的攻击路线、行为习惯、目标等,最终通过分析、研究,建立异常行为的分析报告,提高网络安全防御能力的一种技术方法。
关联分析技术是利用数据挖掘和机器学习的方法,从大量信息安全事件处获取知识,识别相关规律,找出存在关联的真正威胁,进而快速响应和缩小安全威胁。
告警事件关联分析技术的优势告警事件关联分析技术因为有自动化的处理方式,可以减少人工处理量,省时省力,提高工作效率;同时,可以提供全面、准确的数据,避免了因人为因素造成的错误。
除此以外,告警事件关联分析技术还可以协助从大数据中提取特征信息,对网络安全事件进行大量的数据统计和分析,进一步指导相关人员制定网络安全策略和提供后续的修复建议。
结论通过本文研究可以发现,告警事件关联分析技术是网络安全领域中的一个非常重要的分析手段。
一种基于分层属性相似度聚类的ASON告警关联分析方法
一种基于分层属性相似度聚类的ASON告警关联分析方法高会生;李英敏【摘要】针对传统属性相似度告警聚类不能充分挖掘告警属性语义信息的不足,结合自动交换光网络(automatically switchedoptical network,ASON)的告警特点,分析了告警属性语义信息对告警聚类的作用,定义了具有分层特点的属性相似度函数,增强了聚类结果的客观性,并利用历史告警库复杂度和聚类扩充率对聚类效果进行了比较分析.实验表明,新方法与传统的告警属性相似度聚类方法相比,具有更高的准确性.对于在特定时间段内故障类型较多的情况,新方法具有较好的适应性.【期刊名称】《科学技术与工程》【年(卷),期】2015(015)006【总页数】6页(P210-214,225)【关键词】分层属性相似度;聚类;告警关联;ASON【作者】高会生;李英敏【作者单位】华北电力大学电子与通信工程系,保定071000;华北电力大学电子与通信工程系,保定071000【正文语种】中文【中图分类】TN915.81告警聚类可以有效精简告警数量,丰富告警的语义信息,帮助网管人员分析故障原因,是告警关联分析的重要内容。
Valdes等[1]于2001年基于信息融合的概念,提出了基于属性相似度的告警聚类方法。
该方法首先确定单一属性相似度函数,对多个属性相似度值加权求和得到平均值,并与预设的阈值进行比较。
超过阈值的告警归为同一类,否则归为不同类。
此后,基于属性相似度的告警聚类方法被广泛用于告警关联分析。
文献[2]认为同一根原因引发的告警具有一定的属性相似性,并借助概念聚类中的层次归纳方法,确定单一告警属性函数,实现对同一根原因告警的聚类。
文献[3]通过归一化告警表示告警聚类,实现对入侵检测系统属性相似告警的关联。
文献[4]利用模糊属性相似度聚类实现了在信息不完全的情况下攻击场景的重构。
文献[5]根据同一攻击引发的告警具有相似属性的原理,提出一种基于混沌粒子群优化的入侵检测系统告警聚类算法,提高了入侵检测系统的告警质量。
基于业务时间窗选取的告警聚类及关联方法
基于业务时间窗选取的告警聚类及关联方法杨剑;蓝明超【摘要】基于时间窗的告警事务集选取直接影响告警关联规则挖掘的有效性,同时,智能光网络告警的内在关联性使其具备一定的聚类关系,据此提出一种基于业务时间窗选取的告警聚类及关联方法.首先根据网络业务配置情况对多网元告警进行聚类,然后通过确定告警增长期进行时间窗划分,生成关联性更强的告警事务集,并进一步挖掘告警关联规则.该方法能够适应智能光网络多平面和多网元告警内在关联的特点,可有效压缩告警事务集,提高告警关联规则的准确度,为后续故障诊断提供支撑.最后运用实际网络数据验证了该方法的可行性和有效性.【期刊名称】《光通信研究》【年(卷),期】2019(000)001【总页数】4页(P33-36)【关键词】智能光网络;网络业务;时间窗;告警聚类;告警关联【作者】杨剑;蓝明超【作者单位】国防科技大学信息通信学院,西安 710106;国防科技大学信息通信学院,西安 710106【正文语种】中文【中图分类】TN9150 引言智能光网络(Automatically Switched Optical Network,ASON)技术目前已广泛应用于通信领域中[1-2],促进了光网络的智能化演进。
随着ASON规模的不断扩大,承载业务类型的更加多样,对光网络运维中的告警分析和故障诊断等提出了更高的要求。
采用Apriori及其改进算法进行告警关联规则挖掘进而诊断故障是目前较为普遍的方法[3-4],其中告警关联规则的挖掘需要以告警事务集为基础,而通过滑动时间窗口法进行告警聚类,是将告警数据库中的海量告警转换为告警事务集的有效方法之一[5]。
目前,针对网络告警聚类及时间窗选取已经提出了多种方法,比如文献[6]提出了一种基于相关度统计的告警关联规则挖掘算法;文献[7]提出了一种基于双约束滑动时间窗来进行告警聚类的方法;文献[8]提出了一种具有时序特征的告警关联规则挖掘算法。
但是上述方法只是针对单个网元告警进行时间窗选取及告警聚类,不适合直接应用于ASON中。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
_
体 的运行状 态 和行 为 J是 网络故 障管 理 的基 本依 据。然 而 , ,
第2 7卷 第 6期
21 0 0年 6月
计 算机 应 用与软 件
Co u e pl ai n n o t r mp trAp i to sa d S fwa e c
V0 . 7 No. 12 6
Jn 0 0 u .2 1
一
种 基 于相 关 度 统 计 的告 警 事 件 关 联 算 法
而触 发的消息。一个 网络 事件 可以是 网络对象 直接产 生 , 可 也
0 引 言
大规模 分布式网络包含 大量 的网络 实体 , 它们在 运行 过程
中会 产 生 各 种 各 样 的 网络 事 件 , 些 事 件 潜 在 地 展 示 了 网 络 实 这
以由网络 监视器轮询产生 。所有能够感知该状态 变化 的网络 对 象都 可能触发网络事件 。形式化表示 :
oN Co RRELATI oN STATI TI S CS
LuQa g Y n u x n H a gG o ig i in a gY e i g a u n apn
(colfC m ue S 4 0 7 H n n C ia Sh o o o p t c neN t a i rt o D c eh oo ,h n sa,1 03, u a , hn ) r e o U v syf g
i h sp p rw e a ae te a a le e t it o te e t a d c n u r n v n s w ih a e c u e y t e s me fu t T r u h t esait so n t i a e e s p r t h l r v ns n o ro v n s n o c r t e t , h c r a s d b h a a l h o g h tt i f u e e . sc
刘 强 杨岳湘 黄高平
( 国防科学技 术大学计算 机学 院 湖南 长沙 4 0 7 ) 10 3
摘 要
网络故障与 网络告警事件之 间存 在着必然的关系。在分析故 障传播和 告警模 式的基础上 , 同一故 障引发的告警 事件 将
区别 为根源 事件 和并发事件 , 通过对 隐藏在海量事件 中的根源事件 与并发事件 相关度 的统计 , 发现每 一类故 障的相关事件 类集合,
并 以 此作 为 关联 规 则 , 行 事件 关联 处 理 , 够 正 确地 进 行 故 障 定 位 , 效 过 滤 冗 余 事 件 , 故 障 原 因分 析 提 供 依 据 。 进 能 有 为 关 键 词 网络 故 障 告 警 事 件 事件 关联 关 联 规 则 相 关 度
AN ALARM EVENT CoRRELATI oN ALGo RI THM BAS ED
・ vn— N+: 件标识 ; E etD∈ I 事 ・ vn— a ∈S i : E et m Ne tn 事件名称 ; rg ・ or : S uc 事件 产生的位置 ; e
rdu da te e s efct e y,tpr vd s a b ss fra a y i g t a tra o e n n v nt f i l i e v o i e a i o n l sn he ful e s n.
Ke wo d y rs
New r a l Alr v n Ev n o r lt n Aso i t n r l C rea in t o k fu t a eet m e tc re ai o s c ai u e o o r lt o
c re ain d g e e we n t e ro v nt nd t e c c re te e s hdd n i s v n s,h o ure te e ae oy st fe e y f o rlto e r e b t e h o te e sa h on u r n v nt i e n ma se e t te c nc r n v ntc tg r eso v r tpeo y
Ab t a t sr c New r a l h si e i be rl t n h p wi ew r lr e e t B s d o h n lss o a l p o a a in a d aa m d l t o k f u t a n vt l e ai s i t n t o k aa m v n . a e n t e a ay i ff ut r p g t n lr mo e , a o h o
fu t r o n a d a e c n i e e s te a s c ae r l o e ln i h v n o ea in,h sc n lc t t e fu tc r cl n l rt e a l a e f u d, n r o s rd a h s o it u e frd ai g w t t e e e tc r lt d h o t i a o ae h a l or t a d f t h e y i e