软件用户手册软件使用说明书

基于大数据的网络安全信息可视化系统
V1.0
技术研究报告
北京邮电大学
目录
第一章基于大数据的网络安全信息可视化系统研究背景 (1)
1.1 基于大数据的网络安全信息可视化系统研究背景及意义 (1)
1.2 基于大数据的网络安全信息可视化技术现状 (3)
1.2.1基于网络数据流量的网络安全可视化 (3)
1.2.2基于端口信息的网络安全可视化 (3)
1.2.3基于入侵检测技术的网络安全可视化 (4)
1.2.4基于防火墙事件的网络安全可视化 (4)
1.2.5其它 (5)
1.3 本章小结 (5)
第二章基于大数据的网络安全信息可视化系统概述 (6)
2.1 基于大数据的网络安全信息可视化的基本形式 (6)
2.2 常用的八种数据可视化方法 (7)
2.3 本章小结 (12)
第三章基于大数据的网络安全信息可视化系统关键技术 (12)
3.1用户接口与体验 (12)
3.2图像闭塞性的降低 (14)
3.3 端口映射算法 (18)
3.4 网络安全态势的评估与入侵分析 (18)
3.5 本章小结 (20)
第一章基于大数据的网络安全信息可视化系统研究背景1.1 基于大数据的网络安全信息可视化系统研究背景及意义
随着网络的普及，互联网上的各种应用得到了飞速发展，而诸多应用对网络安全提出了更高的要求，网络入侵给全球经济造成的损失也在逐年增长。

然而目前网络安全分析人员只能依靠一些网络安全产品来分析大量的日志数据，从而分析和处理异常。

但随着网络数据量的急剧增大，攻击类型和复杂度的提升，这种传统的分析方式已经不再有效。

如何帮助网络安全分析人员通过繁杂高维数据信息快速分析网络状况已经成为网络安全领域一个十分重要且迫切的问题。

网络安全可视化技术就是在这种情况下产生的。

它将海量高维数据以图形图像的方式表现出来，通过在人与数据之间实现图像通信，使人们能观察到网络安全数据中隐含的模式，能快速发现规律并发现潜在的安全威胁。

网络安全可视化的必要性
一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。

但是随着网络连接的迅速扩展，越来越多的系统遭受到入侵攻击的威胁。

而网络安全产品是人们目前主要依赖的防入侵工具。

网络分析人员在使用网络安全产品时，通常通过监视和分析相应的网络日志信息，找出可疑的事件做进一步诊断，最后对确定的异常和攻击做出回应。

但是网络分析人员分析如下问题时，通常会遇到如下困难：1）认知负担过重。

以入侵检测系统为例，部署与乔治亚州技术学院的IDS传感器平均每天要产生50000个报警，通过传统分析日志信息的方式分析人员在一天有限的时间内很难对这些报警逐一做出详尽的分析和判断。

2）交互性不够。

当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员做出进一步有效的判断。

3）缺乏对网络全局信息的认识。

分析人员看到的往往都是单一的数据记录，缺乏对网络整体信息的了解，这使得他们很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。

4）不能提前防御、预测攻击。

通过日志分析的方式很难发现一些新的攻击模式，也很难对攻击的趋势做出预测或者提前进行防范。

因此，面对网络安全所面临的种种问题，必须寻求新的方法帮助安全分析人员更快速有效地识别网络中的攻击和异常事件。

一个实用的方法是，将网络数据以图形图像的方式表现出来，利用人们的视觉功能处理这些大量的数据信息，即将可视化技术引入到网络安全领域。

可视化（也称数据可视化）是一种计算和处理的方法，他将抽象的符号表示成具体的几何关系，使研究者能亲眼看见他们所模拟和计算的结果，使用户以图形图像的方式重新分析数据。

将可视化技术引入
到网络安全领域是对现有网络安全研究分析方法的重大变革：1）可视化技术能使人们更容易感知网络数据信息，且每次感知更多信息；2）可以快速识别数据模式和数据差异、发现数据的异常值或错误；3）识别聚类，便于对网络入侵事件进行分类；4）能从中发现新的攻击模式，做到提前防御，对攻击趋势做出预测，等。

网络安全可视化的概念及研究步骤
数据可视化（Data Visualization）包括科学计算可视化（Scientific Visualization）和信息可视化（Information Visualization）。

其中科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算、工程计算及测量工程产生的数据转化为图形或图像，在屏幕上显示出来并进行交互处理的理论、方法和技术。

而信息可视化是用可交互的视觉表达方式来表现抽象的、非物理的数据来增强对数据本质的认识。

信息可视化涉及到人类认知学、人机交互、计算机图形学、图像技术、数据挖掘、模式识别等多学科的理论和方法，是一个新兴的研究领域。

信息可视化不仅用图像来显示多维的非空间数据，使用户加深对数据含义的理解。

而且用形象直观的图像来指引检索过程,加快检索速度。

信息可视化目标是帮助人们增强认知能力，显示的对象主要是多维的标量数据，重点在于设计和选择什么样的显示方式，才能便于用户了解庞大的多维数据和他们相互之间的关系。

网络安全可视化（Network Security Visualization）是信息可视化中的一个新兴研究领域，它利用人类视觉对模型和结构的获取能力，将抽象的网络和系统数据以图形图像的方式展现出来,帮助分析人员分析网络状况,识别网络异常、入侵,预测网络安全事件发展趋势旧。

它不仅能有效解决传统分析方法在处理海量信息时面临的认知负担过重、缺乏对网络安全全局的认识、交互性不强、不能对网络安全事件提前预测和防御等一系列问题,而且通过在人与数据之间实现图像通信,使人们能观察到网络安全数据中隐含的模式,为揭示规律和发现潜在的安全威胁提供有力的支持。

网络安全可视化要处理的往往是高维、无结构化的多变量数据,同时这些数据具有规模大、非数值型等特点;在数据的关联关系上面临着关系隐式化、时间依赖性强、类型多等困难;在绘制方面也没有统一的显示模型。

早在1995年mchar A.Becker就提出对网络数据(网络流量状况)而非其拓扑结构进行信息可视化的概念。

之后L.Gimrdin和R.F.Erbacher又分别研究了防火墙日志、IDs报警信息的可视化。

随着网络安全技术尤其是网络监控、杀毒软件、防火墙和入侵检测系统的不断发展,对网络安全可视化的需求也越来越迫切,从2004年开始,学术界和工业界每年召开一次网络安全可视化国际会议（Visualization for Computer Security，VizSEC），这标志着网络安全信息可视化真正得到大家重视。

网络安全可视化的研究,首先是数据源的选取。

网络安全可视化技术无论从
早期针对网络数据、入侵检测系统、主机日志的可视化,还是到现在针对网络攻击工具、DNs攻击、无线网络安全事件的可视化,解决不同的问题,均需要选择不同的数据源。

其次,可视化结构的选取。

网络安全可视化技术的一个关键技术是发现新颖的可视化结构来表示数据信息,建立数据到可视化结构的映射。

第三,网络安全信息可视化的实时性、全局和局部信息(Context+Focus)并发显示的设计。

目前诸多网络安全产品已有一定的实时功能,但通常只能提供给人们普通的日志信息,网络安全可视化通过对全局和局部信息的并发显示提供给人们更感兴趣的信息。

第四,网络安全可视化的人机交互设计阶段。

网络安全可视化技术的视图放缩、聚焦、关联数据显示、数据选择和回放、历史数据比较、与防火墙进行联动响应等人机交互功能将使得网络安全产品更加易定制、易操作。

1.2 基于大数据的网络安全信息可视化技术现状
1.2.1基于网络数据流量的网络安全可视化
由于端口扫描、蠕虫扩散以及拒绝服务攻击等安全事件在流量方面具有明显的一对一、一对多或多对一的特征,因此此类攻击事件往往在流量方面出现明显的异常,显示网络流量可以帮助网路安全分析人员快速发现网络攻击,更好地防范和抵御网络入侵事件。

通常,基于网络数据流量的网络安全可视化技术所使用的网络数据包属性主要有源IP、目的lP、源端口、目的端口、协议和时间等。

如NVision将网络数据通过分层方式予以显示,可以检测出一个B级网络内所有主机的流量信息。

VisFlowConnection采用平行轴坐标技术表现连接信息,可以详细显示某一个域内所有机器的详细流量,也可以显示内部之间流量,这对检测来自内部的攻击是非常有用的。

单纯分析大量网络日志信息,虽然能分析出针对某台主机的扫描事件,但不能同时发现某一网段的扫描事件。

PGVis3D技术综合利用了IP Matrix的2D和3D技术来表现网络内部和外部、内部和内部之间的流量状况。

可以同时显示出针对某台主机和某一网段的扫描事件。

基于网络数据流量的网络安全可视化技术在显示与流量相关的安全事件方面有较强优势,但是显示数据信息较多时,线条易交叉重叠,这增加了分析人员的认知负担,使得一些模式的发现变得困难。

所以在使用该技术显示大规模数据时还应辅助其他方法,如采用颜色映射表示不同类型攻击事件等。

1.2.2基于端口信息的网络安全可视化
在黑客实施网络攻击或者入侵之前通常先要进行信息收集,通过对目标主机或者网络进行扫描确定目标主机系统是否在活动,确定哪些服务在运行,检测目标操作系统类型,试图发现目标系统的漏洞。

因此针对端口的扫描是众多攻击中最
普遍的一种。

用基于网络数据流量的网络安全可视化方法可检测出某些特定类型的端口扫描,但对于强动态性、强随机性和强隐蔽性的与端口有关的安全事件如DDos、蠕虫病毒、木马等用此方法效果并不好,并且从大量模糊信息中发现令人感兴趣的网络安全信息本身也是比较困难的。

因此,必须寻求新的方法能从模糊信息中揭示核心的、隐蔽性强的、令人感兴趣的安全事件。

通常,这类问题的数据源只含有端口、时间等少量信息,要想高度概括这类信息所隐含的模式,必须在显示数据信息本身的同时,辅助一些其他手段,如用多层次界面设计.全局和局部信息的交互显示,颜色映射等。

如Portvis就是采取多视图、利用全局和局部信息交互方式供分析人员监测和识别网络中潜在的安全事件的一种网络安全可视化技术。

Portvis可以帮助分析人员识别出跟端口信息紧密相关的网络安全事件,如端口扫描、特洛伊木马等。

上节所提及的NVisionIP也是此方法的典型用例。

但是,基于端口信息的网络安全可视化技术由于受所使用数据源的限制,往往提供给分析人员的重要信息有限,在发现感兴趣模式后仍无法获知如IP地址、TCP标志位等重要细节信息。

如何通过有限的粗糙网络数据获取尽可能多的关键信息仍是网络安全可视化领域待攻克的一个难点。

1.2.3基于入侵检测技术的网络安全可视化
目前网络分析人员通常使用基于网络的入侵检测系统识别和抵御DDos攻击、网络蠕虫及木马等网络攻击。

它实时地将当前网络数据包与已存储的已有的攻击类型签名数据库信息对比,通过匹配与否决定是否产生报警。

虽然入侵检测系统存储了大量攻击类型的签名信息,但若匹配规则选取不当很容易使得入侵检测系统产生误报和漏报,并且,基于网络的入侵检测系统往往需要安全分析人员具有高深的分析日志信息的能力和技巧。

因此,为降低网络分析人员的认知负担, 降低入侵检测系统的误报和漏报率,将可视化技术应用于入侵检测系统。

基于入侵检测技术的网络安全可视化技术不仅能从单个日志信息中挖掘数据模式,并能从多个不同的日志信息对比中发现一些隐藏的数据模式,这利于及时发现新型网络攻击并提前做出防范。

如SnortView运用图元方法实时地对snort报警信息进行分等级显示,降低入侵检测系统的误报率。

通过显示不同的日志信息表征整个局域网内网络状况,帮助人们提前分析复杂的可疑网络安全事件。

虽然基于入侵检测技术的网络安全可视化技术集合了散点图和颜色映射的优点,可以表现多维网络数据信息,但在将多个属性变量映射成可视图元时缺乏规范和标准, 这容易导致绘制结果差异较大,对分析攻击模式造成困难。

1.2.4基于防火墙事件的网络安全可视化
在网络安全分析人员使用防火墙分析网络安全事件时, 通常需逐行分析复杂
众多的日志信息,如防火墙记录的内外通信发生的时间和进行的操作等。

但由于网络安全分析人员对每个日志信息的细节过于考虑而往往忽略整体所隐含的模式,并且当发现并采取措施抵御这些攻击时,网络入侵可能已经停止。

因此应设计一种实时处理和评定全局网络信息的基于防火墙事件的新网络安全研究方法。

基于防火墙的网络安全可视化技术就是在此需要下产生的。

它通过运用多重视图实时显示网络通信的特殊细节信息,通过聚类显示各细节间的相似与异同之处,而这些视图信息又能一致地反映目前整个网络的运行状态。

如XX采用散列图来显示防火墙事件,用小方块表示主机,方块的颜色表示不同的协议类型。

通过此方法用户可观测出哪些进程刚被启动、哪些请求是可疑事件。

文献[27]能很好地监控防火墙的运作,无论对有经验的网络分析人员还是初学者均易上手操作。

通常基于防火墙事件的网络安全可视化技术适用于大规模网络异构数据的显示,但由于点、线重叠,使得关键信息易丢失、重要信息被隐藏、不易于理解。

1.2.5其它
随着网络安全事件类型的增多,不同的网络安全可视化技术也随之涌现出来。

如InSeon Yoo提出的自组织映射（Self-Organizing Maps技术），它利用计算机病毒独特的特征信息帮助用户发现及抵御嵌入在可执行文件中的病毒信息;SIFT研究小组运用Nessus的扫描结果作为数据源,设计出针对Nessus扫描器的可视化分析工具Nvision—Nessus；通过显示DNs相关查询信息,帮助分析潜在的DNS攻击事件的Flying Term技术等。

目前国外已设计出了一些软件原型系统如NIV A、Snortsnarg、PortVis、SnortView、NVisionIP、VisFlowConnection、IDGraph、VisualFirewall等。

国内虽然在网络安全的理论和工程实践方面都取得了很大进展,但在网络安全可视化关键技术研究方面依然是空白。

1.3 本章小结
网络安全可视化的研究工作尚处于初级阶段,一些方法与理论正在形成之中,构建完整实用的网络安全可视化系统还存在许多困难。

面临的挑战主要是:
1、如何有效地实时显示处理大规模网络数据。

网络中庞大的数据流量、数据的实时预处理分析以及系统对交互设计的快速响应等都对如何实时显示和处理大规模网络数据提出了高要求。

2、如何集成自动报警和防御功能。

从降低网络分析人员的认知负担考虑,安全可视化工具应该具备自动识别网络异常并报警、当确认异常事件后能对其进行防范抵御的能力。

现有技术方法均不具备该功能。

3、如何用一整套理论指导网络安全可视化研究。

由于网络安全信息可视化缺少数学模型、可视化方法研究主观性强、难于进行有效验证和评估等,网络安
全信息可视化相关基础理论研究迫在眉睫。

可视化技术已经给很多学科的研究带来深远影响,随着上述理论和关键技术问题的解决,网络安全可视化技术应用前景广阔。

第二章基于大数据的网络安全信息可视化系统概述
2.1 基于大数据的网络安全信息可视化的基本形式
网络拓扑图可视化是信息可视化研究的一个方面，由点-线图来表达和分析网络的。

而在网管系统中可视化的网络拓扑更是必不可少的，因为点-线图展现了网络拓扑结构的直观形态，为路由分析、网络监控等方面提供了可视化展现方法。

大规模拓扑网络可视化是信息可视化在网络拓扑数据集上的具体应用，凡是信息可视化中的方法都可以应用到拓扑的绘制当中。

通用类型的拓扑可视化工具一般能提供开放的数据接口，比如SNMP、NwtFlow或者MRTG等。

这类拓扑显示工具可复用性较高，接口比较独立。

网络测量领域的著名研究组织CAIDA，the Cooperative Association for Internet Data Analysis（因特网数据分析协会）也已经开发出了一系列的相关拓扑显示工具，比如Otter是CAIDA组织开发的一种通用拓扑绘图软件，他具有丰富的图形交互功能，允许调节节点位置、图形的缩放、根据图形属性进行染色等。

同时，CAIDA组织针对不同层次的网络拓扑还开发了相关拓扑显示工具，比如说Jaspvi 主要关注于AS级拓扑。

除了CAIDA，美国的NLANR和希腊的GRNET等相关实验室也从自身所管理的网络出发，对网络的可视化工作进行了相关的研究。

拓扑可视化工具按显示方式可分为平面显示与三维显示。

（一）平面拓扑工具
1、GTrace工具
GTrace是一个以地理位置为基础的traceroute工具。

这个工具可以得到traceroute返回节点的地理位置信息，并最后根据地理位置的信息把tracerouter的路径上的节点显示在地图上。

2、Skitter工具
Skitter是一个可以对因特网进行动态探测的工具，采集到的数据可以用作分析网络的拓扑结构以及网络的性能，以达到分析拓扑和性能的目的的工具。

Skitter工具会以圆心为中点，并根据以下的公式计算出节点的角度和半径：
半径=1-log（（出度（AS）+ 1）/最大出度+1）= 节点的经度值
（二）三维的拓扑显示工具
1、Walrus工具
Warlus是一个在三维空间中以交互式的方式显示大型定向拓扑图像的工具，他在三维空间上用树形布局算法可以显示超过100万个具有层次化关系的节点。

2、HyperViewer工具
HyperViewer工具可以迅速地处理最多达到100000个楞边，而且最大限度的防止了混
乱节点的产生；当一个节点得到焦点时，HyperView允许用户看到更多这个焦点节点周围的内容。

3、Otter工具
Otter是CAIDA用来把网络数据可视化的工具。

能把那些可以表示为一些节点、链接或者路径的数据可视化。

他具有丰富的图形交互功能，允许整节点位置，图形的缩放，根据图形属性进行染色等。

2.2 常用的八种数据可视化方法
大数据时代大数据本身的安全成为一个新的安全挑战，但与此同时大数据技术也为信息安全技术的发展起到极大推动作用，例如数据可视化技术和方法的引入可以大大提高信息安全的预防、侦测和事件响应等环节的效率。

俗话说一图抵万言，本文我们将介绍高效信息安全团队常用的八种数据可视化方法。

一、层级树状图（Hierarchical Tree Map）
层级树状图能以空间顺序非常直观地展现排名，例如展示IP地址和面向对象设计的类库等。

层级树状图的单元通过颜色、尺寸和位置的不同体现排名。

WatchGuard通过以上这个层级树状图来高亮流量中有关活跃用户及其连接最关键的信息，而且还能进一步细分和过滤。

二、关系图Link Charts
关系图的繁简程度视具体需要而定，主要功能是用于展示不同实体之间的关系，这在分析网状关系时非常有用。

在安全分析领域，关系图能够有助更好地理解欺诈交易和网络监控数据。

三、图形匹配（Graph Pattern Matching）
图形匹配能快速发现行为趋势。

例如在21CT的这张可视图表中，恶意数据抽取行为一目了然，外部机器（标记为旗帜）试图访问的内部机器（蓝色终端）闪电图形将触发警报。

四、3D可视化
3D可视化能够直观展示复杂攻击关系，大大节省安全分析人员的事件。

例如，OpenDNS的研究人员通过3D建模观察赎金木马Cryptolocker的多个域，来判断该木马造成的危害范围。

五、时间线
取证专家在分析事件时可借助时间线这种可视化方式更好地了解时间按的发展进程。

虽然并非安全专用工具，但是i2的Analyst Notebook产品，提供了时间线功能（上图），以及其他一系列可视化工具。

事实上i2的很多可视化工具完全可以为网络安全专家和情报专家在分析中使用。

六、地理信息可视化
基于地图的可视化方法有助于安全运营中心和研究人员标记地理攻击模式。

例如Arbor网络的DDoS攻击地图，通过与Google Ideas的合作，以可视化互动的方式展示DDoS攻击的历史和趋势（数据来自Arbor网络的ATLAS全球威胁监控系统）。

七、平行坐标标记（Parallel Coordinate Plots）
平行坐标标记能有效处理网络分析产生的大数据集，是非常强大的网络数据的可视化方法。

上图是安全可视化专家Raffeal Marty绘制的网络日志数据图。

八、标准图表
虽然可视化技术听上去很酷，但是普通的标准图表的影响力不容忽视，例如柱状图、饼图、流程图等等，灵活使用也能发挥巨大作用。

2.3 本章小结
本章详细介绍了网络信息安全可视化的8种常用形式，并在此基础上给出了网络信息安全可视化系统的设计方案流程图，说明了网络信息安全可视化的具体步骤。

第三章基于大数据的网络安全信息可视化系统关键技术
本章对基于大数据的网络安全信息可视化系统做了详细的分析和设计。

简要概述了本系统的设计原则。

然后对本系统结构设计做了简单描述，本系统基于MVC设计模式，实现了各模块间的低耦合，便于扩展。

3.1用户接口与体验
用户接口视觉效果的好坏，直接影响用户的体验，视觉效果设计涉及屏幕的布局、色彩的使用、信息的安排等。

3.1.1主界面设计
本文设计的可视化网络系统IDS View 的界面，在图形选择上采用了近年来。