基于态势感知技术的网络安全主动防御体系

北京京能信息技术有限公司（简称“京能信息”）是北京能源集团有限责任公司（简称“京能集团”）旗下的全资子公司，主要开展基于大数据态势感知技术的大型企业集团网络安全主动防御体系的研制以及大数据智能安全防御技术研究与应用，同时进行大数据智能安全防御平台功能的开发。

京能信息通过综合应用大数据、人工智能、云计算等新一代信息技术，对网络安全全面感知和数据采集、自动检测和分析、基于大数据智能安全平台的安全态势预测、终端管控及内网分区分域方法等进行研究与应用，通过对全集团范围网络安全态势的全面实时感知和分析，为网络安全技术人员提供可识别、可操作的网络安全防护建议，预测可能发生的网络安全事件并提前主动采取防护措施，实现全集团范围内终端计算机分级统一管
控，确保各项网络安全策略统一下发、
集中监测和分级管理，推动京能集团
网络安全防护由被动边界防守向主动
纵深防御转变。

一、实施背景
“没有网络安全就没有国家安
全，没有信息化就没有现代化。

”党
的十八大以来，以习近平同志为核心
的党中央高度重视网络安全工作，提
出了一系列关于网络空间治理的新
理念、新思想、新战略，为新时代网
络空间治理提供了根本遵循和前进
方向。

近年来，随着网络入侵行为成规
模、复杂化演进，国家间信息对抗形
势日趋严峻。

这对各组织机构提升网
络安全保护能力，维护国家网络安全
提出了新的、更高的强制性要求。

对于各种网络攻击和骚扰，国内
相当一部分政企单位的网络安全管理
工作并不具备态势感知能力，导致业
务数据泄露风险剧增。

态势感知技术能够主动收集动
态的网络态势信息，分析并准确预测
帮助管理员做出准确防御和应急性决
策，有助于快速发现政企单位防御体
系的安全威胁，特别是高级持续性威
胁以及横向渗透传播威胁，适用于目
前超大规模的网络管理。

安全管理人员应用该项技术，通
过自动化、半自动化的方式，能够对
各类网络威胁及时进行处置，且可以
将全网安全态势指标在态势大屏进行
全面展示。

二、主要做法
京能信息构建基于态势感知技
术的网络安全主动防御体系，遵循
基于态势感知技术的网络安全主动防御体系
创造单位：北京京能信息技术有限公司
主 创 人：金生祥　梁锦华
创 造 人：胡耀宇　王佳茗　柳泓羽　张　翀　李亚东　李　阳　秦传杰
［摘　要］随着互联网的飞速发展，网络入侵行为日益严重，维护网络安全已上升到国家战略。

如何提升网络安全保护能力？北京京能信息技术有限公司以确保京能集团网络安全为终极目标，利用大数据、人工智能、云计算等新一代信息技术，对网络安全全面感知和数据采集、自动检测和分析、大数据智能平台安全态势预测、终端管控及内网分区分域方法等进行研究，构建并应用了基于态势感知技术的网络安全主动防御体系，对终端计算机进行分级统一管控，有效提升了京能集团及各单位信息系统的网络安全监测和安全运营能力。

［关键词］网络安全；态势感知技术；大数据
Classic Case 经典案例
“整合资源，信息共享”“统一架构，业务协同”的原则，依托海量数据，运用大数据、数据融合等新技术手段，基于现有基础设施，整合多方资源，采用面向服务架构（SOA)及服务组件架构（SCA)进行标准化体系接口设计，完善态势感知系统的功能。

建立一套网络安全态势技术成熟、拟合度高的技术以支撑网络安全主动防御体系高效运行，不仅要考虑当前的业务需求，还要具有一定的行业领先性。

（见图1）
（一）多源异构数据融合技术
数据是大数据分析的基础，对高价值数据进行分析往往会事半功倍。

梳理大数据分析在数据方面所面对的现实问题，主要有以下几个方面：
1.来源多
京能集团业务数据、基础数据资源、系统日志、设备日志等，都随着业务的变化而变化。

2.组成乱
数据资源包含结构化数据，普遍结构乱、形式不一，如MySQL、Oracle 等；半结构化数据，XML、CSV等以及非结构化数据。

3.质量碎
数据往往以孤岛或碎片化的形式存在，缺少关联、语义不明确甚至缺失。

对于上述问题，需要一种能够处理、整合多源异构等复杂形态的数据归一化模型，将不同形态、杂乱无章的数据整合成统一的样式形态。

同时，基于该数据整合模型，以“人”“事”“物”等数据分析为主体、实现数据的大串联、大融合，将原来孤立的“点”数据、“面”数据、“条”数据融合成一定空间、时间范围内的“块”数据，做到价值的萃取，形成业务可用的大数据。

将多源异构的数据融合技术运用在系统的数据治理融合层，通过体系化的数据治理方法论，结合基于模型
驱动的数据治理技术，用以提升数据
质量，便于数据分析建模的建立。

（二）数据治理融合分析架构
作为系统基础且最为重要的支撑
技术，分布式存储技术的路线选择需
要慎重与严谨。

在技术选型中，主要
体现在大数据存储中的稳定性、高可
用性以及可灵活扩张的特性。

应用分布式存储技术能够实现结
构化及半结构化数据的统一存储，兼
容传统的关系型数据库以及SQL访
问模型，同时支持对海量数据的在线
实时流式处理框架和离线分布式计算
框架。

分布式数据库面向时序数据和小
文件数据存储进行深度优化，支持第
三方存储引擎和传统关系型数据库的
无缝接入；支持海量混合数据的统一
存储管理和在线离线一体化查询；支
持可插拔安全算法模块和主流分布式
计算框架；支持跨库、跨源、异构数
据库之间的跨库访问和关联查询，解
决了多系统交互时对海量混合数据统
一管控的问题；支持多源异构混搭数
据间基于规则导向的高可靠近实时数
据同步。

主要功能包括：
1.大数据采集存储和分析处理
满足采集海量数据储存需要，如
流量信息、设备状态、链路状态等；
满足大规模结构化流式数据的并发能
力、吞吐量、低时延的高要求。

2.分层架构、模块化设计、多场
景支持
采用模块化的设计思路，在数据
访问层、数据路由层和数据存储层都
提供多种高内聚、低耦合的模块，通
过这些模块的灵活搭配，分布式数据
库表现出不同的技术特征，从而能够
适应不同的业务场景。

3.在线检索和离线分析一体化
通过配置分布式数据库，可同时
支持高速数据写入；通过在线交互访
问、实时查询以及高并发大数据集查
询在内的各种访问方式，以适应在线
检索和离线分析等不同业务场景。

4.混合数据支持
分布式数据库支持与传统关系型
数据库Oracle、MySQL等联合访问。

图
1　网络安全主动防御体系
业务系统可以把部分表建在Oracle 或MySQL 上，把部分表建在分布式数据库上，然后透明地访问这些表，包括在这些表之间进行join 、union 等操作。

5.跨域、多数据中心支持在保证数据一致性的前提下，分布式数据库支持多数据中心或多数据集群之间近实时的跨域数据同步复制，实现系统的跨域多中心部署模式。

总体处理性能，数据读写、扫描等随集群规模扩展线性增长。

6.分布式存储
布式存储采用分布式块存储软件技术的Server -SAN 在I/O 能力、部署速度和扩展性方面己验证优于传统块存储技术（例如FC -SAN/IP -SAN)。

分布式存储技术用于系统架构的大数据组件当中，使系统能够实现高效的数据采集和检索能力。

（三）分布式并行计算技术安全监测预警及处置服务平台的大数据分析应用离不开高性能计算技术。

之所以选择分布式并行计算技术主要是因为传统的串行计算技术一次只能执行一个计算指令，与其相对应的并行计算技术能够做到一次执行多个指令的算法，即同时使用多种计算资源解决计算问题，有效提高计算机系统计算速度处理能力。

其中，分布式并行计算技术能够充分发挥大数据计算集群的优势，在空间上使用分布式集群的多个处理器并发执行计算。

在选择采用分布式计算技术时，充分考虑对各种数据存储技术的支持度以及数据模型的支持，做到高效、稳定与易用。

（见图2）
分布式并行计算技术具体体现在以下三个方面：
1.分布式数据总线技术
本期工程需要接入多种来源、多种格式、多种形态的数据，并且由于多个业务应用需要可能会使用相同的业务数据，因此系统需要具备海量消息的接入、比对、交换和共享能力。

数据总线是针对该需求而设计，主要实现对于实时消息、离线文件、数据库等多种形态数据的高效实时接入；同时支持对接入数据进行数据比对，即接收到数据后，对数据进行解包、日志比对，然后进入数据总线；支持多个业务应用从数据总线消费获取消息。

实现了各系统对于原始数据、结果数据的高效安全的共享和交换，以及各系统间实时消息的快速流转，为资产及运行状态数据、态势信息及情报数据、安全事件信息和流量元数据的查询和关联分析提供基础支撑。

2.分布式数据计算
系统需要进行海量数据的高效筛选、精简和关键数据提取等操作。

数据实时处理用于支持资产及运行状态数据、态势信息及情报数据、安全事件信息和流量元数据等业务数据的实时处理和分析。

分布式实时处理服务器主要对接入的资产及运行状态数据、态势信息及情报数据、安全事件信息和流量元数据等数据进行在线实时处理，采用分布式架构，可通过增加服务器提升系统处理能力。

3.分布式业务分析支撑
数据存储上承载多个数据综合分析业务，这些分析业务对资产及运行
状态数据、态势信息及威胁情报数据、安全事件信息和流量元数据等进行数据挖掘、关联分析，以发现价值数据。

这些综合分析业务会用到很多共同的数据挖掘、机器学习基础算法，例如分类、聚类、线性回归等，为了避免重复的部署数据挖掘和机器学习算法包，需要在业务数据存储系统上提供一套基础的算法包，提供给多个分析业务系统共用；另外某些复杂的数据分析业务需要多个算法进行组合分析，以完成对于价值数据的提取，支持对于多算子分析任务的调度和执行管理等。

分布式并行计算技术主要体现在系统的数据应用层，运用多种分布式计算模型针对监测到的各类信息数据进行分类、聚类、关联分析及数据挖掘，从中发现安全风险，汇总出安全事件。

（四）基于SOA 技术架构SOA 是一种组件模型，它将应用程序的不同功能组件（服务），通过“服务”之间的良好接口联系起来（也就是“服务”之间的松耦合）。

接口是采用中立方式进行定义的，独立于实现“服务”的硬件平台、操作系统和编程语言。

构建在各种各样系统中
的“服务”可以以一种统一和通用方
图2　分布式并行计算
Classic Case 经典案例
式进行交互。

松耦合的好处是保证系统灵活性，且还可以保证“服务”的重复利用。

实现SOA，必须要有以下四个因素：服务使用者、服务提供者、服务注册中心、协议。

此处指的服务是逻辑实体，由一个或多个己发布接口定义的契约。

1.服务提供者（或生产者)
实现服务规范软件实体，就是平台管理与维护者，通过在服务注册中心将所提供的服务与要求的合同进行注册并发布出来。

2.服务使用者（或请求者）
调用服务提供者提供的软件实体。

通过服务注册中心寻找符合自身的服务。

3.服务注册中心
相当于一个服务信息的数据库，为服务提供者与服务消费者提供一个平台，使两者可以各取所需，同时服务注册中心要有一个通用的标准，使服务提供者提供的服务符合这个标准，这样，服务使用者使用的服务才可以跨越不同的服务提供者。

4.协议
是服务提供者与服务使用者之间的一种契约。

基于这样的面向服务的体系结构，服务使用者甚至不必关心与之通信的特定服务，因为底层基础设施或服务“总线”将代表使用者做出适当的选择。

基础设施对请求者隐藏了尽可能多的技术。

SOA技术架构是系统数据总线，用于各模块间的数据流转及使用调度，使得各子系统间的功能能够协同运作，使平台各功能模块形成一个有机整体。

（五）WebService技术
WebService是一种以SOAP为轻量型传输协议、以XML为数据封装标准、基于HTTP的组件集成技术。

WebService主要是为了使原来各孤立的站点之间的信息能够相
互通信、共享而提出的一种接口。

WebService所使用的是Internet上统
一、开放的标准，所以WebService可
以在任何支持这些标准的环境中使
用。

WebService技术有助于大量异构
程序和平台之间的互操作性，从而使
存在的应用程序能够被广泛的用户
访问。

SOAP技术是WebService的核心，
它以XML的标准格式封装数据包，
其中封装的沟通信息是以文本方式来
表达的，并且遵循标准的封装规则。

这意味着任何组件模型、开发工具、
程序语言和应用系统只要支持XML
和文本格式的数据，就可以顺利地使
用该技术。

WebService技术是系统开放的标
准API接口，用于对接第三方应用系
统数据使用，在系统联动过程中共同
约定接口协议及调用数据类型，方便
安全监测预警及处置服务平台对第三
方应用系统数据的采集、分析和应用。

（六）全文检索技术
全文检索技术是安全监测预警及
处置服务平台的核心基础功能，其基
础要求是根据搜索条件快速、准确的
匹配命中数据对象，为安全分析人员
提供高效准确的分析工具，以便能更
加快速的发现安全风险。

因为大数据系统往往采用分布
式存储技术，所以全文检索技术的选
择必须能够支持主流的分布式存储系
统。

同时，分布式并行计算系统的支
持也是在技术路线选择中必须考虑的
因素，需能够做到对并行计算框架的
无缝对接。

由于测评系统的大数据分
析功能对数据搜索准度、实时性与多
样性的要求，这就要求检索技术需支
持基于关键词、数值范围、日期范围
等各种复杂的搜索功能。

全文检索技术采用倒排索引的
结构达到快速全文检索的目的。

倒排
检索是实现“单词”“文档矩阵”的
一种具体存储形式，主要由“单词词
典”“倒排文件”两个部分组成。

通
过倒排索引可以更加快速的获取包含
这个单词的文档列表，倒排索引。

全文检索技术运用在安全监测子
系统中，主要用于对监测数据的检索
查询，通过查询安全分析人员能够实
现对安全事件的细致分析，并将有效
数据运用于模型建立当中。

（七）关联分析可视化技术
数据关联分析即线索扩线，是一
个从有限的数据线索向未知数据进行
挖掘探索的过程。

关联分析可视化技
术的选用，数据分析人员需要在各类
数据库中反复比对、查询、线索串联、
运用可视化关联分析技术能够以图形
化界面、流畅交互操作等形式将枯燥
的数据分析变得生动，能够在很大程
度上提高数据分析员的工作效率。

在
可视化技术选择上，能够突出数据关
联关系的特征，便于分析人员理解。

同时，数据统计等可视化辅助功能能
够帮助分析员理解数据含义，提高工
作效率。

通过数据清洗、要素提取融合，
系统实现多要素多维度的关联分析，
从僵尸网络、木马、蠕虫、勒索软件、
漏洞攻击、WEB攻击、DDOS攻击、
恶意通联关系、恶意样本、恶意通信、
恶意邮件、恶意域名、APT攻击等安
全事件入手，运用关联分析技术完成
态势可视化展现，构建由微观到宏观
的态势分析，形成感知互联网安全攻
击态势变化的能力。

关联分析可视化技术用于系统的
数据分析层，主要作用是将多源异构
数据通过关联分析模型串联起来，找
到各类数据源之间的关系，并通过可
视化技术进行最终呈现。

（八）溯源分析可视化技术
在处理和分析互联网事件时往
往需要从海量的数据里查找有用的
线索，这不仅是对存储、索引、计算
技术的挑战，也是具体分析工作面
临的现实困难。

呈现在列表式表格中的大量数据，难以发现数据的模式、趋势和关联关系等分析重要要 点。

（见图3）
目前，已知的对人类认知最有效的方式就是通过视觉感知，数据可视化就是用来解决上述问题的最佳方案。

1.数据可视化能快速进行复杂信息的交流
可视化在最小化数据细节特征损耗的同时，可以在数秒钟快速呈现上百万个点信息，非常适合与统计信息呈现。

具体到本项目，对本地威胁态势全局信息的展示就非常适合采用可视化的方法，可以快速地掌握趋势、热点等重要信息，对从全局把握网络安全态势有着不可替代的作用。

2.数据可视化能识别潜在模式一些模式特征通过统计学方法或者扫描数据的方式难以发现，却可能
通过可视化方法被揭示出来。

而当在可视化展示数据的时候，存在于单个变量中的模式或者多个变量之间的关联关系就可以呈现出来。

数据可视化的这个特点特别有利于在网络事件调查过程中使用，通过一点线索，利用可视化分析方法，可以发现、呈现出更多和它有关联的其它信息点，达到拓线、进而溯源事件的目的。

溯源分析可视化技术用于数据分析层，是安全监测预警及处置服务平台的一类重要分析技术，主要用于对安全事件的追踪溯源，通过溯源可视化分析方法帮助管理人员准确发现攻击背后的真正意图。

（九）威胁情报生成技术威胁情报的生成是一个复杂的过程（见图4），需要具备多种能力才有可能完成，一般可以分为如下八步：
1.数据收集
这是关键的一步，决定了产生的
情报是否能最全面的覆盖威胁，因此往往需要聚集多种不同来源的情报数据（包括但不限于样本数据、黑客团伙相关数据、DNS 相关数据、WHOIS 相关数据、僵尸网络相关数据等），以保证情报质量。

2.数据清洗
将以上数据根据后续加工的需要进行整理、去除不可信数据、将关键数据结构化等过程。

3.数据关联
数据关联是数据验证的前提条件，通过数据关联梳理不同类型数据
间的关系，如样本、样本不同方式的检测分析结果、样本的网络行为、域名注册者、域名指向的IP 、IP 上面的其它域名等。

4.验证
通过建立了关联关系的数据，再利用机器学习的方式（有可能结合部分的人工分析）对情报的准确性进行
验证，并赋予相应的可信度指标。

这也是决定情报质量关键的一步。

5.上下文
包括如攻击类型、样本家族、攻击团伙、攻击目地、传播渠道、具体危害等报警响应需要的内容。

6.优先级
根据攻击目的、具体危害等信息，确定报警优先等级信息。

7.格式化
根据分发的要求，将情报以特定的格式输出，如：STIX 、openlOC 、JSON 、xml 等，非MRTI 类型的情报还可能以PDF 、word 等类型提供。

8.情报分发
根据不同类型情报的用途，可以推送给安全产品、打包供下载、或者邮件发送。

威胁情报生成技术使用在数据治理融合层和数据分析层，在数据治理融合层主要解决情报信息的收集、格式化、清洗及情报分发等问题，在数据分
析层实现情报信息的验证和关联分析。

图4　威胁情报生成
Classic Case 经典案例
图3　溯源分析可视化
三、实施效果
根据集团总部网络安全的现状，通过对全面感知和采集技术、自动检测和分析技术、基于大数据的安全态势预测技术、终端管控技术、内网分区分域方法的应用，全面感知全集团网络状态和分析网络安全态势，为运维人员提供可识别、可操作的网络安全防护建议，对可能发生的网络安全事件主动采取防护措施，同时加强终端计算机和内部网络的防护水平。

（见图5）
（一）减少集团运营成本
网络安全设备集中部署，降低机房能源消耗，实现低碳环保，降低大数据智能态势感知平台和终端安全管理系统建设及运维成本50%以上。

（二）增强集团网络防护能力
通过集团统一部署大数据智能态势感知平台和终端安全管理系统联动，可以及时发现网络安全威胁，避免类似勒索病毒、震网病毒、人为攻击等带来的直接破坏，可以实现积极防御，以及对事故隐患、危险源的全面监控，能最大限度的减少事故发生的可能性，每年避免因网络安全事故引发的生产事故可能造成的上千万元的经济损失。

（见图6）
（三）减少网络安全事故损失
如果京能集团ERP、费用报账等业务系统感染勒索病毒或被人为手段攻击，可能造成线上业务全面瘫痪，每天直接损失近百万元；如果电厂、煤矿、供热锅炉房等生产区受到类似震网病毒或人为攻击，可能对生产系统带来致命影响，例如DCS系统受到破坏，可能直接导致发电机物理破坏，直接损失超过上千万元；如果乐多港、客服等对外服务系统受到网络攻击，可能造成客户信息泄露、客户资金损失、客服系统中断，带来难以估量的后果。

通过构建基于态势感知技术的网络安全主动防御体系，极大地提升
了京能集团及所属单位的网络安全保护能力，减少了网络安全事故造成的
生产事故损失。

（见图7）
（四）为民生发展保驾护航
建设大数据智能态势感知平台，
有效的提升了京能集团及各单位信
息系统的网络安全监测和安全运营能
力，从而保障各业务系统的稳定运行，
并保证国企单位信息化的持续稳定发
编辑/温碧琳 统筹/苏晓图7　威胁预警态势
图
6　增强网络防护能力
图5　态势可视化。