网络安全审计设备性能测试方法

用程序等业务产生的日志作为数据源。一条日志或是多条相
互关联的日志构成一个安全事件，对日志进行收集和处理即
可完成对安全事件的分析与审计。
日志分析型设备通过两种方法收集日志：
（1）在分析设备上开启标准的 Syslog 服务，将业务源产生
的标准日志转发至该设备。
（2）对于不具备日志转发或日志功能有所欠缺，但又需要
SHI Lin，HUO Xin.Performance testing for network security audit devices.Computer Engineering and Applications， 2010，46（19）：61-63.
Abstract：Based on the technical principle analysis of network security audit devices，a measurement-based method by using Spirent’s hardware tester for devices’performance are presented and the performance indicators are defined. Experimental results demonstrate that the method is fairly efficient for describing the device performance，map the network traffic to the device performance straightly. Key words：network security；audit；performance test
过测试仪器产生大量业务日志，并通过网络发送至审计设备
的日志收集中心，逐步增加日志发送频率，依次测试并统计处
理率，直至日志处理率高于阈值，或是日志产生的数量达到规
定的上限，即完成测试。
需要注意的是，标准日志服务采用的底层协议 UDP 协议
是一个不可靠协议，并不能保证所有的日志数据包都能准确
地发送至目的地址，所以对于任何设备，做到 0%丢包率都是
日志量 Nrecv与传输时间 Tsum之比，单位为 item/s，即
Qthr=
Nrecv Tsum
（1）
（2）丢包率 Pdrop：为业务源向设备发送的日志量与设备处
理的有效日志量之即
P = drop
Nrecv N send
（2）
用“吞吐量为 Qthr时的丢包率为 Pdrop”来描述设备的性能。
在测试中，模拟日志分析型设备第一种日志收集方法，通
（2）数据出现丢失的情况，则说明“N Mb/s 背景流量下已
经不能保证审计的完整性”。当完全审计不到任何数据时，说
明设备在“N Mb/s 背景流量下审计功能失效”。
这种“大海捞针”式的测试，可以充分对系统的数据过滤性
能进行考察。在测试中，逐步增加背景流量，直至设备完全审计
不到任何信息，或背景流量已达到测试上限，即完成测试。
1 引言
企业信息化进程的加快导致越来越多的网络设备、应用 服务器、数据库服务器部署在企业内部网络中。用户对这些 设备进行的各种操作及设备的自主运行会产生大量分散的日 志，即使是经验丰富的网络管理员也很难直接对这些信息进 行管理。网络安全审计设备将日志与网络行为进行集中管理 和监控分析，有效降低了安全管理负担、提高了系统的安全强 度。与防火墙（Firewall）和入侵检测系统（IDS）相比，网络安 全审计设备对整个网络的安全状况提供了粒度更细、更有针 对性的监控，并可为安全事故的追查提供可信的电子证据。 一个典型的网络安全审计设备的工作流程如图 1。由于网络 规模的不同，这些设备的购买者迫切希望对网络安全审计设 备的正确性和性能进行评测，从而指导购买和使用。目前国 际上还没有针对这类设备的性能描述方法和测试手段。针对 这类设备的特点，在剖析设备工作流程的基础上，参考信息系 统安全审计产品技术要求和测试评价方法[1]等国家标准，提出 了基于测量的网络安全审计设备性能测试方法。
据过滤性能。数据处理性能指网络审计型设备对于所审计的
网络数据的收集能力，即数据吞吐量。由于网络审计型设备
利用镜像端口监听数据的方法来收集所需要的审计数据，这
就使得设备要将需要审计的数据在一定网络背景流量下正确
过滤并加以收集，因此引入了数据过滤性能的概念。网络审
计型设备性能指标如下：
（1）数据吞吐量 Qthr：网络审计设备收集的总流量 Nrecv 与
作者简介：石琳（1982-），男，博士研究生，主要研究方向：网络安全，机器人软件平台设计；火欣（1984-），男，硕士研究生，主要研究方向：网络安全。 收稿日期：2009-05-18 修回日期：2009-06-08
62
2010，46（19）
Computer Engineering and Applications 计算机工程与应用
针 对 上 述 情 况 ，提 出 了 在 测 试 中 引 入 思 博 伦 公 司（Spirent）的 Avalanche/Reflector 设备[6]作为流量发生器，来产生大 背景流量和生产环境级日志量的思路。Avalanche/Reflector 系列产品是一种可以模拟多种网络协议，产生网络流量的专 业网络设备测试仪器，具备模拟生产环境的能力，被广泛应用 于网络互连设备的性能测试中。针对网络安全审计设备的特 点，对 Avalanche/Reflector 设备进行适当的设置，使其满足对 设备测试的需要。
本身在安全性上存在一定隐患，易成为黑客攻击的目标。
通过对日志分析设备特点的分析，可以看出衡量日志分
析型设备性能的关键指标是在大量业务日志涌现的时刻，完
整、准确接受日志数据包并进行处理，存储的能力，即设备的
吞吐量和丢包率。日志分析型设备主要性能指标如下：
（1）日志吞吐量 Qthr：业务源与设备之间互相传送的有效
标 准 ，包 括 ：吞 吐 量（Throughput）、时 延（Latency）、丢 包 率
（Frame Loss Rate）、背靠背帧数（Back-to-Back Frame），系统
回复时间（System Recovery），系统复位（Reset）6 项基本性能
测 试 规 范 ，相 关 术 语 则 由 RFC1242[5] 定 义 。 概 括 起 来 ，
在测试中，逐步增加网络流量，依次测试并统计处理率，直至
丢包率高于测试要求的阈值上限或流量已达到测试设备性能
上限，即完成测试。
对于数据过滤性能指标，性能指标如下：
（1）在背景流量为 N Mb/s 时，设备可以对网络中出现的一
条需审计的数据进行正确过滤与收集，且数据的完整性没有
受到破坏，则称设备“在 N Mb/s 背景流量下可进行正常审计”。
对其行为进行审计的系统，日志分析型设备在目标系统上安
装代理（Agent）软件，由代理软件进行相关日志/行为的捕获，
再由代理软件将信息通过网络发送Hale Waihona Puke Baidu日志分析型设备。
在收集到日志后，设备对收集到的日志进行实时分析产生
安全事件，生成审计记录，并利用多种呈现机制呈现给相关管理
人员。与此同时，设备对原始日志和安全事件进行集中存储并
建立索引机制为日后的查询检索、统计分析工作做准备。
日志分析设备的特点是实现机制简单，获取准确，所获数
据可以作为电子证据使用。由于客户对审计和安全方面的需
求不断增多，现代网络设备、操作系统、应用程序等业务普遍
趋向于提供内容可定制、多样化、分级别、标准的日志获取接
口，从而降低了日志收集整理的难度，使得日志分析型设备成
3 网络流量发生器简介
在以往实验室环境的网络安全审计设备测试中，一般采 用普通主机安装日志发送软件和流量模拟软件在网络中产生
石 琳，火 欣：网络安全审计设备性能测试方法
2010，46（19） 63
日志和背景流量的方法来对设备进行功能方面的测试。对于 性能测试而言，由于主机受到操作系统和软件本身的限制，无 论采用单台主机还是多台主机同时发送，日志的发送频率和 背景流量的大小都不能满足性能测试的要求，统计数据也不 够准确，导致性能测试一直缺乏区分度，对设备的实际吞吐量 和高负载时的表现也未能有一个明确的认识。
2 基于测量的设备性能指标 2.1 范围与方法
基于测量的网络安全审计设备性能测试属于黑盒测试[2]。
数据源 ……
实时收集
实时规 则库
实时分析
集中存储
归档 数据
呈现机制
索引机制
查询检索
统计分析
图 1 安全审计及日志分析设备工作流程图
在测试中，通过向测试设备施加激励那个观测被测设备的外 部行为来了解被测设备的性能。为了在不同的测试结果之间 进行比较，需要对测试激励和被观测量进行统一的规定。
根据业务数据源的不同，网络安全审计设备可分为网络 安全审计型、数据库审计型及日志分析型三种类型[3]。由于主 流的网络安全审计型设备和日志分析型设备都已将数据库审 计的内容包容进去，因此本文主要讨论网络安全审计设备和 日志分析设备的性能指标。
RFC2544[4]定义了网络互联设备最基本的基准性能测试
Computer Engineering and Applications 计算机工程与应用
2010，46（19） 61
网络安全审计设备性能测试方法
石 琳 1，火 欣 2 SHI Lin1，HUO Xin2
1.北京理工大学 机电工程学院，北京 100081 2.北京理工大学 软件学院，北京 100081 1.School of Mechatronical Engineering，Beijing Institute of Technology，Beijing 100081，China 2.School of Software，Beijing Institute of Technology，Beijing 100081，China E-mail：shilin@bit.edu.cn
可以通过对协议的解析来支持特定的网络应用程序。网络审
计型设备通过交换机镜像端口获取网络数据，无需在主机和
系统上部署任何软件，自身安全性得到了很好保证。但随着
各种网络应用逐渐采用密文传输（如 SSH），网络审计型设备
无法直接支持加密协议审计的局限性也暴露出来。
网络审计型设备的性能指标主要包括数据处理性能和数
摘 要：对网络安全审计设备工作流程进行分析，对设备性能指标进行了分类并给出明确定义，在此基础上提出基于测量的性能 测试方法。该方法通过使用硬件测试仪对网络业务流量进行实时模拟，结合设备进行测量。实际测试结果表明，提出的性能测 试方法在业务流量与设备性能之间能够建立显式关联，所使用的性能指标可以有效地对设备的性能进行客观描述。 关键词：网络安全；审计；性能测试 DOI：10.3778/j.issn.1002-8331.2010.19.017 文章编号：1002-8331（2010）19-0061-03 文献标识码：Ａ 中图分类号：TP393
RFC2544 将网络互联设备对性能的标准要求分为实时性、准
确性和有效性三个方面。由于网络安全审计设备和网络业务
本身没有关联，在性能方面并不要求绝对的延时上界保证，所
以本文主要关注设备的吞吐量和丢包率。
2.2 设备工作原理分析与性能指标定义
2.2.1 日志分析型设备
日志分析型设备以网络设备、操作系统、数据库系统和应
为市场的主流和发展趋势，也使该类设备的技术重点由收集
整理逐步走向数据挖掘和数据分析。但另一方面，实际生产
环境中经常存在着很多不具备日志功能的老式设备与应用程
序，出于安全性方面的考虑，不便在其上安装 Agent 软件，面对
这种情况，日志分析型设备很难有所作为，此外，日志分析型
设备需要在网络中暴露日志收集接口，使得日志分析型设备
传输时间 Tsum之比，单位为 Mb/s，即
Qthr=
Nrecv Tsum
（3）
（2）丢包率 Pdrop为网络审计设备收集到的流量 Nrecv与交换
机实际流量 Ntrans之比，即
P = drop
Nrecv Ntrans
（4）
同样用“吞吐量为 Qthr时的丢包率为 Pdrop”来描述设备的性
能，一般而言，随着流量的增加，系统的丢包率呈上升趋势。
不现实的。
2.2.2 网络审计型设备性能指标定义
网络审计型设备通过交换机、路由器的镜像端口观测网
络流量、按过滤策略提取相关数据流，经过协议分析和应用层
数据还原再现网络操作，进而产生安全事件，生成审计记录和
审计响应。网络审计型设备主要对遵循标准协议的网络应用
进行鉴别和审计，包括 Telnet、FTP、HTTP、POP3、SMTP 等，更