NPM网络流量分析平台技术实施方案

NPM网络流量分析平台技术实施方案

目录

1背景分析（需求分析） (4)

2网络流量分析方案 (5)

2.1概述 (5)

2.2产品架构及层级 (5)

2.3数据采集方式 (6)

2.4数据存储方式 (7)

2.5NPM呈现方式 (8)

3性能管理方案设计 (8)

3.1设计原则 (8)

3.1.1安全性 (8)

3.1.2扩展性 (9)

3.1.3可用性 (9)

3.1.4先进性 (9)

3.2方案设计 (10)

3.2.1部署架构图 (10)

3.2.2数据捕获点设计 (10)

3.2.2.1网络拓扑 (11)

3.2.3部署阶段性考虑 (11)

4性能管理方案功能 (14)

4.1仪表台 (14)

4.2视图 (15)

4.2.1链路视图 (15)

4.2.1.1链路吞吐率 (16)

4.2.1.2应用协议构成 (16)

4.2.1.3主机流量TOPN (17)

4.2.1.4TCP flow会话对TOPN (17)

4.2.1.5响应时间占比 (18)

4.2.1.6TCP指标 (18)

4.2.2设备视图： (18)

4.2.3服务路径视图 (21)

4.2.3.1概览 (21)

4.2.3.2站点视图 (21)

4.2.3.3自动故障诊断 (22)

4.2.3.4指标统计分析及追踪 (25)

4.3告警设置和告警模拟功能 (31)

4.4发现功能 (32)

4.4.1站点发现 (32)

4.4.2应用发现 (33)

4.4.3自动发现知名应用的操作方式： (33)

4.4.4服务路径发现 (35)

4.5报表 (38)

5平台性能管理方案优势及价值 (39)

5.1优势总结 (39)

5.2价值与收益 (40)

5.2.1面向日常工作场景的视图 (40)

5.2.2无与伦比的可视性 (40)

5.2.3沉浸式工作流界面 (40)

5.2.4站在统一视角进行运维和排障 (41)

5.2.5自动诊断能力 (41)

5.2.6与统一运维平台整合 (41)

6项目交付计划 (42)

6.1项目管理组 (42)

6.2工程实施小组 (42)

6.3实施时间安排 (42)

6.4实施人员安排 (44)

1 背景分析（需求分析）

随着业务的持续增长，用户数量逐年增加，为了适应业务的需求，IT设施也在不断地完善和扩建。网络线路、网络设备和服务器等基础设备的不断增加，使得整个网络结构变得非常庞大而且复杂。此外，许多关键的业务系统，往往包括了网络线路、网络设备、前端应用服务器、中间件、数据库和存储等软硬件设施，这在一定程度上也增加了监控和管理的难度。

为了解决该些困难，现计划在原有网络流量分析系统的基础上，增强基于应用的网络流量分析能力，希望能够理清网络中各类应用服务器之间的关联，并且根据网络流量中的数据包的各类指标，进一步分析网络、系统及应用的运行情况，及时检测到可能存在的故障。

本文阐述如何使用Crossflow NPM方案解决以上的管理需求

2 网络流量分析方案

2.1 概述

Crossflow NPM 用人以为本的理念为网络部门量身打造了新一代网络性能管理系统，充分利用网络数据包建立覆盖重要链路、关键设备端口、核心服务的全面监控视图，并且按照网络部门的工作流程组织功能与操作，使其能够广泛适用于各种需要场景。以服务为导向的网络性能管理方法使Crossflow NPM 能够直接体现网络基础架构对业务应用的支撑能力，为评估、判定网络服务质量提供可以信赖的数据依据。依托真实的网络流量，快速发现、定义应用，梳理服务路径，并提供数据正确性、变更结果验证能力，大大提升网络流量的可视化覆盖率和工作效率。运用先进的数据统计分析技术，发现、告警模拟等功能极大简化了过去繁冗复杂的操作过程。

2.2 产品架构及层级

NPM3 产品架构由3部分组成：数据采集、SP（Smart Probe）和NPM Server。SP负责网络数据处理，包括数据存储和数据分析统计。NPM Server由6大功能模块组成，分别是仪表台、视图、告警、报表、发现、管理。

2.3 数据采集方式

监控完整全面的重要链路、关键设备及核心服务，数据采集应该覆盖到多个设备前后的流量，需要在多个点做交换机数据镜像。当来源交换机较多，可以通过以下2种方式进行流量汇聚。

1.TAP + Packet Engine

当网络带宽利用率偏高，使用TAP做流量汇聚能保证镜像数据不会丢包，比SPAN更理想。Packet Engine是Crossflow产品家族中专门用来汇聚和梳理来自TAP或镜像的流量并提供给上层产品（NPM/BPC）使用的一款硬件设备。

2.SPAN + Packet Engine

当网络带宽处于低利用率，镜像数据不丢包的前提下，使用SPAN是低成本的首选。

PacketEngine输入输出示意图

多节点应用端到端监控部署示意

2.4 数据存储方式

NPM3支持2种原始数据存储方式，针对不同的应用，可选择是全包存储，还是截取包头一部分存储。

同时，所有的原始数据可以选择压缩保存，来提高I/O资源利用率。

2.5 NPM呈现方式

用户通过访问Web浏览器访问NPM监控主界面，进行仪表台监控、视图操作、配置和告警查看等。

目前支持Firefox和Chrome浏览器。

3性能管理方案设计

3.1 设计原则

3.1.1安全性

从数据源层面来说，NPM3解决方案完全通过旁路方式获取所需数据，对生产应用和网络没有风险和影响，具有极高的安全性。从数据采集层面来说，SmartProbe接口不配置IP地址，因此无IP栈，在网络上是隐形的，安全的，无法向网络发回任何数据，因此不会对网络和网络上的主机产生任何影响。从系统层面来说，NPM3运行在64位Linux 平台上，本身具备很高的安全性和可靠性，而产品本身具有完备的用户权限控制，也最大程度地提高了用户访问安全性。