网络流量监测分析及可视化--中国科技网全网网络流量分析系统培训

流量采集和保存关键技术
• Netflow海量数据采用文件作为临时数据保持格式，数据 批量导入数据库 • 增加最近时间段的的数据库快表，获得最近5分钟，一个 小时，一天，一个月的数据统计结果，提高热点关注数据 的查询效率 • 采用分表的方式，将不同颗粒度数据进行保存，保证长期 数据存储和查询速度
引入虚链路
虚链路：虚链路相对于交换机，路由器网络中的链路，通常，2个设备端口形 成一条链路。虚链路指可以将链路进行相加，形成逻辑意义上的链路，即虚 链路。 China：国内所有所有出口线路 Foreign：国际所有出口线路 Gloriad：Gloriad所有线路 All Border：国内和国际所有出口线路
文本 表
user1 user2
2612597673600 10688049000
2640897130800 8927868600
5253494804400 19615917600
user3
user4 user5 user6
54381476600
766579973300 2947147088800 72153578000
处 理 层
缓存服务 数据处理 器 流接收器 netflow
DPI设 备
•
数据处理 器 DPI流接收 器 • • •
网 络 层
•
DPI（深度包检测）探针应用于流量分析
与Netflow比较
DPI探针通过镜像方式获得流量信息，不依赖路由器 Netflow的配置，不依赖路由器的硬件基本配置 DPI探针可以为软件或者硬件，根据网络浏览级别大小选 择 DPI探针获得的应用流格式不固定，统一的处理程序不适 用 DPI探针流格式中间增加网络应用信息字段，应用信息通 过应用分级获得不同的应用分析效果 DPI探针数据量大于Netflow，需要在处理时增加采样， 并采用分布式数据库进行数据处理和保存
49254297300
861216720300 3381686944000 47381412000
103635773900
1627796693600 6328834032800 119534990000
越 来 越 高 效 洞 悉 网 络
流量可视化技术介绍
• 数据可视化（Data Visualization）技术指的是运用计算 机图形学和图像处理技术,将数据换为图形或图像在屏幕上 显示出来,并进行交互处理的理论、方法和技术。它涉及到 计算机图形学、图像处理、计算机辅助设计、计算机视觉 及人机交互技术等多个领域。 • 流量可视化：即网络流量的信息可视化。我们可以通过数 据可视化技术，发现大量IP地址、通信机构和不同应用隐 含的规律，从而为决策提供依据。
可视化开发包
• Jfreechart，java包，方便使用，对于复杂的图形绘制， 每个参数需要设置，对使用者要求比较高 • Flex chart，Adobe自带包，需要对Flex开发比较熟悉， 包中提供了各种丰富的图表控件以及灵活的控制参数，可 以制作动态flash报表 • Google Map 和Google Earth开发包，在程序中间可以 方便的嵌入开发包，目前提供了flex，JavaScript，flash 等接口包
动画报表工具举例
• Open Flash Chart ：http://teethgrinder.co.uk/openflash-chart/，完全开源免费 • Fusionchart：http://www.fusioncharts.com/ 非开源，具有免费使用版本 • Anychart：http://www.anychart.com/home/ 非开源，可以下载使用，生成报表附Logo • Amchart： http://www.amcharts.com/ 非开源，可以下载使用，生成报表附Logo
全网流量分析系统架构设计
应 用 层 网络气象 图 链路分析 科研流量协作分析
研究所 管理者
研究所分析
WEB Service 中间服务层 数据库
主机活跃度分 析 统计报告 • • • 科研流量 协作分析 应用分析 Top IP地 址分析 Top IP地 址对分析 记账信息 主机活跃 度分析 分院统计 报告 研究所统 计报告
多次为院信息化专家组演示系统功能，得到了专家 的指导和肯定！
目前系统上线运行正常，已经为全院的研究所开放 了账户，多个研究所使用后，评价系统功能强大， 很方便使用！
全网流量分析系统解决的关键技术
• • • • 高速链路流量实时捕获技术 深度包监测技术 海量数据高性能处理与存储技术 创新可视化流量展现
--中国科技网全网网络流量分析系统培训
网络流量监测分析及可视化
报告提纲
• • • • 全网流量分析系统简介与目前使用情况 流量分析技术介绍 可视化技术介绍 全网流量分析系统系统使用培训
全网流量分析系统简介与目前使用情况
全网流量分析系统项目背景介绍
• 网络带宽持续增长的原因对管理者未知
用户网络流量 带宽饱和状态
• 科研应用信息化程度对管理者非常重要 • 利用网络进行科研数据交互的国外科研机构是研究所的重 要资源
பைடு நூலகம்
各种国际科研研究机构和网络机构
全网流量分析系统项目背景介绍
• 网络管理者需要获得使用网络的详细情况
分析网络流量
中国科技网全网流量分析系统
项目介绍
应用组
成
统计报 告
科研流
流量分析
全网流量分析系统从各个角度和深度分析科 技网流量应用组成，用户使用习惯，科研流 量去向等，为院和研究所信息化领导，科技 网中心管理者、研究所网络管理者提供信息 化管理工具
院“十一五”信息化项目 中国科技网网络中心研发部自主开发
量协作 分析
网络行 为
全网流量分析系统建设大事表
• • • • • • 2008年12月份-2009年2月份，需求调研 2009年3月份-8月份，系统设计和开发 2009年8月份-10月份，系统测试 2009年10月份-12月份，新增功能设计开发 2010年1月份-3月份，系统测试 2010年3月份-至今，院内研究所开放使用。
流量可视化
静态图 交互图
可视化成就网络发展
user1 user2 user3 user4 user5 user6 2612597673600 10688049000 54381476600 766579973300 2947147088800 72153578000 2640897130800 5253494804400 8927868600 19615917600 49254297300 103635773900 861216720300 1627796693600 3381686944000 6328834032800 47381412000 119534990000