大数据日志分析

ParaAnalytics LA 大数据日志分析

关于派拉

派拉日志分析介绍

公司成立于2008年,总部位于上海张江,在上海、北京、广州、长春、武汉等地设有服务机构。派拉软件是企业

级I T 管理平台解决方案提供商，专注于身份安全认证、云计算安全、大数据平台及应用。拥有全资子公司“上海安倍思信息技术有限公司”,提供I B M 、C l o u d e r a 、M o b i l e l r o n 、T i b c o 等软件厂商的产品、咨询及实施服务。

拥有国际背景的强大技术团队，辐射全国的本地化专业服务，融合风险管理的资深管理团队。关于派拉派拉概况

关于派拉发展历程

上海派拉软件股份有限公司成立北京分公司成立荣获

“中国信息安全产品创新奖”

新三板挂牌上市

•发布ParaSecure OSC 安全运维管理软件•发布ParaSecure ESC

企业安全管理软件

•完成A轮融资

荣获

“中国创业大奖赛”大奖

•完成B轮融资

•通过CMMI－3级认证

•发布大数据解决方案

•上海市科技小巨人培育企业

关于派拉荣誉、认证、合作

派拉建立了精通机器学习和数据挖掘算法，熟悉Hadoop技术的大数据专家团队，通过Cloudera 认证的人数达到14人次，具备Hadoop管理员，开发员，分析师等多种资质认证。

派拉大数据管理工程师(管理工程师)

派拉大数据认证工程师(开发工程师)

派拉大数据认证工程师(数据分析师)

关于派拉荣誉、认证、合作

派拉基于Cloudera大数据平台自主研发的日志分析软件ParaAnalytics LA获得2016年度中国大数据领域最佳产品奖。

派拉大数据主要客户制造业

银行业保险业互联网政府公安上汽大众上汽集团中国银联人行征信中心华泰证券

陆金所咪咕视讯大连公安

派拉日志分析PLA

基于大数据的运维分析

IT运维面对环境数据多、交易快、种类杂的严峻挑战，在如此巨大的外在压力下，传统处理手段远远跟不上应用规模的发展。

IT运维面临的挑战

▪大型数据中心: 数以千记的服务器+ 网络+ 存储+ 中间件，每天产生大约几TB 的日志、可用性和性能数据

▪互联网金融所带来的Web及移动应用所要求的研发与敏捷开发，产生的数据量则大到难以统计▪每秒交易量可达3000笔+

▪性能与可用性运维覆盖的指标记录，通常每分钟或几分钟在各实例上进行采集，平均每分钟采集与落地的数据达到GB 级

▪由异常侦测产生IT事件量若不经过压缩关联，每秒都会产生

快

多杂

▪网络流量与事务处理▪日志文件▪报警与事件▪性能指标▪核心文件与内存痕迹▪配置文件▪服务请求▪故障通知单▪社交媒体▪库存与资产▪用户文档与技术文档

调研发现，IT 运维数据的价值被企业广泛认同

Source:资料来源：“分析：大数据在真实世界的应用：创新型企业如何在不确定性数据中提炼价值”，IBM 商业价值研究院及牛津大学SAID 商学院

/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDF

运维优化

交易日志事件电邮

IT运维大数据分析（ITOA）定义

•IT运维大数据分析，国外叫做IT Operations Analytics，简称ITOA

•Gartner定义：

Technology or service that collects, stores, presents, and performs deductive and/or inductive inferences about large volumes of IT operations data.

对大量IT运维数据进行采集、存储、展现、进行演绎和/或归纳推理的技术或者服务。

•Forrester定义：

The use of mathematical algorithms and other innovations to extract meaningful information from the sea of raw data collected by management and monitoring technologies.

从管理和监控技术所采集的海量原始数据，通过数学算法及其他创新手段来提取有用信息的运用。

IT 运维大数据分析蓝图

系统画像

运维数据

技术平台

运维主题

基于大数据技术

运维主题

整理当前运维盲点痛点进行运维

打破原有运维壁垒，归纳总结运维场景主动/预测式的方法，建立系统画像。

改变原来的竖井式运维，以运维场景为基础以主动式预测为手段实现智能化运维

运维数据

采集各种运维结构化数据和非结构化数据通过统一接口进行汇总清洗聚合索引完善数据体系建立运维标签和特征引擎

技术平台

开源软件Hadoop /SPARK 大数据技术采用可超百台集群部署X86硬件服务器通过灵活的算法库实现智能化运维

借助系统画像，运维人员可以更直观，更系统的整合运维主题和运维数据，以推动数据中心智能化运维

将大数据分析技术应用于IT 运维的渐进发展模式

监控：现在发生了什么

报告：发生过什么

分析：为什么发生了

预警：

什么将要发生

预防：

如何事先预防或采取对策业务价值

复杂度