集团企业大数据平台建设综合解决方案

日志没有被集中统一管理
查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看
日志主要用于事后问题追查
日志经常在安全事件发生后被关注 没有对日志实时监控、分析
日志未被完整保留
日志被定期清理，节省磁盘空间 黑客入侵后抹去入侵记录日志
日志导入关系型数据库
传统数据库无法适应TB级以上日志 关系型数据库无法适应半结构化和非结构化日志信息 不提供全文检索
点击流数据
Web 服务器、路由器、代理服务器和广告服务器 可用性分析、数字市场营销和一般调查
配置文件
系统配置文件
如何设置基础设施、调试故障、后门攻击、"定时炸弹"病毒
数据库审计日志 数据库日志文件、审计表
如何根据时间修改数据库数据以及如何确定修改人
文件系统审计日志 敏感数据存储在共享文件系统中
监测并审计敏感数据读取权限
IT大数据平台部署
大数据
10 10
软件环境
集团企业大数据平台建设综合解决方案
名称 操作系统
浏览器
Lion安装包内部 集成环境
版本要求
CentOS 6.5/7 Redhat 6.5/7 Ubuntu 14.04、15.10、16.04
chrome 37+
Firefox 25+
IE
10+
JDK 1.7.0_79 Python 2.7.9
其他有用的数据包级和会话级信息
攻击
Syslog
路由器、交换机和网络设备上的 Syslog
故障排除、分析、安全审计
Web 访问日志
Web 访问日志会报告 Web 服务器处理的每个请求 Web 市场营销分析报表
Web 代理日志
Web 代理记录用户通过代理发出的每个 Web 请求 监测并调查服务条款以及数据泄露事件
集团企业大数据平台建设综合解决方案
大数据
云平台
集团企业大数据平台建设综合解决方案
01 IT大数据平台介绍 02 IT大数据平台部署 03 IT大数据平台使用 04 IT大数据平台运维
大数据
22
集团企业大数据平台建设综合解决方案
IT大数据平台介绍
大数据
33
日志处理的历史背景
集团企业大数据平台建设综合解决方案
操作系统度量、状 态和诊断命令
通过命令行实用程序（例如 Unix 和 Linux 上的 ps 与 iostat 以及 Windows 上的性能监视器）显示的 CPU、内存利用率和状态信息
故障排除、分析趋势以发现潜在问题并调查安全事件
数据包/流量数据
tcpdump 和 tcpflow 可生成 pcap 或流量数据以及 性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程
整合大数据存储、计 算、搜索能力，对海 量数据进行实时分析、 挖掘。
定制化开发
强大的数据处理和方 便的扩展能力，以应 用、插件的方式集成。
大数据
66
简介
集团企业大数据平台建设综合解决方案
使用IT大数据系统进行日志数据的集中存储、管理和分析
• Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志 的多副本安全存储和实时快捷的分析计算能力。
大数据
44
日志的价值
集团企业大数据平台建设综合解决方案
数据类型
位置
它可以告诉您什么
应用日志
本地日志文件、log4j、log4net、Weblogic、 WebSphere、JBoss、.NET、PHP
用户活动、欺诈检测、应用性能
业务流程日志
业务流程管理日志
跨渠道客户活动、购买、帐户变更以及问题报表
集群主机检测网络
安装包准备 安装包命名规则为lion-<version>.bin。发送安装包到Lion集群主节点。
集群主机时间校对
集群主机信息获取 获取集群主机IP、ssh端口(默认22)、root密码的信息。
集群主机名检测 合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP一一对 应。
大数据
55
产品特点
集团企业大数据平台建设综合解决方案
全网日志统一管理
支持任何来源、格式日 志，例如TCP、UDP、 数据库审计、文件等方 式。通过采集、结构化、 分类、归并、分析日志 数据。
Biblioteka Baidu
问题溯源
智能运维，智能告警 ，及时发现问题、定 位、原始数据取证， 并自动与用户、资产 信息关联
与大数据集成
数据搜索
数据搜索结果支持时间轴筛选、自定义过滤条件、字段 结果分类统计。
更多功能 告警功能、主机管理、用户权限控制等。
多种应用 服务程序
分析结果
虚拟化 设备
服务器 路由交换
日志数据
IT大数据 系统
大数据
88
框架
集团企业大数据平台建设综合解决方案
Lion UI
全文检索 数据可视化 数据管理
告警
Lion Service 计算挖掘
运维管理
任务调度
API
数据存储 数据采集
Elasticsearch
PostgreSQL
Beats
Logstash
Spark Stream
Kafka
• Lion UI 具备友好交互的Web应用，进行数 据管理和可视化的界面配置和展示
• Lion Service 基于RPC的分布式服务设计， 能快速处理复杂数据和业务
大数据
11 11
部署方案
控制台输入部署
控制台提示，支持默认模式和自定义模式
运行Lion安装包
控制台输入配置信息
读取配置文件部署
一键部署，简单快捷
配置Lion配置文件
执行Lion安装命令
集团企业大数据平台建设综合解决方案
Lion集群部署
Lion集群部署
大数据
12 12
安装前准备
集团企业大数据平台建设综合解决方案
• ElasticSearch 基于Lucene的搜索引擎，分 布式架构，具有集群，分片，副本等属性
• Logstash 日志接收、富化、转发的引擎。 支持系统日志、webserver日志、应用日志 等
• Beats 日志采集器，搜集文件、Windows事 件、网络流量、性能指标信息
大数据
99
集团企业大数据平台建设综合解决方案
• Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。 • Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。
大数据
77
功能介绍
集团企业大数据平台建设综合解决方案
数据导入
数据可视化
支持日志文件上传、文件和目录监控、服务器端口监听、 通过数据的查询、过滤、聚合结果生成多种可视 服务器性能监控等数据导入方式的界面化操作和进度查看。 化图表，支持动态实时更新。