集团企业IT大数据平台建设方案

用户活动、欺诈检测、应用性能
业务流程日志
业务流程管理日志
跨渠道客户活动、购买、帐户变更以及问题报表
点击流数据
Web 服务器、路由器、代理服务器和广告服务器 可用性分析、数字市场营销和一般调查
配置文件
系统配置文件
如何设置基础设施、调试故障、后门攻击、"定时炸弹"病毒
数据库审计日志 数据库日志文件、审计表
集团企业IT大数据平台建设方案
01 IT大数据平台介绍 02 IT大数据平台部署 03 IT大数据平台使用 04 IT大数据平台运维
IT大数据平台介绍
日志处理的历史背景
日志没有被集中统一管理
查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看
日志主要用于事后问题追查
日志经常在安全事件发生后被关注 没有对日志实时监控、分析
数据事件
数据导入事件状态查询、启动、停止
解析规则
数据解析规则查看和配置
主机管理 告警管理 数据管理 访问控制 系统管理
如何根据时间修改数据库数据以及如何确定修改人
文件系统审计日志 敏感数据存储在共享文件系统中
监测并审计敏感数据读取权限
操作系统度量、状 态和诊断命令
通过命令行实用程序（例如 Unix 和 Linux 上的 ps 与 iostat 以及 Windows 上的性能监视器）显示的 故障排除、分析趋势以发现潜在问题并调查安全事件 CPU、内存利用率和状态信息
Lion安装
控制台输入方式部署Lion过程
IT大数据平台使用
功能点
主页 数据搜索 数据可视化
数据导入
数据可视化大屏展示
全文搜索和精确过滤
结果导出、搜索条件另存为告警
可视化图表
多种可视化图表新建、保存、分享
仪表盘 文件上传 数据监控
可视化图表自由组合成仪表盘 定时刷新，图表联动和下钻 远程文件和目录监控、端口监听 数据库、系统性能、系统事件监控
日志未被完整保留
日志被定期清理，节省磁盘空间 黑客入侵后抹去入侵记录日志
日志导入关系型数据库
传统数据库无法适应TB级以上日志 关系型数据库无法适应半结构化和非结构化日志信息 不提供全文检索
日志的价值
数据类型
位置
它可以告诉您什么
应用日志
本地日志文件、log4j、log4net、Weblogic、 WebSphere、JBoss、.NET、PHP
• Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。 • Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。
功能介绍
数据导入
数据可视化
支持日志文件上传、文件和目录监控、服务器端口监听、服 通过数据的查询、过滤、聚合结果生成多种可视化 务器性能监控等数据导入方式的界面化操作和进度查看。 图表，支持动态实时更新。
API
数据存储 数据采集
Elasticsearch
PostgreSQL
Beats
Logstash
Spark Stream
Kafka
• Lion UI 具备友好交互的Web应用，进行数 据管理和可视化的界面配置和展示
• Lion Service 基于RPC的分布式服务设计， 能快速处理复杂数据和业务
• ElasticSearch 基于Lucene的搜索引擎，分 布式架构，具有集群，分片，副本等属性
数据包/流量数据
tcpdump 和 tcpflow 可生成 pcap 或流量数据以 性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程
及其他有用的数据包级和会话级信息
攻击
Syslog
路由器、交换机和网络设备上的 Syslog
故障排除、分析、安全审计
Web 访问日志
Web 访问日志会报告 Web 服务器处理的每个请求 Web 市场营销分析报表
与大数据集成
整合大数据存储、计 算、搜索能力，对海 量数据进行实时分析、 挖掘。
定制化开发
强大的数据处理和方 便的扩展能力，以应 用、插件的方式集成。
简介
使用IT大数据系统进行日志数据的集中存储、管理和分析
• Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志 的多副本安全存储和实时快捷的分析计算能力。
chrome 37+
Firefox 25+
IE
10+
JDK 1.7.0_79 Python 2.7.9
部署方案
控制台输入部署
控制台提示，支持默认模式和自定义模式
运行Lion安装包
控制台输入配置信息
读取配置文件部署
一键部署，简单快捷
配置Lion配置文件
执行Lion安装命令
Lion集群部署 Lion集群部署
数据搜索
数据搜索结果支持时间轴筛选、自定义过滤条件、字段 结果分类统计。
更多功能
告警功能、主机管理、用户权限控制等。
多种应用 服务程序
分析结果
虚拟化 设备
服务器 路由交换
日志数据
IT大数据 系统
框架
Lion UI
全文检索 数据可视化 数据管理
告警
Lion Service 计算挖掘
运维管理
任务调度
安装前准备
集群主机检测网络
安装包准备 安装包命名规则为lion-<version>.bin。发送安装包到Lion集群主节点。
集群主机时间校对
集群主机信息获取 获取集群主机IP、ssh端口(默认22)、root密码的信息。
集群主机名检测 合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP一一对 应。
Web 代理日志
Web 代理记录用户通过代理发出的每个 Web 请求 监测并调查服务条款以及数据泄露事件
产品特点
全网日志统一管理
支持任何来源、格式日 志，例如TCP、UDP、 数据库审计、文件等方 式。通过采集、结构化、 分类、归并、分析日志 数据。
问题溯源
智能运维，智能告警， 及时发现问题、定位、 原始数据取证，并自动 与用户、资产信息关联
• Logstash 日志接收、富化、转发的引擎。支 持系统日志、webserver日ห้องสมุดไป่ตู้、应用日志等
• Beats 日志采集器，搜集文件、Windows事 件、网络流量、性能指标信息
IT大数据平台部署
软件环境
名称 操作系统
浏览器
Lion安装包内部 集成环境
版本要求
CentOS 6.5/7 Redhat 6.5/7 Ubuntu 14.04、15.10、16.04