基于ELK的实时日志分析系统

解决方案:
1. 2. 3. 通过防火墙限制访问用户IP 二次开发提供用户登录和基于用户的配置 管理 功能 在Kibana框架内按需开发专用看板
14
客户端集成
• • • • • • •
15
官方提以下主流编程语言Client: Java Python调用ES示例: Groovy PHP Perl Python Ruby
Facet让这些需求的实现变得容易!
11
ES – Facets 实例
统计某时间段http错误日志里 数量排名前7的错误代码
12
ES – Facets 实例
搜索结果在Kibana里绘制成图表
ห้องสมุดไป่ตู้13
Kibana – 数据分析看板
不足:
1. 2. 3. 无用户权限管理 无基于用户的配置管理 内置看板类型有限，部分需求无法满足
...
LogStash Shipper
ElasticSearch – 搜索引擎 Logstash – 日志搬运、拆解 Kibana – 数据看板
LogStash Indexer
Kibana
4
携程Ops日志系统架构
5
Logstash - 概览
数据搬运工
Inputs
Filters
数据加工厂
Outputs
• Http错误日志分析:
– http://es.ops.ctripcorp.com/kibana/#/dashboard/elasticsearch/http%20%E9%94%99%E8%AF%AF%E6%97%A5%E5% BF%97(p)
• Mobile日志分析:
– http://es.ops.ctripcorp.com/kibana/#/dashboard/elasticsearch/mobile
ES – 集群管理与监控(现状)
Nodes安装配 置
包和配置管理 远程任务下发
关键服务管理
集群监控
监控
16
ES – 集群管理与监控(将来…)
17
监控数据实例 – 硬件配置
• •
ES Data Nodes:
• • 4 x (8vcoreCPU + 64GB RAM + 30TB HD, Raid 5)
• AX流量与连接数分析:
– http://es.ops.ctripcorp.com/kibana/#/dashboard/elasticsearch/a10
22
谢谢！
2014.02.24
能满足日志量 随着业务量不 断增长的需要
可以做多维度 的实时日志分 析 • 能按需对搜索结 果做实时聚合计 算
各个日志的字 段都要能够组 合搜索，速度 也要可以接受 • 能做类似搜索引 擎的全文索引和 查询
3
ELK日志分析解决方案
...
LogStash Shipper
LogStash Indexer
Logstash Indexer
2 x (8vCoreCPU + 64GB RAM)
•
•
Redis
• • logstash indexer 共享服务器
ES Master Nodes
logstash indexer 共享服务器
18
监控数据实例- 数据量（截至2014/02/07)
截至2014/02/07
Open索引(可检索)：保留最近7天 Closed索引(不可检索): 保留最近30天
峰值流入数据量: ~ 40Mbps
峰值索引日志条数: ~ 5000/秒
19
监控数据实例– ES DataNode OS stats
20
监控数据实例 – ES DataNode JVM CMS GC
21
数据看板Demo
基于ELK的实时日志分析系统
主讲人：吴晓刚 2014.02.24
目录 CONTENTS
一：需求与挑战
二：ELK日志分析方案架构 三：ELK主要特性 四：集群的管理与监控 五：数据看板Demo
需求与挑战
• 接口适配方式丰 富，数据拆分灵 活 支持多样的日 志类型: IIS, vdesk , mobile, AX, Remedy, etc • 系统无缝水平扩 展
6
Logstash – 丰富的Plugin
7
ElasticSearch特性
• • • • • • • •
底层基于Apache Lucene 实时索引, 实时分析 分布式，高可用 冲突管理，避免数据丢失 支持全文搜索 面向文档 , Schema Free Restful API 开源，免费 (Apache 2 Open Source License)
8
ES集群示例
9
ES对比关系型数据库
10
ES - Facet
用户希望在任意选定的时间范围，实时获取以下信息：
• • • • • • 访问量最高的 Uagent,Client IP是哪些 出现5xx , 4xx最高的URL是哪些 服务器平均响应时间变化如何 响应时间最慢的系统服务是哪些 是否有某些IP访问频度过高从而可能是攻击行为 Etc...