日志分析系统搭建分析与比较

日志分析系统搭建分析与比较

21CTO 2020-10-30

fluentd logstash

一．背景介绍

许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv,查询等），处理这些日志需要特定的日志系统，—般而言，这些系统需要具有以下特征：

(1)构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

(2)支持近实时的在线分析系统和类似于H a doop之类的离线分析系统；

(3)具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。

二．日志系统比较

1 .怎样收集系统日志并进行分析

A实时模式：

1在打印日志的服务器上部署agent

2 agent使用低耗方式将日志增量上传到计算集群

3计算集群解析日志并计算出结果，尽量分布式、负载均衡，有必要的话（比如需要关联汇聚）则采用多层架构

安装过中心

I 衙求卢

特征和表现

作者：lev y cui

mpressed Archive -1简单d

I Linux � Mac os ,x .,

i'

or Procedural

-畸-···矿..一夕--一．