日志分析平台ELK之日志收集器logstash
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
前文我们聊解了什么是elk，elk中的elasticsearch集群相关组件和集群搭建以及es集群常用接口的说明和使用，今天我们来了解下ELK中的日志收集器logstash；
logstash的工作原理类似Linux里的rsyslog，首先logstash会有一个数据输入源，也就是logstash去哪里采集数据，它的采集数据来源很多，比如从文件中采集，从某个tcp/udp端口采集，从redis的消息队列中采集，kafka啊、标准输入等等；它和rsyslog不同的是，rsyslog是把日志数据从一个地方转到另一个地方，中间不会去处理日志的格式，采集回来是什么样就是什么样；而logstash不一样，logstash它可以把采集回来的日志做格式化，以不同的编码形式向外输出；比如把nginx的日志采集回来，它可以以json格式输出；同时它还可以处理采集回来的日志，比如忽略某些字段的输出，把原有日志格式做切分；把原来不是json格式的日志，通过输出规则转换为json格式的日志；总体流程图如下
提示：以上流程图主要表示logstash采集数据和处理数据内部的一个流程；从上面的流程不难想象，logstash就是把一个数据采集回来，通过内部定义的处理规则，然后通过output规则输出到指定地方的一个插件；
安装logstash
logstash的运行方式有两种，第一种以agint的方式运行在数据源所在服务器上采集数据，然后输入到指定地方；第二种是以server方式独立运行在一个服务器上，接受filebeat从数据源发送过来的数据，然后在输出到其他地方；logstash的运行以来jdk,所以首先要在运行jdk的服务器上安装
jdk;logstash的版本最好同ELK中的其他组件版本一样；
安装jdk
1.yum install -y java-1.8.0-openjdk-devel
导出JAVA_HOME环境变量
下载logstash-6.8.12.rpm包
1.[root@node03 ~]# wget
https://artifacts.elastic.co/downloads/logstash/logsta sh-6.8.12.rpm
2.--2020-10-0215:01:14--
https://artifacts.elastic.co/downloads/logstash/logsta sh-6.8.12.rpm
3.Resolving artifacts.elastic.co
(artifacts.elastic.co)...151.101.230.222,
2a04:4e42:36::734
4.Connecting to artifacts.elastic.co
(artifacts.elastic.co)|151.101.230.222|:443...
connected.
5.HTTP request sent, awaiting response...200 OK
6.Length:177059640(169M)[application/octet-stream]
7.Saving to:‘logstash-6.8.12.rpm’
8.
9.100%[============================================== ============================>]177,059,640136MB/s in 1.2s
10.
11.2020-10-0215:01:15(136 MB/s)-‘logstash-
6.8.12.rpm’ saved [177059640/177059640]
12.[root@node03 ~]#
安装logstash-6.8.12.rpm
1.[root@node03 ~]# ll
2.total 172912
3.-rw-r--r--1 root root 177059640Aug1819:41 logstash-6.8.12.rpm
4.[root@node03 ~]# yum install ./logstash-6.8.12.rpm
5.Loaded plugins: fastestmirror
6.Examining./logstash-6.8.12.rpm:1:logstash-6.8.12-1.noarch
7.Marking./logstash-6.8.12.rpm to be installed
8.Resolving Dependencies
9.-->Running transaction check
10.--->Package logstash.noarch 1:6.8.12-1 will be installed
11.-->Finished Dependency Resolution
12.
13.Dependencies Resolved
14.
15.=================================================== ====================================================== ==========================
16.Package Arch
Version Repository
Size
17.=================================================== ====================================================== ==========================
18.Installing:
19. logstash noarch 1:6.8.12-1/logstash-6.8.12
294 M
20.
21.Transaction Summary