Nxlog日志采集配置手册

文档编号：Nxlog日志采集配置手册2017年3月10日文档控制版本控制1.1Windows操作系统安装软件版本：nxlog-ce-2.9.1716.msi支持操作系统：winxp-win2012安装步骤：双击安装包，一键安装安装目录路径：64位操作系统：C:\Program Files (x86)\nxlog32位操作系统C:\Program Files \nxlog配置文件路径：C:\Program Files (x86)\nxlog\conf\nxlog.conf #此文件非常重要，基本所有操作都在此文件进行Nxlog日志文件路径：C:\Program Files (x86)\nxlog\data\nxlog.log #此文件用来排查问题，确认nxlog运行是否正常注意：如果操作系统是32位的，则nxlog安装路径默认为C:\Program Files\nxlog，此时需要修改配置文件：否则nxlog服务无法启动。

1.2Linux/Centos操作系统安装1.3AIXNxlog配置分为输入（Input）、输出（Output）、路径（Route）；输入为需要采集的数据源；输出为日志需要发往的目的地，比如文件、数据库、日志服务器，在我们的环境中一般为探针地址。

2.1Windows操作系统2.1.1Windows操作系统日志采集<Extension _syslog>Module xm_syslog #收集事件日志，所有的事件日志默认都被收集</Extension><Input in> #如果包含多个输入，名称可以修改，如in1、in2等Module im_msvistalog# For windows 2003 and earlier use the following: #如果是win2003或以前的操作系统，需要使用下面的Module# Module im_mseventlog</Input><Output out> #配置输出Module om_udp #安装完默认为om_tcp，需要修改成om_udp Host 10.16.106.33 # 探针地址Port 514</Output><Route 1>Path in => out #源输入对应输出</Route>2.1.2Windows下文本文件日志采集文本文件如中间件日志（apache、tomcat、IIS等）。

注：此处为一行代表一条日志修改配置文件输入即可：<Input in>SavePos false #记录读取位置，默认为TrueReadfromlast false #从最后一行开始读，默认为TrueModule im_fileFile "E:\\03PaserFile\\web-mysql-logs\\apache_error.log" #文件路径</Input>2.1.3使用通配符文件读取支持通配符，如果目录下有多个文件，则可以使用通配符，使用通配符的时候注意转义，如：‘C:\test\\*.log’‘C:\\test\\*.log’若要使用双引号，则应为：“C:\\test\\\\*.log”此功能其它操作系统同样适用，不再赘述；2.1.4Windows下CSV格式日志采集<Extension csv1>Module xm_csvFields $id, $name, $number #文件包含的所有字段名 #FieldTypes integer, string, integerDelimiter ,</Extension><Input filein>Module im_fileFile "C:\\Users\\chengtao\\Downloads\\test.csv"Exec parse_csv();</Input><Output out>Module om_udpHost 10.16.106.33Port 514</Output><Route 1>Path filein => out</Route>2.1.5Windows下多行日志采集<Extension multiline>Module xm_multilineHeaderLine /^\[\w{3}\s\w{3}\s\d{2}\s\d{2}:\d{2}:\d{2}\.\d{6}\s\d{4}\]/ #日志开始标志</Extension><Input apache_error>SavePos falseReadfromlast falseModule im_fileInputType multilineFile "E:\\03PaserFile\\web-mysql-logs\\apache_error.log"</Input>2.1.6nxlog 采集数据过滤<Exec>if $raw_event !~ /^%%/ drop(); #如果日志不是以“%%”开始，则丢弃；</Exec>或者：<Extension exec>Module xm_exec</Extension><Input in>Module im_fileFile "C:\\dnsredir\\dailylogs\\\\*.txt"SavePos TRUEExec if not ($raw_event =~ /^%%/) drop();</Input>2.1.7日志编码转换<Extension charconv>Module xm_charconvAutodetectCharsets utf-8, euc-jp, utf-16, utf-32, iso8859-2,GB2312,GBK</Extension><Input filein>Module im_fileFile "tmp/input"Exec convert_fields("AUTO", "utf-8");</Input>2.1.8添加日志标识如果一个主机需要发送多类日志，且日志格式比较接近，为了防止日志解析出现问题，则需要对采集的日志添加标识。

<Input secure_in>Module im_fileSavePos falseReadFromLast falseFile "/var/log/secure"Exec $raw_event='linuxlog'+ $raw_event;</Input>2.1.9读取日志文件后删除文件<Extension exec>Module xm_exec</Extension><Extension fileop>Module xm_fileop<Schedule>Every 1 minExec file_remove('C:\\www\\data\\soc\\' + strftime((now() - 86400),"%Y%m%d") + '*.csv'); #删除前一天日志文件</Schedule></Extension>2.1.10设置nxlog日志文件重写#define LOGFILE C:\Program Files\nxlog\data\nxlog.logdefine LOGFILE /var/log/nxlog/nxlog.log<Extension fileop>Module xm_fileop# Check the size of our log file every hour and rotate if it is larger than 1Mb<Schedule>Every 1 hourExec if (file_size(’%LOGFILE%’) >= 1M) file_cycle(’%LOGFILE%’, 2);</Schedule># Rotate our log file every week on sunday at midnight<Schedule>When @weeklyExec file_cycle(’%LOGFILE%’, 2);</Schedule></Extension>1.1Centos/Redhat操作系统1.1.1Apache访问日志/etc/nxlog.conf## This is a sample configuration file. See the nxlog reference manual about the ## configuration options. It should be installed locally under## /usr/share/doc/nxlog-ce/ and is also available online at## /docs######################################### Global directives #########################################User nxlogGroup nxlogLogFile /var/log/nxlog/nxlog.logLogLevel INFONocache True######################################### Modules #########################################<Extension _syslog>Module xm_syslog</Extension><Input apache_access_in>SavePos TRUEReadfromlast TRUEModule im_fileFile "/var/log/apache/access.log"</Input><Output apache_access_out>Module om_udpHost 10.16.106.33Port 514</Output>######################################### Routes ##########################################<Route apache_access_route>Path apache_access_in => apache_access_out</Route>1.1.2Apache访问日志如果日志为多行，则请参考2.1.5## This is a sample configuration file. See the nxlog reference manual about the ## configuration options. It should be installed locally under## /usr/share/doc/nxlog-ce/ and is also available online at## /docs######################################### Global directives #########################################User nxlogGroup nxlogLogFile /var/log/nxlog/nxlog.logLogLevel INFONocache True######################################### Modules #########################################<Extension _syslog>Module xm_syslog</Extension><Input apache_error_in>SavePos falseReadfromlast falseModule im_fileFile "/var/log/apache/error.log"</Input><Output apache_error_out>Module om_tcpHost localhostPort 25555</Output>######################################## # Routes ######################################### #<Route apache_error_route>Path apache_error_in => apache_error_out </Route>。