日志标准化规范(新)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
日志标准化规范
一.背景
随着互联网络的飞速发展,各行各业已经不限于知道信息,更是挖掘、把握住隐藏在信息后面的信息。海量的数据是一种宝贵的财富,如何按照不同维度、各种口径和规则从海量的、隐含的、杂乱的、重复的web日志或用户访问信息中发现、提炼、分析、统计出有用的知识和应用价值,进而提高服务质量,改进网站的结构和内容,挖掘出有意义的用户访问模式、规则以及相关的潜在用户群等是一件非常有意义的工作。
为实时监控网络的异常状态,跟踪网络应用资源的使用情况,实现对众多设备主机日志信息的集中分析和管控,实现各种日志格式的兼容,准确定位出问题的物理服务器和时间段等,目前南航通过统一集中部署SpringAOP(kafa/redis)+
Elasticsearch+Logstash+Kibana日志分析平台实现了对日志收集、存储、搜索、分析、监控及展现,并开放访问接口给开发人员,开发人员以ELK日志分析平台的源数据为基础,对数据进行预处理、维度汇总,进而形成行业上的各种指标。
ELK具有强大的搜索和展现功能,它只需安装部署而不需要编写代码,即可进行业务数据分析、错误日志分析及数据预警等。而
SpringAop是OOP的延续,它就像刀切豆腐一样横切整个系统,将“关注”封装在切面中,实现了调用者与被调用者之间的解耦合,是需要人工编写相关的代码实现日志的输出的,而在现实中日志记录无统一规范,导致无法准确快速的定位问题或者获取到想要的数据。所以本文将日志的规范重点放在SpringAop上。
二.原则
1.集中的日志服务器:在WEB集群节点越来越多的情况下,让开发及系统维护人员能很方便的查看日志信息。
2.日志信息输出策略:日志信息输出全而不乱,便于跟踪和分析问题。
3.关键业务的日志输出:基于数据采集、数据核查、系统安全等方面的考虑,关键业务系统对输出的日志信息有特殊的要求,需要做针对性的设计。
4.支持备份与保密机制:防止日志丢失,敏感信息应加密,分布式文件系统保证可靠性。
三.日志分类
日志文件按应用需求功能分为访问日志、应用日志和系统日志。按等级从低到高分为TRACE级、DEBUG级、INFO级、WARN级、ERROR级、FATAL级六级。
1.TRACE级、DEBUG级:理论上“不属于错误”,只是打印一些状态、提示信息,以便开发过程中观察,开发完成、正式上线后需要屏蔽。
级:理论上“不属于错误”,只是一些提示性的信息,但是即使在开发完成、正式上线的系统中,也有保留的价值。在实际环境中,系统管理员或者高级用户要能理解INFO输出的信息并能很快的了解应用正在做什么。比如,一个和处理机票预订的系统,对每一张票要有且只有一条INFO信息描述 "[Who] booked ticket from [Where] to [Where]"。
3.WARN级:属于轻微的“警告”,程序中出现了一些异常情况,但是影响不大,还可以正常使用。
4.ERROR级:属于“普通的错误”,在程序可以控制的范围内,不会造成连锁影响或巨大影响,日志发生之后其实不会导致系统运行出现异常的,可能是对某些数据的初始化深入验证出现的问题。
5.FATAL级:属于“致命错误”,开发过程中的try...catch 模块中抛出的一些未能预料到的系统错误,可导致整个系统或者一系列功能无法使用,甚至导致系统瘫痪、关闭,必须马上有人进行处理。比如:空指针异常,数据库不可用,如硬盘空间满等,关键业务流程中断等等。
四.代码日志规范
1. 【强制】系统应用中不可直接使用日志系统(Log4j、Logback)中的API,而应依赖使用日志框架SLF4J中的API,使用门面模式的
日志框架,有利于维护和各个类的日志处理方式统一。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
private static final Logger logger =
LoggerFactory.getLogger(Abc.class)。
2. 【强制】日志文件推荐至少保存15天,因为有些异常具备以“周”为频次发生的特点。
3. 【强制】应用中的扩展日志(如打点、临时监控、访问日志等)命名方式:appName_logType_logName.log。logType:日志类型,推荐分类有stats/desc/monitor/visit等;logName:日志描述。这种命名的好处:通过文件名就可知道日志文件属于什么应用,什么类型,什么目的,也有利于归类查找。
正例:mppserver应用中单独监控时区转换异常,如:mppserver_monitor_timeZoneConvert.log 说明:推荐对日志进行分类,如将错误日志和业务日志分开存放,便于开发人员查看,也便于通过日志对系统进行及时监控。
4. 【强制】对trace/debug/info级别的日志输出,必须使用条件输出形式或者使用占位符的方式。
说明:logger.debug("Processing trade with id: " + id + " symbol: " + symbol);如果日志级别是warn,上述日志不会打印,但是会执行字符串拼接操作,如果symbol是对象,会执行toString()方法,浪费了系统资源,执行了上述操作,最终日志却没有打印。正例:(条件)
if (logger.isDebugEnabled()) {
logger.debug("Processing trade with id: " + id + " symbol: " + symbol);
}
正例:(占位符)
logger.debug("Processing trade with id: {} symbol : {} ", id, symbol);
解释:debug/info级别的信息,信息本身需要计算或合并的,必须加isXxxEnabled() 判断在前,这样可以大大提高高并发下的效率。如果不加isXxxEnabled() 判断,"Processing trade with id: " + id + " symbol: " + symbol在info级别下也会执行。
5. 【强制】避免重复打印日志,浪费磁盘空间,务必在log4j.xml 中设置additivity=false。
正例: additivity="false"> 6. 【强制】异常信息应该包括两类信息:案发现场信息和异常堆栈信息。如果不处理,那么通过关键字throws往上抛出。 正例:logger.error(各类参数或者对象toString + "_" + e.getMessage(), e); 7. 【推荐】谨慎地记录日志。生产环境禁止输出debug日志;有选择地输出info日志;如果使用warn来记录刚上线时的业务行为信