LogPattern使用手册

LogPattern使用手册
中国科学院计算机网络信息中心超级计算中心
赵一宁
本程序为提炼系统日志句式模式功能的JAVA开源实现。

功能说明
系统日志作为Linux系统syslog服务的输出文件，记录了系统中各种事件和重大变动，对于系统维护起到重要作用。

然而系统日志记录的日志数量通常较为庞大，且包含大量并不值得关注的普通日志，不利于维护人员查看和发掘关键信息。

同时系统日志采用英文句子作为主体内容，具有人类可读、重要信息位置不规则的特点，不利于计算机直接查询。

本程序将含有系统日志格式内容的文件作为输入文件，通过建立匹配树和对相同子树剪枝的方法，将大量的系统日志提炼为一个相对较小的句式模式集合。

该集合含有输入文件中所有出现过的日志类型，每种类型仅由一个句式模式代表。

系统维护人员可以通过提炼过的句式模式集合确定系统过往出现过的事件类型，并有针对性的为特定类型日志制定处理办法或响应规则。

本程序已被用于网格环境日志分析框架（LARGE）中，为中科院超级计算环境的运行维护起到积极作用。

运行环境
本程序需要在配置了JAVA的Linux或windows环境中运行。

编译打包
解压并进入程序主目录后，执行以下命令进行编译：
执行cd ../..返回程序主目录，执行以下命令可将程序打包为可执行jar包：
输入文件
本程序的输入文件为存有系统日志文件的文件夹（输入文件可为复数）。

系统日志每行内容需满足“时间主机地址进程名日志主体”格式。

用法说明
执行本程序前请将需要提炼句式模式的系统日志文件（如messages、secure等）放入一个空文件夹中，然后在命令行模式下在LP.jar所在文件夹输入：
程序成功运行结束后，将在LP.jar所在的文件夹生成一个名为“LogPatterns”的文件，内容即为提炼出的句式模式集合，可使用任意文本编辑程序打开该文件。

注意事项
如果系统日志数量过于庞大，建议首先过滤掉日志文件中的常见普通日志。

由于换行符不一致的原因，建议不要使用windows系统的记事本程序（NotePad）直接打开输出文件LogPatterns。

可以使用写字板程序（WordPad）或Office软件中的Word程序作为windows环境下的替代。

文档最后修改时间：2015年11月16日。