Web服务器日志分析

日志格式说明
%v 进行服务的服务器的标准名字 ServerName ， 通 常用于虚拟主机的日志记录中。
%h 客户机的 IP 地址。 %l 从 identd 服务器中获取远程登录名称，基本已废
弃。
%u 来自于认பைடு நூலகம்的远程用户。 %t 连接的日期和时间。
日志格式说明
%r HTTP 请求的首行信息，典型格式是 METHOD RESOURCE PROTOCOL ” ，即 “ 方法 资源 协议 ” 。
Web服务器日志分析
刘培顺
提纲
APACHE日志分析 IIS日志分析
APACEH日志分析
web 服务器日志记录了 Web 服务器接收处理请求及 运行时错误等各种原始信息 。 通过对日志进行统计 、 分析和综合 ， 就能有效地掌握服务器的运行状况 、 发现和排除错误原因 、 了解客户访问分布等，更 好地加强系统的维护和管理。 Web 服务模式主要有 三个步骤：
综合日志
由于综合日志格式简单地结合了 3 种日志信息 ， 所以 在配置访问日志时 ， 要么使用一个综合文件进行记录 ， 要么使用分离的多个 (1-3) 文件记录 。
通常使用一个综合日志格式文件进行记录，配置为：
CustomLog /var/log/apache2/ access .log combined
网站内容进行调整
浏览者使用的浏览器：可以根据大多数浏览者使用的浏览器对站点 进行优化
访问日志分类：
为了便于分析 Apache 的访问日志， Apache 的默认配 置文件中，按记录的信息不同 ( 用格式说明不同的信 息 ) 将访问日志分为 4 类：
普通日志格式 (common log format,CLF)common 大多 数日志分析软件都支持这种格式
ErrorLog 命令指定了当服务器遇到错误时记录错误日 志的文件名。其格式为：
格式 1 ： ErrorLog 错误日志文件名
格式 1 直接指定错误日志文件名 ， 除非文件位置用 ” / “ 开头 ， 否则 ErrorLog 所制定的文件位置是相对于 ServerRoot 目 录的相对路径。
格式 2 ： ErrorLog "| 管道程序名 "
服务请求 ，包含用户端的众多基本信息，如 IP 地址、 浏览器类型、目标 URL 等。
服务响应 ， Web 服务器接收到请求后，按照用户要求 运行相应的功能，并将信息返回给用户 。如果出现错误 ，将返回错误代码。
追加日志 ，服务器将对用户访问过程中的相关信息以追 加的方式保存到日志文件中。
Apache 日志的配置
日志文件
若使用 3 个文件分别进行记录，配置为： CustomLog /var/log/apache2/access.log common CustomLog /var/log/apache2/referer.log referer CustomLog /var/log/apache2/agent.log agent
经常可能出现的 METHOD 是GET 、 POST 和 HEAD ；
RESOURCE 是指浏览者向服务器请求的文档或 URL ；
PROTOCOL 通常是 HTTP ，后面再加上版本号，通 常是HTTP/1.1 。
日志格式说明
%>s 响应请求的状态代码 ， 一般这项的值是 200 ， 表示服务器已经成功地响应浏
览器的请求 ， 一切正常 ；
以 3 开头的状态代码表示由于各种不同的原因用户请 求被重定向到了其他位置 ；
以 4 开头的状态代码表示客户端
日志格式说明
%b 传送的字节数（不包含 HTTP 头信息），将日志 记录中的这些值加起来就可以得知服务器在一天、一 周或者一月内发送了多少数据。
%{Referer}i 指明了该请求是从被哪个网页提交过来的 。
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common LogFormat "%{Referer}i -> %U" referer LogFormat "%{User-agent}i" agent
日志类型
错误日志 访问日志 传输日志 Cookie 日志
日志内容
错误日志包含
获知失效链接 获知 CGI 错误 获知用户认证错误
访问日志包含 ：
访问服务器的远程机器的地址：可以得知浏览者来自何方 浏览者访问的资源：可以得知网站中的哪些部分最受欢迎 浏览者的浏览时间：可以从浏览时间 ( 如工作时间或休闲时间 ) 对
格式 2 实现管道日志，它指定一个命令来处理错误日志。
LogLevel 。
用于调整记于错误日志中的信息的详细程度
从文件内容可以看出，每一行记录了一个错误。格式 为：
日期和时间 错误等级 错误消息
IIS日志
IIS日志简介
IIS提供了一套相当有效的安全管理机制，并且也提供 了一套强大的日志文件系统，而IIS日志文件一直都是 网站管理人员查找“病源”的有利工具,通过对日志文件 的监测,可以找出有疑问的痕迹,得到网站的访问,操作 记录,以及系统的问题所在。
参考日志格式 (referer log format) referrer 记录客户访 问站点的用户身份
代理日志格式 (agent log format)agent 记录请求的用户 代理
综合日志格式 (combined log format)combined 结合以 上三种日志信息
4种访问日志类型
IIS日志记录了网站服务器接收，处理请求以及运行错 误等各种原始信息。即它可以记录访问者的一举一动 ，不管访问者是访问网站，还是上传文件，不管是成 功还是失败，日志都以进行记录。
%U 请求的 URL 路径，不包含查询串 \"%{User-Agent}i\" 此项是客户浏览器提供的浏览器
识别信息。
日志格式说明
日志格式说明
日志格式说明
日志格式说明
apache 访问日志
配置错误日志
错误日志记录了服务器运行期间遇到的各种错误 ， 以 及一些普通的诊断信息 ， 比如服务器何时启动、何时 关闭等。