基于Web日志的数据挖掘技术在Web机器人识别中的研究

Ｈ Ｔ Ｔ Ｐ ／ ￣ ． １
２ ０ ０
３ １ ４ ９
Ｏ ８ ／ Ａ ｕ ｇ ／ ２ ０ １ ３
１ ０ ： １７ ： ２３
Ｇ Ｅ Ｔ
ｈ ｔ ｔ ｐ ／ ｗ ｗ ｗ ． ｓ ｙ ｘ ｍ ｔ ． Ｃ Ｏ Ｏ Ｌ ｃ ｎ ／ ｈ ｏ ｕ ｓ ｉ ｎ ｇ ． ｐ ｈ ｐ
科 学技术
基于Ｗ ｅ ｂ 日志 的数据挖掘技术在Ｗ ｅ ｂ 机器人识 别 中的研 究
王 利 源
（ 沈 阳理 工大 学 ，辽 宁 沈 阳 ｌ １ ０ ０ ０ ０ ）
摘 要 ：数据挖掘是从大量数据 中发现人们未知的、感兴趣的、隐藏的知识。数据挖掘ｗ ｅ ｂ 服务器 日志记录具有 良好的结构，非常有利于数据挖 掘。由ＴＷ ｅ ｂ ￣务器 日志记录具有 良好的结构，因此，作为ｗ ｅ ｂ 使用挖掘 的一个分支，Ｗ ｅ ｂ 日志数据数据挖掘 ，具有独特 的理论和实践意义。本文利用 决策树分类法，对ｗ ｅ ｂ 服务器上保存的ｗ ｅ ｂ 日志进行数据挖掘 ，通过对 日志中所保存的信 息进行分析，总结出正常用户和Ｗ ｅ ｂ 机 器人访 问网页的模 式特
Baidu Nhomakorabea
请求 页面
ｈ ｔ ｔ ｐ ／ ｗ ｗ ｗ ． ｓ ｙ ｘ ｍ ｔ ． Ｃ Ｏ Ｉ ｎ ． Ｃ ｎ
ｈ ｔ ｔ ｐ ／ ｗ ｗ ｗ ． ｓ ｙ ｘ ｍ ｔ ． ｃ ｏ ｍ ． ｃ ｎ ／ ｓ ｅ ｒ ｖ ｅ ｒ ／ ｐ ｒ ０ ｄ ｕ ｃ ｅ ．
协议
Ｈ Ｔ Ｔ Ｐ ／ １ ． １
状态
表１ ． ｗ ｅ ｂ 服 务器 日志样 本
会话
１
２
Ｓ Ｅ Ｒ Ｖ Ｅ Ｒ ／ ｐ ｒ ｏ ｄ ｕ ｃ ｔ ． ｐ ｔ Ｉ ｐ
图１ ． Ｗ ｅ ｂ 会话
Ｉ Ｐ
＾
时间戳
０ ８ ／ Ａ ｕ ｇ ／ ２ ０ １ ３ １ ０
： １ ５ ： ２ １
请求方法
Ｇ Ｅ Ｔ
Ｈ Ｔ Ｔ Ｐ ／ １ ． １
２ ０ ０
７ ４ ６ ３
各次作业有效宽度因重叠量而减少。相邻作业面 间的最小重叠量不小 于１ ０ ０ ｍ ｍ ，并且纵 向接缝 的位置 应尽量避开缓慢行驶 的重 型车辆 的轮
迹。
２ ）横 向接 缝处 理
因每次施 工开始或终止而形成 的横 穿作业面的横向接缝是不连续 的，每次停机将形成一个严重影响再生材料均匀性 的横缝 。因此，应 要求施工单位在施工 中尽量减少停机现象，在不可避免时 ，应要求进 行如下处理 ：整个再生机组应倒退 ｌ ＿ ５ ２ ． ０ ｍ 的距离到达再生过的再生 材料上，以保证开始施 工后所有材料均得到处理。 （ ４ ）碾压时主要注意 以下事项： 平地机对再生层进行找平后 ，在最佳含水量时进行碾压： １ ）碾压 时如发现局部混合料有松散 或开裂时 ，应挖 除并换 补新 料，整平后继续碾压压实 。修补处应保证路面的平整度 。 ２ ）碾压时应根据天气及再生料含水量的实际情况，随时洒水 。 ３ ）碾压时压路机的轮迹重叠１ ／ ２ 轮迹 。 ４ ）碾压时要从路 的边缘向路 中间进行碾压，在碾压过程中要保持 压路机匀速前进 ；压路机 的选择遵循先轻后重 ，先慢后快的原则 （ ５ ）冷再生基层 的质量控制
Ｇ Ｅ Ｔ
ｐ ｈ ｐ
ｌ ｔ Ｔ Ｔ Ｐ ／ １ ． １
２ ０ ０
１ Ｏ １ ８ ５ ４ ６
１
０ ８ ／ Ａ ｕ ｇ ／ ２ ０ １ ３ １ ０
： １ ６ ： １ １
Ｇ Ｅ Ｔ
ｈ ｔ ｔ ｐ ／ ｗ ｗ ｗ ． ｓ ｙ ｘ ｍｔ ． ｃ ０ ｎ ｃ ｎ ／ ｈ ｏ ｕ ｓ ｉ ｎ ｇ ． ｐ ｈ ｐ
点。
关键词 ：数 据挖 掘 ；Ｗ ｅ ｂ 日志 挖掘 ； 决策 树
０ ． 引 言 Ｗ ｅ ｂ ］ ￣ 务 器通 常保存 了对Ｗ ｅ ｂ 页面 的一次访 问的 目志项 （ Ｗ ｅ ｂ日
的归纳推理算法之一，非常适合对Ｗ ｅ ｂ 日志的数据挖掘。
志 ）。它包括了所请求 的Ｕ Ｒ Ｌ ，发 出请求的Ｉ Ｐ 地 址和时间戳 。对于Ｗ ｅ ｂ 服务器，其上保存了大量 的Ｗ ｅ ｂ 访 问日志记录。对热点的Ｗ ｅ ｂ 站点每天 可 以记录下数 以百兆 的记录，这些为数据挖掘提供了有关Ｗ ｅ ｂ 动态 的丰 富 的信息 ，因此研究复杂的Ｗ ｅ ｂ 日志挖掘技术是十分重要的。Ｗ ｅ ｂ 数据 挖掘技术 ，从Ｗ ｅ ｂ日志 中提取有用的模式，这些模式能够揭示站点访 问 者的某些特性 ［ １ ］ 。 １ ． 决策树 的建立 Ｗ ｅ ｂ 机器人 （ Ｗ ｅ ｂ 爬行者 ）是一个软件程序，它可以跟踪 嵌入 网页 中的超链接 ，定位和获取Ｉ ｎ ｔ ｅ ｒ ｎ ｅ ｔ 上 的信息 。这些程序安装在搜 索引 擎 的入 口，收集索 引网页必须的文档。在应用Ｗ ｅ ｂ 挖掘技术分析人类的 浏览习惯之前，必须过滤掉Ｗ ｅ ｂ 机器人 的访问。 决策树是一种构建分类模 型的非参数方法 ，它不要求任何先验建 设，不假定类和其它属性服 从一定的概率分布 ［ ２ ］ 。它具有 分类 精度 高，生成模式简单 ，对噪声数据有很好的健壮性 。是 目前应用最广泛
Ｈ Ｔ Ｔ Ｐ ／ １ ． １
２ ０ ０
４ １ ３ ７ ８
ｌ １
２ ２ １ ． ２ ０ ０ ． １ ６ ４ ， ８ ３ ５ ． ９ ． ２ ． ２
０ ｇ ／ Ａ ｕ ｇ ／ ２ ０ １ ３ １ ０
： １ ６ ： １ ５
Ｇ Ｅ Ｔ
ｈ ｔ ｔ ｐ ／ ｗ ￣． ｓ ｙ ｘ ｍ ｔ ． Ｃ Ｏ Ｌ Ｄ ． Ｃ ｎ
２ ０ ０
字节数
６ ４ ２ ４
２ ２ １ ． ２ ０ ０ ． １ ３ ３ ． ４ ９
２ ２ １ ． ２ ０ ０ ． １ ４ ８ ． ５ ３ ２ ２ １ ． ２ ０ ０ ． １ ３ ３ ． ２ ５
０ ８ ／ Ａ ｕ ｇ ／ ２ ０ １ ３ １ ０
： １ ５ ： ３ ４
。
底 基层、垫层及路基 。采用冷再生技术施 工后 的基层承载能力有所 提 高，但 并不 能从根本上改变路的承载能力 。冷再生工艺结构层设计厚 度 为２ ５ ｃ ｍ ，弯沉盆 的影响范围影响可达８ ０ ｃ ｍ 。因此 ，施工过程中的压 实度及七天无侧限强度的检测成了重中之重 。 （ ６ ）养生及交通管制 在冷再生基层施工结束后，进 行洒水养生 。养生的合格标准是： 结构层表面始终保持潮湿 ，不可忽干互湿。养 生期间应封 闭交通。施 工车辆行驶速度不得超过３ ０ ｋ ｍ ／ ｈ 。