搜索引擎垃圾网页检测模型研究

和链接 特征 的检 测 模 型 以及 各种 其 它类 型 的检 测模 型 ， 对搜 索 引 擎垃圾 网 页检 测 的 未 来研 并
究 方 向 进 行 了展 望 ．
［ 关键 词 ］ 索引 擎 ； 搜 垃圾 网页 ； 垃圾 网 页检 测 ； 作 弊 反 ［ 图分类 号 ］ Ｐ９ ．８ ［ 献标 志码 ］ ［ 章编 号 ］６３—８ １ （０ １０ ０ ５ ０ 中 Ｔ ３ ３０ ３ 文 Ａ 文 １７ ０２ ２ １ ）５— ０ ３— ５ 随着 互联 网各 种 网页数 量 爆 炸式 增 长 ， 户 用
型 主要 针对 采用 了关 键词 堆砌 技 术 的垃 圾 网 页 ，
页及 垃圾 网页 检 测都 进 行 了深 人 的研 究 ． 方便 为 各 国学者进行 对 比研究 ，ａｔｌＣ Ｃｓｌ ．等 组织志愿 ｉｏ
者 收集 整理 了 ＷＥ Ｓ Ａ —Ｕ ＜０ ６垃圾 网页集 ． ＢＰ Ｍ ｌ ０ ２
元 分类 问题 ． 它首 先 需 要 学 习一 个 网 页分 类 器 ， 这 个 网页分 类器 可 以预测 网页 的类 别 ： 正常 网页
或 垃圾 网页 ． 分 类 原 理 为 ： 先 模 拟 搜 索 引 擎 其 首 的网 络爬 虫从 Ｗｅ ｂ爬 行 一 定 数 量 的 网页 ， 后 然
手 工识 别 已下载 的网页是 否 为垃 圾 网页 ． 载 的 下
其 中的垃圾 网页都 由志愿 者 手 工挑 选 出， 供 给 提
使用搜索引擎查 找信 息 已经成 为了最近几年信 息检 索 的主要 方式 ． 多数 网站管 理 者 都希 望 他 大 们的网站在搜索引擎的搜索结果中排名靠前 ， 很 多 的 网站 管 理者 会 采 取 合 理 的搜 索 引 擎优 化技 术 （ Ｅ １通 过 在 网页 中提 供 给 用 户 更 多 、 Ｓ Ｏ）１， 更
其典 型 为 Ａｅａｄｏ ｔ ｌｓ ｌ ｎｒｓＮｏ ａ 等 设 计 的 垃圾 网 ｘ ｕ
页检 测 模 型． ｌｘｎ ｒｓＮ ｏ ｌ 等 根 据正 常 网页 Ａ ｅａ ｄｏ ｔｕａ ｓ
ＷＥ Ｓ Ａ — Ｋ ０６于 ２０ Ｂ Ｐ Ｍ Ｕ ２０ ０６年 ５月 开始 ， 收集 了 １０００个 Ｕ ５ ０ Ｋ域名 下 的 总计 ７ ０ ０ ７９０００个 网页 ，
有效 的信 息 ， 以提 升他们 的网 站在 搜索 引擎 的搜 索结 果 中 的排名 ． 有 些 网站 则 通 过 一 些 “ 道 而 不 德” 的方式 来 提升在 搜 索 引擎 的搜索 结果 中 的排 名 ． 有 甚者 ， 了吸 引访 问量 ， 动 或 自动 地 制 更 为 手 造一些 网页． 些 网页 没有 提供 给 用户 任 何 有效 这 信息 ． 这些 网页 是 直 接 针 对 搜 索 引 擎 的 ， 是 在 但 搜索 引擎 的搜 索结 果 中获得 了很 高 的排 名 ， 当用
［ 收稿 日期 ］０ １— ５— ７ ２ １ ０ ０
和垃 圾 网页 的 内容差 别 ， 网页 的 内容 特征 进 行 对
了提取 ， 统计 了数据集 中网页的语言相关和语言
［ 基金项 目］ 国家 自然 科学基 金项 目（ ０ ０ １ １ 云南省 教育厅科 学研究 基金项 目（ ０ ０ ０ ） ６ ９ ３３ ）； ２ １ Ｙ１８ ［ 作者简介 ］ 贾志洋（ ９０一） 男 ， １８ ， 吉林市人 ， 讲师 ， 硕士 ， 主要从事信息检索方面 的研究．
网页集 被划 分为 训练 网页 集 和测试 网 页集 ， 据 根
索 引擎 垃圾 网页 （ ｂＳａ ） ． Ｗｅ ｐｒ ｅ 搜 索引擎 垃圾 网页 导致 的主 要后 果 为 ： 索 搜
引擎检索结果质量下降 ， 搜索引擎公司的资源的
消耗 和用户 体 验 的 降低 ． 为解 决 数 量 日益 增 长 的
垃圾 网页产 生 的 各种 问题 ， 内外 学者 对 垃 圾 网 国
源自文库
机器学习的算法 ， 使用训 练网页集学 习分类器 ， 然后 使 用分 类 器 对 测 试 网 页集 中的 每 一个 网 页 进行 分 类预测 ， 以测试 分 类器 的分 类效 果 ． １ １ 基 于 内容 的垃圾 网 页检 测模 型 ． 基 于 网页 内 容 特 征 分 析 的 垃圾 网 页 检测 模
户查询 某些 关键 词 的时候 ， 就有 可 能访 问这 些搜
相关 实验研究 免费使用 ． 大量 的学者 都使用 ＷＥ — Ｂ ＳＡ Ｐ Ｍ—Ｕ ２０ 为其实验 样本集 ． Ｋ ０６作
１ 垃 圾 网 页 常 见 检 测 模 型
国 内外 的学 者 提 出 了各 种 基 于 机 器 学 习 的 垃圾 网页检 测模 型 ． 大多 数基 于 机器 学 习 的垃 圾 网页检 测模 型 都 将 垃 圾 网 页 的 检 测 视 为 一个 二
［ 摘
要］ 索引擎垃圾 网页的检测 已经成为近年来机 器学习领域的研 究热点． 搜 在对搜 索引擎
垃圾 网页及 其使 用的各 种作 弊技 术进 行介 绍 的基 础上 ， 对各种 垃圾 网 页检 测模 型进 行综 述 ， 针
分别介 绍 和分析 基 于网 页 内容特 征 的检 测模 型 、 于链 接 结构 的检 测模 型 、 基 结合 网 页 内容特 征
０ｃ ．．２ １ ｔ ０１
Ｖ０ ． ０ Ｎｏ ５ １３ ．
搜 索 引擎 垃 圾 网 页检 测 模 型 研 究
贾志洋 夏 幼明 ， ， 高 炜 王勇刚 ，
（． １ 云南大学旅游文化学 院，云南 丽江 ６ ４ ０ ； ．云南 师范大学信息学 院，云南 昆明 ７ １０ ２ ６０９ ） ５ ０ ２
２１ ０ １年 １ Ｏ月 第３ Ｏ卷 第 ５期
重庆文理学 院学报 （ 自然科学版 ）
Ｊｕｎ ｌ ｆ ｈｎ ｑｎ ｎｖｒｔ ｆ ｒ ｎ ｃｅｃｓ（ ａｕａ ｃ ｎｅＥ ｉｏ ） ｏｒａ ｏｇｉｇＵ ｉｅ ｉ ｏ ｔ ａｄＳｉｎｅ Ｎ ｔｒｌ ｉ ｃ ｄｔ ｎ ｏＣ ｓｙ Ａ ｓ Ｓｅ ｉ