Web文本分类及其阻塞减少策略

Ｗｅ ｂ文本分 类及 其阻塞减少策 略
徐春荣 欧阳为民 勾海波
（ 上海 大学计算机工程与科学学院 上海 ２０７ ） （ ００２ 上海大学计算 机网络中心 上海 ２０７ ） ００２
摘 要
Ｗｅ ｂ挖掘 中， 根据 内容对 Ｗｅ ｂ文档进行分类是 至关重要 的一步。在 Ｗｅ 档分 类 中一种通 常 的方法是层 次型分类方 ｂ文
（ ｃｏｌｆＣ ｍ ｕｅ ｎ ｉｅｒ ｇａ ｄＳｉ ｃ，ｈ ｎｈ ｉＵ ｉ ｒｔ，ｈ ｎ ｈ ｉ ０ ０ ２ Ｃ ｉａ Ｓｈｏ ｏ ｐ ｔ Ｅ ｇｎｅｎ ｎ ｃ ｎｅＳ ａｇ ａ ｎｖ ｓｙＳ ａ ｇ ａ ０ ７ ， ｈｎ ） ｏ ｒ ｉ ｅ ｅｉ ２ （ ａ ｐ ｓＮｔｏｋＣｎ ｒＳａ ｇ ａ ｎｖｒ ｙＳ ａ ｇ ａ ２ ０ ７ Ｃ ｉａ Ｃ ｍ ｕ ｅ ｒ ｅｔ ，ｈｎ ｈ ｉ ｉ ｓ ，ｈｎ ｈ ｉ ０ ０２， ｈｎ ） ｗ ｅ Ｕ ｅ ｉ ｔ
所以 Ｗｅ ｂ文本挖掘有其独 特的特征 。 目前 Ｗｅ ｂ文本 挖掘 主要 包括 Ｗｅ 文本 内容的挖 掘 和结构 的挖掘 ， 中， ｂ 其 本文 牵涉 到的 主要是 Ｗｅ ｂ文本 内容 的挖掘 。
于， 接下来判断是否属于分类树 中的一个或多个子类别。重复
该 过程 ， 直到这个文档不 能被归属 到任何 的下一层 子节点类别 或到达叶子类别 。当对 Ｗｅ ｂ文档 进行 Ｈ Ｃ分类 时 ， Ｔ 经常会 出 现不能把文档归 属到 具体 类别 的情 况 ， 即使 文档 属 于该类别 。
首先判断一个文档是否属 于一个分 类树 的根节点类 别 ， 果属 如
１ Ｗｅ ｂ文本 内容挖掘和 文本分 类
Ｗｂ ｅ 文本挖掘是指从 大量 的 Ｗｅ ｂ网页 的集 合 中发现 隐含 的模 式。Ｗｅ ｂ文本挖掘的定 义和一般 数据挖 掘的定义 相似 ， 但 是因为 Ｗｅ 文档对象有 巨量 、 、 构化或无 结构等特 点 ， ｂ 分散 半结
ｎ ｍｅｙ Ｔ ｒｓ ｏｄ Ｒｅ ｕ ｔ ｎ， ｓｒ ｔｄ Ｖｏｉｇｔ ｄ ｒｓ ｈ ｌｃ ｉｇｐｏ ｌｍ ｎ Ｗｅ ｅ ｔ ｌｓｉｃ ｔ ｎ ａ ｌ ， ｈ ｈ ｌ ｄ ｃｉ Ｒｅ ｔｃｅ ｔ ａ ｄ ｅｓｔｅｂｏ ｋｎ ｒｂｅ ｉ ｂ ｔｘ ａｓｆ ａｉ ． ｅ ｏ ／ ｎ ｏ ｃ ｉ ｏ Ｋｅ ｗｏ ｄ ｙ ｒｓ Ｄ ｔ ｎｎ Ｗｅ ｎｎ Ｃ ａｓ ｃ ｔ ｎ ａａｍｉｉ ｇ ｂ ｍｉｉｇ ｌｓｉ ａｉ ｉ ｆ ｏ
ｋｎ ｈｃ ｆ ｏｕ ｅｔ ｗｏ ｇ ｊｃ ｄｂ ｅｃ ｓｉｅ ｔ ｉ ｅ－ ｖｌ ａｄｃｎｏ ｂ ａｓｄｔ ｅｃ ｓｉｅｓ ｔｏ ｅ－ ｖｌ．ｎｔｉ ｉ ｗ ｉ ｒ ｅ ｔ ｄｃ ｍ ｎｓ ｒｎｌ ｒ ｅｔ ｙｔ ｌ ｓ ｒ ａ ｈｇ ｒｅｅｓ ｎ ａｎｔ ｅ ｓｅ ｔ ｌ ｓ ｒ ａ ｌ ｒｌ ｅ Ｉ ｓ ｇ ｈｅｒ ｏ ｓ ｙｅ ｅ ｈ ａ ｆｓ ｈ ｌ ｉ ｐ ｏｈ ａ ｆ ｗ ｅ ｓ ｈ ｉ
维普资讯
第２ ４卷第 １ 期
２０ ０ ７年 １月
计 算机 应 用与软件
Ｃ ｍｐ ｔｒＡｐ ｌ ａｉｎ ｎ ｏ ｗ ｒ ｏ ｕｅ ｐｉ ｔ ｓａ ｄ Ｓ ｆ ａｅ ｃ ｏ ｔ
Ｖｏ ． ４， ． １ ２ Ｎｏ １
Ｊｎ ２ ０ ａ ．０ ７
ቤተ መጻሕፍቲ ባይዱ
ｉ ｅｃ ｔｇ ｒ ｒｅａ ｄｃａｓｆｉｇｔｘ ｏ ｕ ｎｓｉ ｐｄ ｗ ｎ ｅ． ｗｅ ｅ ． ｅｈｅａｃ ｉａ ｅｔ ｌｓｉ ｃｔ ｎｍｅｈ ｄ ｕｆｒ ｒｍ ｂｏ － ｎｔ ａｅ ｏｙｔ ｎ ｌｓｉ ｎ ｔ ｃ ｍｅ ｔ ｎａｔ — ｏ ｎｍａ ｎ ｒＨｏ ｖ ｒ ｔ ｉｒｒｈｃ ｔｘ ａｓｆ ａｉ ｔｏ ｓｓｆ ｏ ｌｃ ｈ ｅ ｙ ｅ ｄ ｏ ｈ ｌ ｃ ｉ ｏ ｅｆ
情况 。
关键词
数据挖掘
Ｗｅ ｂ挖掘
分类
、 ＥＢ ＥＸＴ ＣＬＡＳ Ｉ ＣＡＴＩ ｖ Ｔ ．Ｓ ＦＩ ＯＮ ＡＮＤ ＢＬＯＣＫＩ ＮＧ ＲＥＤＵＣＴＩ ＯＮ ＴＲＡＴ Ｓ ＥＧＩ ＥＳ
Ｘｕ Ｃ ｕ ｒｎ Ｏｕ ａ ｇ Ｗｅｍｉｇ Ｇｏ ｉｏ ｈ ｎｏ ｇ ｙｎ ｉ ｎ ｕ Ｈａｂ
ｐ ｐ ｒｗ ｓ ｌｓｉｅ －ｅ ｔｃｐ ｒ ｒ ｎ ｅｍｅ ｓ ｒ ｎ ｗｎａ ｌｃ ｉｇｆｃｏ ｏｄ ｔｒ ｎ ｈ ｘｅ ｔ ｆｔｅｂｏ ｋｎ ｎ ｓ ｔｏ ｓ ａ ｅ ， ｅ ｕｅａｃａ ｓ ｒｃｎｒ ｅ ｏｍａ ｃ ａ ｕｅｋ ｏ ｓｂｏ ｋｎ ａ ｔｒｔ ｅｅｍｉｅｔｅｅ ｔｎ ｌｃ ｉｇａ ｄｕ ｅｔ ｍｅｈ ｄ ， ｉ ｆ ｉ ｆ ｏ ｈ ｗｏ
法， 这种方法采用自顶向下的方式把文档分类到一个分类树的相应类别。然而， 层次型分类方法在对文档进行分类时经常产生待分
类 的文档在分类树 的上层分 类器被错误地 拒绝的现 象（ 阻塞） 。针对这种现象 ， 采用 了以分 类器 为 中心 的阻塞 因子 去衡 量 阻塞 的程 度， 并介绍 了两种新的层次型分类方法 ， 即基于降低 阈值 的方法和基 于限制 投票的方法 ， 去改善 Ｗｅ ｂ文档 分类 中文档被 错误 阻塞 的
例如 。 某一 文档 内容 是讲猫 这 种具 体动 物 的， 对其 分类 假设 但 时， 如果存在一个这样 的类别层次 ： 动物一猫科动物一猫 、 老虎，
Ａｂ ｔａ ｔ ｓｒ ｃ Ｏｎ ｏ ｅｃ ｍｍｏ ｐ ｒａ ｈｉ ｂ ｔｘ ｌｓｉｃ ｔ ｎｉ ｈｅａｃ ｉａ ｘ ｌｓｉｃ ｔ ｎｔａ ｎ ｏｖ ｓａ ｓｃａｉｇｃａｓｆ ｒ ｉ ｏ ｅ ｎａ ｐｏ ｃ ｎ Ｗｅ ｅ ｔ ａ ｓ ｉａｉ ｉｒｒｈｃｌｔ ｔ ａ ｓ ａｉ ｈ ｔ ｖ ｌｅ ｓｏ ｉｔ ｌｓｉｅｓｗ ｔ ｎ ｄ ｓ ｃ ｆ ｏ ｓ ｅ ｃ ｉ ｆ ｏ ｉ ｎ ｉ ｈ