基于Web搜索的数据挖掘系统的研究与实现
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
搜索算 法基本 都 是 使用 模 糊 匹 配 ， 难 搜 索 到所 很 有符合要 求 的信息 。 另外 ， 如何 从 非格 式 化数 据 信 息 中有 效地 挖
（ ． ｃｏ ｌ ｆ ｏ ｕｅ １ Ｓｈ ｏ ｍｐｔｒ＆Ｉｆｒ ｔ ｎＥ ｇ ｅｒ ｇＣｈｎ ｚ ｏ ｓｔｔ ｆＴ ｃｎ ｌｇ Ｃ ａ ｇｈｕ２３ ０ ； ｏＣ ｎｏｍａ ｏ ｎｉ ｅｎ ， ａ ｇｈｕＩ ｔｕｅｏ ｅｈ ｏｏｙ，ｈ ｎ ｚｏ １０ ２ ｉ ｎ ｉ ｎｉ
２ Ｙ ｎｉｇＳｈｏ ， ｈｎ ｚｏ ｎｔｕｅｏ ｅｈｏｏ ， ｈｎ ｚｏ １０ ２ ． ａ ｌ ｃｏｌＣ ａｇｈ ｕＩｓｔｔ ｆ ｃ ｌｇ Ｃ ａｇｈ ｕ２ ３０ ） ｎ ｉ Ｔ ｎ ｙ
收 稿 日期 ：０ ００ —７ ２ １ －７２ 基 金 项 目 ： 州 工 学 院基 金 项 目（ ０ １ ） 常 ＹＮ ７ １ 作 者 简 介 ： 志 琴 （９ ８ 查 １６ 一 ）女 ， 士， ， 硕 副教 授 。
的结果 ： ①搜索结果很多， 往往有许多页， 信息太 过庞大 ； ②搜索到的数据信息大部分是无用信息 ， 属于垃圾信息 ， 且搜到信息的准确率不能保证 ； ③
第２ ４卷第 １期 ２１ ０ １年 ２月
常 州 工 学 院 学 报．
Ｊ ｕ ａ ｆＣｈ ｎ ｈ ｕ Ｉ ｔｔ ｔ ｆＴｅ ｈ ｏｌ ｙ ｏ ｒ ｌ ｏ ａ ｇｚ ｏ ｎｓｉｕ ｅ ｏ ｃ ｎ ｏｇ ｎ
Ｖ ｏ ． ４ Ｎｏ． １２ １
Ｒ ． ０１ ２ １
基 于 Ｗｅ 索 的数 据挖 掘 系统 的研 究 与实 现 ｂ搜
Ｗ ｅ ｉｅ Ｗ ｅ ｇ ｓ ｅｃ Ｄｅ ｌ ｇ ｗｉｈ ｔｅ ｅ ｄａ ｓａ ｃ ｍｐｌ ａｅ ｒ ｃ ｓ ． ｅ Ｃ ｌ ａ ｑ ｉｅ ｕ ｅ ｕ ａ ｎ ｂ ｓｔｓ， ｂ ｐａ ｅ ， ｔ ． ａｉ ｔ ｓ ｔ ｉ ｏ ｎ ｈ ａ ｉ ｔｄ ｐ ｏ ｅ ｓ Ｗ ａｌ ｃ ｕ ｒ ｓ ｆ ｌｄ ｔ ａ ｄ ｃ ａ ｉ ｆ ｒ ｔｏ ｙ ｍｅ ｎ ｆ ｄ ｔ ｎ ｎ Ｔｈｉ ａ ｒｍａ ｅ ａ ｒ ｓ ａｃ ｎ ｓ ａ ｃ ｉ ｇ ａ ｎ ｎ ｆｔ ｅ Ｗ ｅ ａ ｎ ｏ ｍａｉ ｎ ｂ ａ ｓｏ ａ ｍｉ ｉ ｇ． ａ ｓｐ ｐｅ ｄ ｅ ｅ ｈ ｏ ｅ ｈ ｎ ｎｄ ｍ ｉ ｇ ｏ ｈ ｂ ｄ ｔ ｒ ｒ ｉ ａ ｎ ｖ ｌｐｅ ｅ ｆｓ ｓｅ ｉｈ ｐ ｒｏ ａ ｄ ｄｅ ｅｏ ｄ ａ ｓ ｔｏ ｙ ｔ ｍｓｗｈ ｃ ｅ ｆ ｒ ｅ ｅ ｃ ｎ ａ ｏ ｔ ｅ Ｉ ｔｍ ｅ ｎｄ ｄ ｔ ｎｎｇ ａ ｄ ｃ ｅ ｔｄ ｍ ｄ ｓ ａ ｈ ｇ ｄ ｔ ｆ ｍ ｈ ｎ ｅ ｔａ ａａ ｍｉ ｒ ｉ ａｒ ｉ ｒ ａｅ ｎ
任何一种搜索工具搜索信息都会得到大量的冗余 信息， 从而造成用户查找到需要的信息越来越 困 难 。如何优质 高效地搜索 到用户期望 得到 的信 息， 是当前迫切需要解决的问题。 在 Ｉｔｍｅ 上信 息检索方 式 主要有 ： ｎｅ ｔ Ｉ使 用 网 站 中提 供 的 搜 索 工 具 直 接 搜 索 本 ） 网站 的 内容 （ 或使 用搜 索 引擎 公 司 提供 的搜 索工
ａ ｕｓ ｆ ｌｄ ｔ ｅ ｃ ｎ ｙ ｔｍ ． ｅｕ ａ ｓ ａ ｈ ｇ ｓ ｓｅ ａ ｒ ｉ Ｋ ｅ ｏ ｄｓ Ｗ ｅ ｅ ｒ ｈｎｇ； ａ ｎ ｎｇ； ｅ ｃ ｎ ｎ ｉ ｅ ｙｗ ｒ ： ｂ ｓａｃ ｉ ｄｔ ｍ ｉ ａ ｉ ｓ ａ ｈ ｇ ｅ ｇｎ ｒ ｉ
０ 引言
面对 Ｗｅ 的 海量 信 息 ， Ｉｔ ｔ 使 用 ｂ上 在 ｎｅ 上 ｍｅ
具 搜索 Ｉｔ ｔ 的所有 网站 ） ｎｅ 上 ｍｅ 。 ２ 向搜索服 务 器发 出指令 ， ） 由服务 器 通过 基
于关键字 匹配 技 术搜 索 出相关 的 内容 ， 通过 一 并 定 的排序 后呈 现在用 户面前 。这类 搜索 方式 得到
对 Ｗｅ ｂ数据搜 索与挖掘 进行 了研 究 ， 开发 了一 套从 Ｉｔ ｎｔ ｎｅ ｅ 上搜 索数 据 ， 对这 些数 据进 行初 步挖 ｒ 并
掘， 生成 有效数 据 的搜 索系统 。 关键 词 ： ｂ搜 索； 据挖掘 ； 索 引擎 Ｗｅ 数 搜 中图分类 号 ：Ｐ ９． Ｔ ３ １３ 文献标 志码 ： Ａ 文章 编号 ：６ １— ４ ６ ２ １ ）１ ０ ３ ０ １７ ０３ （０ １Ｏ — ０６— ６
Ａ ｂ ｔ ａ ｔ： ｅ ｒ ｈ ｎ ｅ ｈ ｌ ｙ ｃ ｎ ｂ ｓ ｄ ｔ ｅ ｒ ａ ｅ ｌｏ ａａ ｃ ｓｒ ｃ Ｓ ａ ｃ ｉ ｇ ｔ ｃ ｎｏｏｇ ａ ｅ ｕ ｅ ｏ ｇ ｔａ ｇ ｅ ｔｄ ａ ｆｄ ｔ ｏｍｉ ｇ ｆｏ ｈ ｎｅ ｎ ｔｓ ｃ ｓ ｎ ｒ ｍ ｔｅ Ｉ ｔｒ ｅ ｕ ｈ ａ
Ｉ ｐｌ ｍ ｅ ｔ ｔｏ ｎｄ Ｒｅ ｅ ｒ ｈ ｆ ｒ ｔ ｙ ｔ ｍ ｆ Ｄａ ａ Ｍ ｉ ｉ ｍ ｅ ｎ ａ ｉ ｎ ａ ｓ ａ ｃ ｏ ｈｅ Ｓ ｓ ｅ ｏ ｔ ｎ ｎｇ Ｂａ ｅ ｎ Ｗ ｅ ａ ｃ ｎｇ ｓｄ ｏ ｂ Ｓｅ ｒ ｈｉ
Ｚ ＨＡ ｉｑｉ Ｚｈ ． ｎ’ ＧＡ Ｏ Ｂｏ
查 志琴 高 波
（．常州工学院计算机信息工程学院， １ 江苏 常州 ２ ３０ ２ １０２；．常州工学院延陵学 院， 江苏 常州 ２ ３０ ） １０ ２
摘 要 ： 用搜 索技 术从 Ｉｔｍｅ 上搜 索到 大量的数据 ， ｗｅ 利 ｎｅ ｔ 如 ｂ网站 、 网页等信 息 ， 对这 些数 据 的 处理是 一 个非常复 杂的过程 ， 常可 以使 用数 据挖掘 的方 法 ， 通 提取 其 中有用的数 据和知 识 。本课题
（ ． ｃｏ ｌ ｆ ｏ ｕｅ １ Ｓｈ ｏ ｍｐｔｒ＆Ｉｆｒ ｔ ｎＥ ｇ ｅｒ ｇＣｈｎ ｚ ｏ ｓｔｔ ｆＴ ｃｎ ｌｇ Ｃ ａ ｇｈｕ２３ ０ ； ｏＣ ｎｏｍａ ｏ ｎｉ ｅｎ ， ａ ｇｈｕＩ ｔｕｅｏ ｅｈ ｏｏｙ，ｈ ｎ ｚｏ １０ ２ ｉ ｎ ｉ ｎｉ
２ Ｙ ｎｉｇＳｈｏ ， ｈｎ ｚｏ ｎｔｕｅｏ ｅｈｏｏ ， ｈｎ ｚｏ １０ ２ ． ａ ｌ ｃｏｌＣ ａｇｈ ｕＩｓｔｔ ｆ ｃ ｌｇ Ｃ ａｇｈ ｕ２ ３０ ） ｎ ｉ Ｔ ｎ ｙ
收 稿 日期 ：０ ００ —７ ２ １ －７２ 基 金 项 目 ： 州 工 学 院基 金 项 目（ ０ １ ） 常 ＹＮ ７ １ 作 者 简 介 ： 志 琴 （９ ８ 查 １６ 一 ）女 ， 士， ， 硕 副教 授 。
的结果 ： ①搜索结果很多， 往往有许多页， 信息太 过庞大 ； ②搜索到的数据信息大部分是无用信息 ， 属于垃圾信息 ， 且搜到信息的准确率不能保证 ； ③
第２ ４卷第 １期 ２１ ０ １年 ２月
常 州 工 学 院 学 报．
Ｊ ｕ ａ ｆＣｈ ｎ ｈ ｕ Ｉ ｔｔ ｔ ｆＴｅ ｈ ｏｌ ｙ ｏ ｒ ｌ ｏ ａ ｇｚ ｏ ｎｓｉｕ ｅ ｏ ｃ ｎ ｏｇ ｎ
Ｖ ｏ ． ４ Ｎｏ． １２ １
Ｒ ． ０１ ２ １
基 于 Ｗｅ 索 的数 据挖 掘 系统 的研 究 与实 现 ｂ搜
Ｗ ｅ ｉｅ Ｗ ｅ ｇ ｓ ｅｃ Ｄｅ ｌ ｇ ｗｉｈ ｔｅ ｅ ｄａ ｓａ ｃ ｍｐｌ ａｅ ｒ ｃ ｓ ． ｅ Ｃ ｌ ａ ｑ ｉｅ ｕ ｅ ｕ ａ ｎ ｂ ｓｔｓ， ｂ ｐａ ｅ ， ｔ ． ａｉ ｔ ｓ ｔ ｉ ｏ ｎ ｈ ａ ｉ ｔｄ ｐ ｏ ｅ ｓ Ｗ ａｌ ｃ ｕ ｒ ｓ ｆ ｌｄ ｔ ａ ｄ ｃ ａ ｉ ｆ ｒ ｔｏ ｙ ｍｅ ｎ ｆ ｄ ｔ ｎ ｎ Ｔｈｉ ａ ｒｍａ ｅ ａ ｒ ｓ ａｃ ｎ ｓ ａ ｃ ｉ ｇ ａ ｎ ｎ ｆｔ ｅ Ｗ ｅ ａ ｎ ｏ ｍａｉ ｎ ｂ ａ ｓｏ ａ ｍｉ ｉ ｇ． ａ ｓｐ ｐｅ ｄ ｅ ｅ ｈ ｏ ｅ ｈ ｎ ｎｄ ｍ ｉ ｇ ｏ ｈ ｂ ｄ ｔ ｒ ｒ ｉ ａ ｎ ｖ ｌｐｅ ｅ ｆｓ ｓｅ ｉｈ ｐ ｒｏ ａ ｄ ｄｅ ｅｏ ｄ ａ ｓ ｔｏ ｙ ｔ ｍｓｗｈ ｃ ｅ ｆ ｒ ｅ ｅ ｃ ｎ ａ ｏ ｔ ｅ Ｉ ｔｍ ｅ ｎｄ ｄ ｔ ｎｎｇ ａ ｄ ｃ ｅ ｔｄ ｍ ｄ ｓ ａ ｈ ｇ ｄ ｔ ｆ ｍ ｈ ｎ ｅ ｔａ ａａ ｍｉ ｒ ｉ ａｒ ｉ ｒ ａｅ ｎ
任何一种搜索工具搜索信息都会得到大量的冗余 信息， 从而造成用户查找到需要的信息越来越 困 难 。如何优质 高效地搜索 到用户期望 得到 的信 息， 是当前迫切需要解决的问题。 在 Ｉｔｍｅ 上信 息检索方 式 主要有 ： ｎｅ ｔ Ｉ使 用 网 站 中提 供 的 搜 索 工 具 直 接 搜 索 本 ） 网站 的 内容 （ 或使 用搜 索 引擎 公 司 提供 的搜 索工
ａ ｕｓ ｆ ｌｄ ｔ ｅ ｃ ｎ ｙ ｔｍ ． ｅｕ ａ ｓ ａ ｈ ｇ ｓ ｓｅ ａ ｒ ｉ Ｋ ｅ ｏ ｄｓ Ｗ ｅ ｅ ｒ ｈｎｇ； ａ ｎ ｎｇ； ｅ ｃ ｎ ｎ ｉ ｅ ｙｗ ｒ ： ｂ ｓａｃ ｉ ｄｔ ｍ ｉ ａ ｉ ｓ ａ ｈ ｇ ｅ ｇｎ ｒ ｉ
０ 引言
面对 Ｗｅ 的 海量 信 息 ， Ｉｔ ｔ 使 用 ｂ上 在 ｎｅ 上 ｍｅ
具 搜索 Ｉｔ ｔ 的所有 网站 ） ｎｅ 上 ｍｅ 。 ２ 向搜索服 务 器发 出指令 ， ） 由服务 器 通过 基
于关键字 匹配 技 术搜 索 出相关 的 内容 ， 通过 一 并 定 的排序 后呈 现在用 户面前 。这类 搜索 方式 得到
对 Ｗｅ ｂ数据搜 索与挖掘 进行 了研 究 ， 开发 了一 套从 Ｉｔ ｎｔ ｎｅ ｅ 上搜 索数 据 ， 对这 些数 据进 行初 步挖 ｒ 并
掘， 生成 有效数 据 的搜 索系统 。 关键 词 ： ｂ搜 索； 据挖掘 ； 索 引擎 Ｗｅ 数 搜 中图分类 号 ：Ｐ ９． Ｔ ３ １３ 文献标 志码 ： Ａ 文章 编号 ：６ １— ４ ６ ２ １ ）１ ０ ３ ０ １７ ０３ （０ １Ｏ — ０６— ６
Ａ ｂ ｔ ａ ｔ： ｅ ｒ ｈ ｎ ｅ ｈ ｌ ｙ ｃ ｎ ｂ ｓ ｄ ｔ ｅ ｒ ａ ｅ ｌｏ ａａ ｃ ｓｒ ｃ Ｓ ａ ｃ ｉ ｇ ｔ ｃ ｎｏｏｇ ａ ｅ ｕ ｅ ｏ ｇ ｔａ ｇ ｅ ｔｄ ａ ｆｄ ｔ ｏｍｉ ｇ ｆｏ ｈ ｎｅ ｎ ｔｓ ｃ ｓ ｎ ｒ ｍ ｔｅ Ｉ ｔｒ ｅ ｕ ｈ ａ
Ｉ ｐｌ ｍ ｅ ｔ ｔｏ ｎｄ Ｒｅ ｅ ｒ ｈ ｆ ｒ ｔ ｙ ｔ ｍ ｆ Ｄａ ａ Ｍ ｉ ｉ ｍ ｅ ｎ ａ ｉ ｎ ａ ｓ ａ ｃ ｏ ｈｅ Ｓ ｓ ｅ ｏ ｔ ｎ ｎｇ Ｂａ ｅ ｎ Ｗ ｅ ａ ｃ ｎｇ ｓｄ ｏ ｂ Ｓｅ ｒ ｈｉ
Ｚ ＨＡ ｉｑｉ Ｚｈ ． ｎ’ ＧＡ Ｏ Ｂｏ
查 志琴 高 波
（．常州工学院计算机信息工程学院， １ 江苏 常州 ２ ３０ ２ １０２；．常州工学院延陵学 院， 江苏 常州 ２ ３０ ） １０ ２
摘 要 ： 用搜 索技 术从 Ｉｔｍｅ 上搜 索到 大量的数据 ， ｗｅ 利 ｎｅ ｔ 如 ｂ网站 、 网页等信 息 ， 对这 些数 据 的 处理是 一 个非常复 杂的过程 ， 常可 以使 用数 据挖掘 的方 法 ， 通 提取 其 中有用的数 据和知 识 。本课题