Web信息挖掘现状及应用前景
合集下载
基于web数据挖掘技术——-web内容挖掘设计与实现
摘要ＷＷＷ＂是个丌放的全球性资源，它是世界上最丰富和最密集的信息来源。
随着ＷＷＷ上信息的爆炸性增长，在如此海量的数据中发现有用的信息变得越来越困难。
数据挖掘就是从大量的数据中发现隐含的规律性的内容，解决数据的应用质量问题。
充分利用有用的数据，废弃虚伪无用的数据，是数据挖掘技术撮重要的应用。
因此，采用数据挖掘技术从ＷＷＷ上提取隐含的、未知的、非平凡的及有潜存心用价值的信启、，具有十分重要的现实意义和广泛的应用前景。
本文首先简要论述了ＷＷＷ发展的基本现状以及当前存在的一些问题。
随后，简要介绍了数据挖掘技术的基本概念、原理，接着，概要的介绍了本文对于Ｗｅｂ数据挖掘所用到的技术一Ｊａｖａ和ＸＭＬ技术，在此基础上研究了数据挖掘技术在ＷＷＷＬ的应用，针对Ｗｅｂ数据内容挖掘进行了详细地论述。
文中通过一个具体的案例详细论述了实现Ｗｅｂ数据内容挖掘的一种方法以及对该方法的分析。
最后，对全文进行了总结。
关键词：ＷＷＷ，Ｗｅｂ数据挖掘，ＸＭＬＡｂｓｔｒａｃｔＴｈｅＷｏｒｌｄＷｉｄｅＷｅｂｉｓａｄｉｓｔｒｉｂｕｔｅｄｇｌｏｂａｌｉｎｆｏｒｍａｔｉｏｎｒｅｓｏｕｒｃｅｃｏｎｔａｉｎｉｎｇａｌａｒｇｅａｍｏｕｎｔｏｆｄａｔａｒｅｌｅｖａｎｔｔｏｅｓｓｅｎｔｉａｌｌｙａｌｌｄｏｍａｉｎｓｏｆｈｕｍａｎａｃｔｉｖｉｔｙ．ＧｉｖｅｎｔｈｅｈｊｇｈｒａｔｅｏｆｔｈｅｖｏｌｕｍｅｏｆｄａｔａａｖａｉｌａｂｌｅｏｎｔｈｅＷＷⅥｉｆｉｎｄｉｎｇｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎｉｎｓｕｃｈａｌａｒｇｅａｍｏｕｎｔｏｆｄａｔａｂｅｃｏｍｅｓａｍｏｒｅｄｉｆｆｉｃｕｌｔｐｒｏｃｅｓｓｅｖｅｒｙｄａｙ．ＤａｔａＭｉｎｉｎｇｉｓｔｈｅｔｅｒｍｇｉｖｅｎｔＯｔｈｅａｕｔｏｍａｔｅｄｄｉｓｃｏｖｅｒｙｏｆｎｏｎ—ｏｂｖｉｏｕｓ，ｐｏｔｅｎｔｉａｌｌｙｕｓｅｆｕｌａｎｄｐｒｅｖｉｏｕｓｌｙｕｎｋｎｏｗｎｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｌａｒｇｅｄａｔａｓｏｕｒｃｅｓ．ＳｏｏｂｔａｉｎｉｎｇｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎｂｙＤａｔａＭｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｉｎｔｅｌｌｉｇｅｎｔｌｙａｎｄａｕｔｏｍａｔｉｃａｌｌｙ，ｉｍｐｒｏｖｉｎｇｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅＷＷＷｈａｓｔｒｅｍｅｎｄｏｕｓａｐｐｌｉｃａｔｉｏｎｖａｌｕｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｆｉｒｓｔｇｅｎｅｒａｌｌｙｉｎｔｒｏｄｕｃｅｔｈｅｉｍｐｒｏｖｅｍｅｎｔｏｆＷＷＷａｎｄｓｏｍｅｐｒｏｂｌｅｍｓｕｎｓｏｌｖｅｄ．Ａｎｄｔｈｅｎｗｅｄｅｓｃｒｉｂｅｔｈｅｂａｓｉｃｃｏｎｃｅｐｔｓａｎｄｔｈｅｏｒｉｅｓｏｆｄａｔａｍｉｎｉｎｇ．ＴｈｅｆｏｌｌｏｗｉｎｇｉｓｄｉｓｓｅｒｔａｔｅｄｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｄａｔａｍｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｔｏｔｈｅＷｏｉ’ｌｄＷｉｄｅＷｅｂ，ａｎｄｄｉｓｃｕｓｓｉｎｄｅｔａｉｌｔｈｅｃｏｎｔｅｎｔ、ｃｈａｒａｃｔｅｒｉｓｔｉｃ、ｐｒｏｂｌｅｍｓｕｎｓｏｌｖｅｄｏｔｌｗｅｂｃｏｎｔｅＮｍｉｎｉｎｇａｎｄｗｅｂｕｓａｇｅｍｉｎｉｎｇ．Ａｎｄｔｈｅｎ，ｗｅｇｅｎｅｒａｌｌｙｉｎｔｒｏｄｕｃｅｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｕｓｅｆｏｒＤａｔａＭｉｎｉｎｇｉｎｔｈｅｐａｐｅｒ勺ａＶａａｎｄｘｍｌ．Ｔｈｒｏｕｇｈａｃｏｎｃｒｅｔｅｓａｍｐｌｅ，ｗｅｄｅｓｃｒｉｂｅｉｎｄｅｔａｉｌｏｎｅｏｆｔｈｅｍｅｔｈｏｄｔｈａｔｒｅａｌｉｚｅＷｅｂＤａｔａＭｉｎｉｎｇ．Ｆｉｎａｌｌｙｗｅｍａｋｅａｃｏｎｃｌｕｓｉｏｎｏｆｔｈｅｐａｐｅｒ．Ｋｅｙｗｏｒｄｓ：∥烀？彤ＷｅｂＤａｔａＭｉｎｉｎｇ，ＸＭＬ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。
计算机Web数据挖掘技术在现代商业中的应用
规 整 的逻 辑 形 式甚 至是 关 系 表 。
可 以按 各 种 客 户指 标 （ 自然 属 性 、收 入 贡献 交 易额 、价 值 度 等 ） 如 对 客 户 分类 ，然 后 确 定 不 同类 型 客 户 的行 为模 式 以便 采取 相应 的营 销 措施 ，促 使企 业利 润 的最 大化 。 比如通过数据挖掘可以发现购买某种商品的消费者是男性还是 女 性 ，学 历 、收 入 如 何 ，有 什 么爱 好 是 什 么职 业 等等 。甚 至可 以发 现 不 同 的人 在 购 买 该种 商 品 的相 关 商 品后 多长 时 间 有可 能 购 买 该种 商 品 以及什 么 样 的人 会 购 买什 么型号 的该 种 商 品等等 。也
的是有 时信 息资源 不仅 限于在 线 Ｗｅ 文 档 ，还包括 电子 邮件 ，电子 断 深入 人心 ，分 析 客 户 、 了解 客 户 并 引导 客户 的需 求 已 成 为企 业 ｂ 文档 ，新 闻组 ，或 者 网站的 日志数 据甚 至是通 过 Ｗｅ 形 成的 交易数 经 营 的重要 课 题 。 通过 对 电 子商 务 系统 收 集 的交 易数 据 进行 分 析 ， ｂ
１ Ｗｅ 挖掘 的流程 ｂ Ｗｅ ｂ数据 挖掘就 是利 用数 据挖 掘技 术从 网络 文掘 的有 以下几 个过 程 ｂ
．
以下 几 个 方面 的应 用 ：
（） １ 资源发 现 。任务 是从 目标 Ｗｅ 文档 中得 到数 据 ，值得 注意 ｂ
（） １ 分析查 找 获得 潜在 客 户 。随 着 以客户 为 中心 的经 营理念 不
用 户 特 征 的 理解 和 分 析 ，如 对 用 户访 问行 为 、频 度 ， 内容 等 的分 至 能否 根 据 发现 的 用 户 。 自动 为用 户 定制 网页 ，从 而提 供 个 性化 析 ，提 取 出 用户 的特 征 从 而 为用 户 定 制 个 性化 的界 面 ，有 助 于 的信 息 检 索和 查 询服 务 。 开 展 有 针 对 性 的 电子 商 务 活动 。 ３ Ｗｅ 挖掘 在 电子商 务 中的应 用 ｂ 目前 对于 ，Ｗｅ ｂ挖掘 的对象 和使 用 的方法层 出不 穷 ，但 随着 电 二 、Ｗｅ 挖 掘流 程 以及特 点 ｂ 子 商务 网 站的兴起 ，电子 商务将 是未来 Ｗｅ ｂ挖掘 的主要 发展方 向之 因此 它在 各 种 商业 领 域 都 存 在 广泛 的使 用 价 值 。 在 当 电 子商 和 提取信 息 。与传 统数 据和 数据 仓库 相 比 ，Ｗ ｅ ｂ上 的信 息 是非结 构 务 在企 业 中得 到 应 用 时 ，企 业 信 息 系 统将 产 生 大 量 数 据 ，这 些海 化或 半 结 构 化 的 、动 态 的 ，并 且 是 容 易造 成 混 淆 的 ，所 以很 难 直 量 数 据使 数 据 挖 掘 有 了丰 富 的数 据 基 础 ，同 时高 性 能 计 算机 和高 接 以Ｗｅ ｂ网页 上 的数据 进 行 数据 挖掘 ，而 必须 经 过必 要 的数 据处 传 输速 率 网络 的使 用 也给 数 据 挖 掘 技 术提 供 了坚 实 的保 障 。介 绍
可 以按 各 种 客 户指 标 （ 自然 属 性 、收 入 贡献 交 易额 、价 值 度 等 ） 如 对 客 户 分类 ，然 后 确 定 不 同类 型 客 户 的行 为模 式 以便 采取 相应 的营 销 措施 ，促 使企 业利 润 的最 大化 。 比如通过数据挖掘可以发现购买某种商品的消费者是男性还是 女 性 ，学 历 、收 入 如 何 ，有 什 么爱 好 是 什 么职 业 等等 。甚 至可 以发 现 不 同 的人 在 购 买 该种 商 品 的相 关 商 品后 多长 时 间 有可 能 购 买 该种 商 品 以及什 么 样 的人 会 购 买什 么型号 的该 种 商 品等等 。也
的是有 时信 息资源 不仅 限于在 线 Ｗｅ 文 档 ，还包括 电子 邮件 ，电子 断 深入 人心 ，分 析 客 户 、 了解 客 户 并 引导 客户 的需 求 已 成 为企 业 ｂ 文档 ，新 闻组 ，或 者 网站的 日志数 据甚 至是通 过 Ｗｅ 形 成的 交易数 经 营 的重要 课 题 。 通过 对 电 子商 务 系统 收 集 的交 易数 据 进行 分 析 ， ｂ
１ Ｗｅ 挖掘 的流程 ｂ Ｗｅ ｂ数据 挖掘就 是利 用数 据挖 掘技 术从 网络 文掘 的有 以下几 个过 程 ｂ
．
以下 几 个 方面 的应 用 ：
（） １ 资源发 现 。任务 是从 目标 Ｗｅ 文档 中得 到数 据 ，值得 注意 ｂ
（） １ 分析查 找 获得 潜在 客 户 。随 着 以客户 为 中心 的经 营理念 不
用 户 特 征 的 理解 和 分 析 ，如 对 用 户访 问行 为 、频 度 ， 内容 等 的分 至 能否 根 据 发现 的 用 户 。 自动 为用 户 定制 网页 ，从 而提 供 个 性化 析 ，提 取 出 用户 的特 征 从 而 为用 户 定 制 个 性化 的界 面 ，有 助 于 的信 息 检 索和 查 询服 务 。 开 展 有 针 对 性 的 电子 商 务 活动 。 ３ Ｗｅ 挖掘 在 电子商 务 中的应 用 ｂ 目前 对于 ，Ｗｅ ｂ挖掘 的对象 和使 用 的方法层 出不 穷 ，但 随着 电 二 、Ｗｅ 挖 掘流 程 以及特 点 ｂ 子 商务 网 站的兴起 ，电子 商务将 是未来 Ｗｅ ｂ挖掘 的主要 发展方 向之 因此 它在 各 种 商业 领 域 都 存 在 广泛 的使 用 价 值 。 在 当 电 子商 和 提取信 息 。与传 统数 据和 数据 仓库 相 比 ，Ｗ ｅ ｂ上 的信 息 是非结 构 务 在企 业 中得 到 应 用 时 ，企 业 信 息 系 统将 产 生 大 量 数 据 ，这 些海 化或 半 结 构 化 的 、动 态 的 ，并 且 是 容 易造 成 混 淆 的 ，所 以很 难 直 量 数 据使 数 据 挖 掘 有 了丰 富 的数 据 基 础 ，同 时高 性 能 计 算机 和高 接 以Ｗｅ ｂ网页 上 的数据 进 行 数据 挖掘 ，而 必须 经 过必 要 的数 据处 传 输速 率 网络 的使 用 也给 数 据 挖 掘 技 术提 供 了坚 实 的保 障 。介 绍
网络(WEB)挖掘方法及其最新进展
，
Ｋｅ ｙｗｏｄ ： ａａｍ ｎｎ ｗｏｌ ｒ ｓｄ ｔ ｉ ｉｇ， ｒｄｗｉｅｗｅ ｗｅ ｍ ｉｉｇ， ｂｃ ｎｅ ｔ ｉｉ ， ｂ Ｋ ｇ ｄ ｂ， ｂ ｎｎ ｗｅ ｏ ｔｎ ｍ ｎｎ ｗｅ Ｌ ｏ ｅｍｉｉ ｇ ￣ ｎｎ ｇ
引言
互联网 目 已成为人们获取和发布信息的主要 前
发现和分析： 一方面 ， 这个定义描述了对互联网或网
刘 路 刘朝明２
（． １ 桑德兰大学计算技术学院， 桑德兰 ， 国 ； 英
２ 西南交通大学经济管理学院 ， ． 成都 ６ ０３ ） １０ １
摘 要： 数据挖掘和 国际互联 网是信 息社会 两大重要 而有 意义的领域 。这 两个领域 的结合 就是 网络挖 掘。 网络挖
掘一般可以分为两种不同的方法： 一是网络内容挖掘。 即从互联 网的各种资源中检 索和提取信息的过程； 二是 网络
文档和服务中发现和提取信息 的过程。结合 已有 的
上服务的信息和资源 的 自动搜索 和检索 ， 这个过程 称之为网络内容挖掘 ， 目标是在 网页或其他网络 其 资源中 自动发现模型和模式 ； 另一方面， 上述定义描 述了从网络服务器或在线服务 中发现、 分析网络使
用者的访问模式 ， 这个过程称之为网络使用挖掘， 其 目的是获取用 户对于数据 资源应用的 网络行为方
维普资讯
第 １期 第２ ８卷 ２０ ０ ６年 ２月 ６ —７ ６ １页
世 界科技研 究与 发展
Ｗ ＯＲＬ Ｓ ． ＥＣＨ Ｄ ＣＩＴ Ｒ＆ Ｄ
Ｖ０． ８ １２
Ｎｏ． １
Ｆ ｂ２ ０ Ｐ ６ ｅ ．０ ６ Ｐ．６— ７ １
网络 （ Ｅ 挖 掘 方 法及 其 最 新 进 展 Ｗ Ｂ）
使 用挖掘 。 指挖掘 网站访 问方式或其他 网络用 户信 息的过程 。本 文主要讨论 了 ＷＥ Ｂ网络挖掘 ， 包括有 关 网络挖掘 的多种研究 问题 、 究技 术、 究工具以及网络 内客挖掘和 网络使 用挖掘方 面的最新进展 。 研 研
Ｋｅ ｙｗｏｄ ： ａａｍ ｎｎ ｗｏｌ ｒ ｓｄ ｔ ｉ ｉｇ， ｒｄｗｉｅｗｅ ｗｅ ｍ ｉｉｇ， ｂｃ ｎｅ ｔ ｉｉ ， ｂ Ｋ ｇ ｄ ｂ， ｂ ｎｎ ｗｅ ｏ ｔｎ ｍ ｎｎ ｗｅ Ｌ ｏ ｅｍｉｉ ｇ ￣ ｎｎ ｇ
引言
互联网 目 已成为人们获取和发布信息的主要 前
发现和分析： 一方面 ， 这个定义描述了对互联网或网
刘 路 刘朝明２
（． １ 桑德兰大学计算技术学院， 桑德兰 ， 国 ； 英
２ 西南交通大学经济管理学院 ， ． 成都 ６ ０３ ） １０ １
摘 要： 数据挖掘和 国际互联 网是信 息社会 两大重要 而有 意义的领域 。这 两个领域 的结合 就是 网络挖 掘。 网络挖
掘一般可以分为两种不同的方法： 一是网络内容挖掘。 即从互联 网的各种资源中检 索和提取信息的过程； 二是 网络
文档和服务中发现和提取信息 的过程。结合 已有 的
上服务的信息和资源 的 自动搜索 和检索 ， 这个过程 称之为网络内容挖掘 ， 目标是在 网页或其他网络 其 资源中 自动发现模型和模式 ； 另一方面， 上述定义描 述了从网络服务器或在线服务 中发现、 分析网络使
用者的访问模式 ， 这个过程称之为网络使用挖掘， 其 目的是获取用 户对于数据 资源应用的 网络行为方
维普资讯
第 １期 第２ ８卷 ２０ ０ ６年 ２月 ６ —７ ６ １页
世 界科技研 究与 发展
Ｗ ＯＲＬ Ｓ ． ＥＣＨ Ｄ ＣＩＴ Ｒ＆ Ｄ
Ｖ０． ８ １２
Ｎｏ． １
Ｆ ｂ２ ０ Ｐ ６ ｅ ．０ ６ Ｐ．６— ７ １
网络 （ Ｅ 挖 掘 方 法及 其 最 新 进 展 Ｗ Ｂ）
使 用挖掘 。 指挖掘 网站访 问方式或其他 网络用 户信 息的过程 。本 文主要讨论 了 ＷＥ Ｂ网络挖掘 ， 包括有 关 网络挖掘 的多种研究 问题 、 究技 术、 究工具以及网络 内客挖掘和 网络使 用挖掘方 面的最新进展 。 研 研
Web数据挖掘技术及应用
息， 是数 据挖 掘技 术 在 Ｗｅ 境 下 的应 用 。它 是 一 ｂ环
项综合技术 ， 涉及网络技术 、 算机语言学 、 计 信息统
计 学 、 据挖 掘 等学科 。 为 电子 商务 的 主要 应用 技 数 作 供 强有 力 的支持 和可 靠 的保 证 。
２ Ｗｅ ｂ数 据挖 掘 的分 类
０ 引 言
ｗｅ 据挖 掘 ， 从 大量潜 在 的 Ｗｅ ｂ数 是 ｂ文档 和相
电子 商务 的快 速 推进 ， 各 企 业 产生 了 巨量 的 使
关数 据 中发 现 、 取人 们感兴 趣 的 、 提 有用 的规律 或 信
业务数据。 在这些数据 中隐藏着许多重要信息 ， 如何
能将这 些信 息从 数据 库 中抽 取 出来 ，供 企业 决策 者 分析参 考 ，以便科 学合 理 地制 订 和调 整营销 策 略， 为
＆ Ｔ ｃ ｏｏ ｓｕ Ｊ ｎ ｘ ｎ ｈ ｎ ３ ０ ５ ｅｈ ｌｇ Ｍｕｅ ｍ， ｉ ｇ ｉ ｃ ａ ｇ ０ ２ ） ｎ ｙ ａ Ｎａ ３
摘
要 ： ｂ数据 挖 掘技 术 在 电子 商务 中的应 用越 来越 广 泛 ， 已成 为 现代 电子 商 务企 业获 取 市 场信 息 Ｗｅ
极为 重要 的工具 。本文 简 要介 绍 了 Ｗｅ ｂ数据 挖掘 的定 义等 相关 内容 ， 并对 Ｗｅ ｂ数据 挖掘 技 术在 电子 商务领
可分为 Ｗｅ 文本挖掘和 Ｗｅ 多媒体挖掘 ，分别对 ｂ ｂ
３ 查询数据 ． ５
应 Ｗｅ 站点上的文本信息和多媒体信息。 ｂ ２ ｂ ．Ｗｅ 结构挖掘 ２
是挖掘 Ｗｅ 潜在的链接结构模式 ， ｂ 可以总结网 站 和 网 页 的结 构 ， 现 网 页之 间 的联 系 ， 对 Ｗｅ 发 是 ｂ
基于Web的数据挖掘技术研究综述
１１ ， 基于 Ｗｅ ｂ的数据挖掘任务 Ｗｅ ｂ信息 的多样性决定了 Ｗｅ ｂ挖掘任务的多样性 。总 的来
说 Ｗｅ ｂ挖掘 的对象可分 为 内容挖 掘 、访 问信息挖掘 和结 构挖
掘。
页 ，权威 网页往往对于某一主题包含 比较多 的用户所需要 的信
息 ， 常 有 许 多 指 向 它 的链 接 。 导 网页 虽 然 不 一 定 包 含 很 多某 常 引
Ｋｅ ｙ ｗ ｏ ｄｓｏ ｅ ｖｅ ； ａ ｅ ｉ ｎ ｔｃ ｏｏ ； ｅｂ ｒ ：ｖ ｒ ｉｗ ｄ ｔ ｍ ｎｉｇ ｅ ｈｎ ｌｇ Ｗ ｙ
数据 库 中 的知识 发现 Ｋ Ｄ ｆ Ｋ ｏ ｌ ｇ Ｄｓｏｅ ｉ Ｄ ｎｗｅ ｅ ｉ ｖｒ ｎ ｄ ｃ ｙ Ｄ ｔｂｓｓ 是指从数据库中发现潜在 的有意义的未知的关 系模 ａ ａｅ １ ａ 式和趋势， 以易被理解的方式表示 出来 。 并 但传统 Ｋ Ｄ 技术所 Ｄ 涉及的主要是结 构化 的数据 库 ，而网上 资源却 没有统一 的管理 和结构 ， 数据往往是经常变动和不规则的 ， 因此人们需要 比信息 检 索层次更高 的新 技术，我们 称之为 Ｗｅ ｂ中的知识发现 Ｋ Ｗ Ｄ
Ｗ ＡＮＧ Ｊｎ ｉｇ
（ｎｅｎ ｔ ｎ ｌＣｏｌｇ ；Ｃ ｎｒｌＳ ｕｈ Ｕｎｖ ｒｉ ｆＦ ｒｓｒ ｎ ｅ ｈ ｏｏｙ，Ｈｕ ａ ｈ ｎ ｓ ａ ４１０ ４） Ｉｔｒａｉ ａ ｌ ｅ ｅ ｔ ｏ ｔ ｉｅｓ ｙ ｏ ｏｅｔ ａ ｄ Ｔ ｃ ｎ ｌｇ ｏ ｅ ａ ｔ ｙ ｎ ｎ Ｃ ａ ｇｈ ０ ０
要 的一 种 。
接 。Ｈ Ｔ （ ｙ ｅ ｉｋ ｎ ｕｅ Ｔ ｐｃ Ｓａｃ ） ＩＳ Ｈ ｐｒｎ Ｉｄ ｃｄ ｏｉ ｅｒｈ 算法就是这样一 ｌ 个通过分析权威页面和引导页面进行 Ｗｅ ｂ结构挖掘的算法 。使
说 Ｗｅ ｂ挖掘 的对象可分 为 内容挖 掘 、访 问信息挖掘 和结 构挖
掘。
页 ，权威 网页往往对于某一主题包含 比较多 的用户所需要 的信
息 ， 常 有 许 多 指 向 它 的链 接 。 导 网页 虽 然 不 一 定 包 含 很 多某 常 引
Ｋｅ ｙ ｗ ｏ ｄｓｏ ｅ ｖｅ ； ａ ｅ ｉ ｎ ｔｃ ｏｏ ； ｅｂ ｒ ：ｖ ｒ ｉｗ ｄ ｔ ｍ ｎｉｇ ｅ ｈｎ ｌｇ Ｗ ｙ
数据 库 中 的知识 发现 Ｋ Ｄ ｆ Ｋ ｏ ｌ ｇ Ｄｓｏｅ ｉ Ｄ ｎｗｅ ｅ ｉ ｖｒ ｎ ｄ ｃ ｙ Ｄ ｔｂｓｓ 是指从数据库中发现潜在 的有意义的未知的关 系模 ａ ａｅ １ ａ 式和趋势， 以易被理解的方式表示 出来 。 并 但传统 Ｋ Ｄ 技术所 Ｄ 涉及的主要是结 构化 的数据 库 ，而网上 资源却 没有统一 的管理 和结构 ， 数据往往是经常变动和不规则的 ， 因此人们需要 比信息 检 索层次更高 的新 技术，我们 称之为 Ｗｅ ｂ中的知识发现 Ｋ Ｗ Ｄ
Ｗ ＡＮＧ Ｊｎ ｉｇ
（ｎｅｎ ｔ ｎ ｌＣｏｌｇ ；Ｃ ｎｒｌＳ ｕｈ Ｕｎｖ ｒｉ ｆＦ ｒｓｒ ｎ ｅ ｈ ｏｏｙ，Ｈｕ ａ ｈ ｎ ｓ ａ ４１０ ４） Ｉｔｒａｉ ａ ｌ ｅ ｅ ｔ ｏ ｔ ｉｅｓ ｙ ｏ ｏｅｔ ａ ｄ Ｔ ｃ ｎ ｌｇ ｏ ｅ ａ ｔ ｙ ｎ ｎ Ｃ ａ ｇｈ ０ ０
要 的一 种 。
接 。Ｈ Ｔ （ ｙ ｅ ｉｋ ｎ ｕｅ Ｔ ｐｃ Ｓａｃ ） ＩＳ Ｈ ｐｒｎ Ｉｄ ｃｄ ｏｉ ｅｒｈ 算法就是这样一 ｌ 个通过分析权威页面和引导页面进行 Ｗｅ ｂ结构挖掘的算法 。使
Web使用挖掘研究分析
上 的信息不仅对个人重要 ， 而且对商业组织也很重 要， 尤其是 当需要做 出重大决策的时候。Ｉｔ ｅ 网 ｎｒ ｔ ｅ ｎ
的迅猛发展和广泛普及 ， 使得 Ｗｅ ｂ的信息量 以惊人 的速度增加 ， 大量信息在给人们带来方便 的同时也 带来 了许多问题 ： 一是信息过量 ， 以消化 ； 难 二是信 息真假难 以辨识 ； 三是信 息安全难 以保 证 ； 四是 信
息 形式 不 一 致 ， 以统 一 处 理 。 因 此 ， 们 迫 切 需 难 人
图 １ Ｗｅ ｂ挖掘 分 类 图
要能 自动地从 Ｗｅ 发现、 取和过虑信 息的工 ｂ上 抽
具， 由此 便产 生 了 Ｗｅ 掘 。 ｂ挖 Ｗｅ 掘是 从 Ｗｅ ｂ挖 ｂ文档 和 Ｗｅ 动 中发 现 和 ｂ活
Ｗａ ｇＹ ｊ ｏ ｎ ｕｉ ａ
（ ｅａｔ ｎ ｆ ｏ ｐ ｔｒ Ｉｆｒ ａ ｏ ｎｉｅｒ ｇ Ｈ ｂ ｉ ｏ ｍ ｎ ａ ｏ ｓ ｅｈｉａ Ｃ ｌ ｇ ， ｈ ｎ４ ０７ ） Ｄ ｐ ｒ ｔ ｍ ｕｅ ＆ ｎｏｍ ｔ ｎＥ ｇ ｅ ｎ ， ｕ ｅ Ｃ ｍ ｕ ｉ ｔ ｎ ｃｎｃｌ ｏ ｅｅ Ｗｕ ａ ３０ ９ ｍｅ ｏ Ｃ ｉ ｎ ｉ ｃｉ Ｔ ｌ
的分类情况， 包括研 究成果和商业应用等 ， 并提供 了目 前所开展工作的最新总结。 关键词 ： ｂ挖掘 ； ｂ使 用挖掘 ； Ｗｅ Ｗｅ 万维 网
Ｒｅ ｅ ｒ ｈ ａ ｄ ａ ｌ ｓｓ ｂ ｓ ｄ ｎ Ｗ ｅ ｓ ｇ ｉ ｉ ｇ ｓ ａ ｃ ｎ ｎａ ｙ ｉ ａ ｅ ｏ ｂ ｕ ａ ｅｍ ｎｎ
Ａｂｓｒ ｔ： ｅ ｓ ｇ ｎ ｎ ｓａ ｍｅｈｏ ｆａ ｐ ｙｎ ａａ ｍ ｎｉ ｇｔ ｃ ｉ ｕ ｏ ｄ ｓ ｏ ｅ ｓ ｇ ａｔ ｒ ｓｆｏ Ｗ ｅ — ｔａｃ Ｗ ｂ ｕ ａ ｅ ｍｉ ｉ ｇ ｉ ｔ ｄ ｏ ｐ ｌｉ ｇ ｄ ｔ ｉ ｎ ｅ ｈｎ ｑ ｅ ｔ ｉｃ ｖ ｒｕ ａ ｅ ｐ ｔｅ ｎ ｒ ｍ ｂ ｄａ ａ ｔ ，Ｓ ｅ ｎ ｅ ｓｏ ｅ ｂ ｓ ｐ ｌｃ ｔｏ ｓｃ ｎ ｂ ｎ ｅ ｓｏ ｄ ａ ｄ ｓ ｒ ｅ ｅ ｔ Ｏ ｔ ｅ ｄ ｆＷ ｂ— ａ ｅ ａ ｐ ｉ ａｉ ｎ ａ ｅ ｕ ｄ ｒｔｏ ｎ ｖ ｄ ｂ ｓ．Ｗ ｅ ｓ ｇ ｎ ｎ ｏ ｓｓｓｏ ｒ ｐ — ｈ ｅ ｂ ｕ ａ ｅ ｍ ｉ ｇ ｃ ｎ ｉｔ ｆｐ ｅ ｒ ｉ ｏ ｃ ｓ ｉ ｇ，ｐａｔｒ ｉｃ ｖ ｒ ｄ ｐａｔｒ ｎ ｌ ｓｓ ｅ ｓｎ ｔｅ ｄ ｓ ｏ ｅ ｙ ａ ｔｅ ａ ａｙ ｉ ．Ｄｕ ｏ ｉｓ ｇ ｏ ｐ ｌｃ ｔ ｎ ｐ ｔ ｎ ｉ ，Ｗ ｅ ｓ ｇ ｎ ｎ ｓ ｂ ｅ ｎ ｎ ｎ ｅ ｔ ｔ ｏ ｄ ａ ｐ ｉ ａｉ ｏｅ ｔａ ｏ ｌ ｂ ｕ ａ ｅ ｍ ｉ ｇ ｈａ ｅ ｎ ｉ ａ ｒ ｐ ｄ ｉ ｃ ｅ ｓ ｎ ｅ ｅ ｔｂｏｈ ｉ ｅ ｒ ｔ ｙ ａ ｄ ｉ ｒ ｃｉ ｅｃ ｍｍｕｎｔｅ ．Ｔｈ ｔ ｉ ｄ ｔｘ ｎ ｍｙ ｏ ｅｗｏ ｋ ｉ ｉ ａ ｉ ｎ ｒ ａ ｅ ｉ ｔｒ ｓ ｔ ｎ ｔ ｏ ｓｕｄ ｎ ｐ ａ ｔｃ ｏ ｈ ｙ ｎ ｉ ｓ ｉ ｅｄｅ ｌ ａ ｏ ｏ ｆｔ ｒ ｎ ｔ ｓ ａ ｅ ｈ ｈ ａ ｅ ｓｉ ｔｏ ｕ ｅ ｒ ａ ｉ ｎ ｒ ｄ ｃ ｄ，ｉｃ ｕ ｉ ｇ ｒ ｓ ａｃ ｆｏ ｔ ，ｃ ｍｍｅ ｃａ ｆｅｉ ｇ ｔ ｎ ｄ ｔ ｅ ｕ ｔ — ｔ ｕ ｎｎ ｒ ｆｔ ｅ ｅ ｉｔｎ ｎ ｌ ｄ ｎ ｅ ｅ ｒ ｈ ｅ ｒｓ ｏ ｒ ｉ ｏ ｒｎ ｓｅ ｃ，ａ ｐ—ｏ ｄａｅ ｓ ｎ ＇ａｙ ｏ ｘｓ ｇ ｌ ｈ ｈ ｉ
Web挖掘的现状和展望
如， 数 据 库 的 巨大 存 储 能 力 对 Ｗｅ ｂ 挖掘来说就至关重要 。
４ ） 有一个明显 提高 网络 质量 的方 法 ： 增加 带宽 。但 也 会
仓库 ｎ ｏ ｓ 、Ｍ ｉ ｃ ｒ ｏ ｓ ． 数据传输
Ｐ ｉ １ ０ Ｉ 、
情况。
ｔ ｒ ａ ｔ ｅ ｇ ｙ
、
研究重点 。有些数据挖掘的方法 已经用于挖掘 Ｗｅ ｂ中的隐藏 信息 ， 然 而， Ｗｅ ｂ 挖掘不 只是用数据挖 掘的技术在 Ｗｅ ｂ中存 储 数据 ， 还 必须修 改算 法来更 好满 足 网络 的特殊 需求 ｌ Ｉ Ｊ 。新 方
０ 引 言
这些技术在 当前数据仓库环境 中变 得叮行
表 １ Ｗｅ ｂ 挖 掘 的演 化 过 程 演化过程 商业问题 可行技术 产品提供 商 特征
数据收集 过去五年 公司 计 算 机、 磁 （ １ ９ ６ ０ 年代 ） 的总收入？ 带、 磁盘 Ｉ Ｂ Ｍ 、 Ｃ Ｄ Ｃ
以及未来趋势 。介绍 了 ｗｅ ｂ内容挖掘 、 Ｗｅ ｂ日志挖 掘 ， 还有被视为 Ｗｅ ｂ挖掘未来的云计算挖掘。 关键词 ： ｗｅ ｂ 挖掘 ； Ｗｅ ｂ内容挖掘 ； Ｗｅ ｂ结构挖掘 ； Ｗｅ ｂ日志挖掘 ； 云计算挖掘
ｄ ｏ ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ６ —８ ５ ５ ４ ． ２ ０ １ ３ ． ０ ３ ． ０ ３ ６
技 术 研 发
Ｖｏ １ ． ２ ０。 Ｎ ｏ． ３ 。 ０ ｌ ２ ３
Ｗｅ ｂ挖 掘 的 现 状 和 展 望
郑 弦
（ 四川 大学 计 算机 学 院 ， 四川 成都
摘
６ １ ０ ０ ６ ５ ）
要： 概述 了如何在 网络 中获取有 用信 息， ｗｅ ｂ 挖掘 的基 础知识及其 相关 比较 。阐述 了 ｂ挖掘 的发展过 程、 现状 ，
４ ） 有一个明显 提高 网络 质量 的方 法 ： 增加 带宽 。但 也 会
仓库 ｎ ｏ ｓ 、Ｍ ｉ ｃ ｒ ｏ ｓ ． 数据传输
Ｐ ｉ １ ０ Ｉ 、
情况。
ｔ ｒ ａ ｔ ｅ ｇ ｙ
、
研究重点 。有些数据挖掘的方法 已经用于挖掘 Ｗｅ ｂ中的隐藏 信息 ， 然 而， Ｗｅ ｂ 挖掘不 只是用数据挖 掘的技术在 Ｗｅ ｂ中存 储 数据 ， 还 必须修 改算 法来更 好满 足 网络 的特殊 需求 ｌ Ｉ Ｊ 。新 方
０ 引 言
这些技术在 当前数据仓库环境 中变 得叮行
表 １ Ｗｅ ｂ 挖 掘 的演 化 过 程 演化过程 商业问题 可行技术 产品提供 商 特征
数据收集 过去五年 公司 计 算 机、 磁 （ １ ９ ６ ０ 年代 ） 的总收入？ 带、 磁盘 Ｉ Ｂ Ｍ 、 Ｃ Ｄ Ｃ
以及未来趋势 。介绍 了 ｗｅ ｂ内容挖掘 、 Ｗｅ ｂ日志挖 掘 ， 还有被视为 Ｗｅ ｂ挖掘未来的云计算挖掘。 关键词 ： ｗｅ ｂ 挖掘 ； Ｗｅ ｂ内容挖掘 ； Ｗｅ ｂ结构挖掘 ； Ｗｅ ｂ日志挖掘 ； 云计算挖掘
ｄ ｏ ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ６ —８ ５ ５ ４ ． ２ ０ １ ３ ． ０ ３ ． ０ ３ ６
技 术 研 发
Ｖｏ １ ． ２ ０。 Ｎ ｏ． ３ 。 ０ ｌ ２ ３
Ｗｅ ｂ挖 掘 的 现 状 和 展 望
郑 弦
（ 四川 大学 计 算机 学 院 ， 四川 成都
摘
６ １ ０ ０ ６ ５ ）
要： 概述 了如何在 网络 中获取有 用信 息， ｗｅ ｂ 挖掘 的基 础知识及其 相关 比较 。阐述 了 ｂ挖掘 的发展过 程、 现状 ，
浅谈Web数据挖掘技术的应用
数据挖掘技术是从 大量 的、不完全 ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ｍｉ ｎ ｉ ｎ ｇ ）以 及 Ｗｅ ｂ 用 法 挖 掘 的 、有 噪声 的 、模糊 的、随机的数 据 中 （ Ｗｅ ｂ ｕ ｓ ａ ｇ ｅ ｍｉ ｎ ｉ ｎ ｇ ） 。 提 取 出未 知但又存在 的有价值 的信息 。 那么又如何 在这样 的数据 中寻找规律 并 且快捷 的得 到这些有 价值 的信息就成 为 了 焦 点 话 题 。Ｗｅ ｂ作 为 一 个 巨 大 的、
ｌ ｅ ｖ ｅ ｒ 和 Ｇ ｏ ｏ ｇ ｌ ｅ搜 索 引 擎 数据 形式。因此具有多样复杂性 的特点。 权 重 。 比如 Ｃ
的应 用 ，主要 表现 在对 网络服 务
性能上的提 高，以及给 电子商务
企 业等 带来 的影 响和其 他领 域 的
应用 。
２ Ｗ ｅ ｂ 数据挖掘的分类
【 关键 词 】数据挖掘 Ｗ ｅ ｂ 技术 应用 Ｗ ｅ ｂ 挖掘
由此 可 见 Ｗｅ ｂ数 据 量很 大 ， 并且
务的数据资源 以外 ，还存在很多 Ｗｅ ｂ数 类型复杂 。对 数据源 处理 方法 不同可 以 ｂ使 用记 录 挖 掘 分 成两 类 ：第 一 据 是 隐藏性 的 ，例如 由用户提 问动态产 将 Ｗｅ 生的结果 ，或者数据 库管理 系统 中的数 类是将记录 中的数据 统计到传统 关系表
２ ． １ 内容 挖 掘
２ ． ３使 用 记 录挖 掘
Ｗｅ ｂ使用记录挖掘在 电子商务领 域 是很重要 的，可 以通过挖掘 Ｗｅ ｂ日志记 录 ，对用户访 问 Ｗｅ ｂ页面的记录 中分析
Ｗｅ ｂ内容 挖 掘 就 是 从 Ｗｅ ｂ数 据 或 规律 ，这样 就可 以获取到用 户的喜好 、
据 以及私 人数据 ，就 无法进行 索引 。综 中 ，使用数据 挖掘算法对 其进行分 析挖
数据挖掘在Web中的应用研究
数据挖掘在Web中的应用研究摘要：web中的数据挖掘技术是一种新型的技术，web自身的特点，决定了web数据挖掘技术具有更多的特点，而且应用也非常广泛，不仅能够提取页面的信息，进行站点设计分析，而且在电子商务方面也具有非常广阔的应用前景。
本文对数据挖掘技术在web中的应用进行分析。
关键词：数据挖掘技术；web应用；网络技术中图分类号：tp352 文献标识码：a 文章编号：1007-9599 （2012）18-0000-02随着网络技术的快速发展，网络上数据资源的越来越丰富，人们迫切需要将这些数据转换成有用的信息和知识，进而促生了数据挖掘（data mining，dm）和知识发现（knowledge discovery，kd）领域。
信息技术的发展，对web应用提出更高了要求，为了能够满足人们对信息获取的要求，研究基于web的数据挖掘技术，以便人们能够更加智能、更加自动地抽取数据以及信息中的知识。
1 数据挖掘技术相关概述1.1 基本概念数据挖掘技术主要是指寻找隐藏在大量数据中有价值的信息，从中寻找其规律，揭示出隐含的、具有潜在价值的知识，从而为决策支持提供有力依据的过程。
数据挖掘的目标主要包括特征、趋势以及相关性等多个方面的信息。
随着网络应用的普及，网络中信息量迅速增加，传统的知识发现（kdd：knowledge discovery indatabases）技术和方法已经不能满足人们从web中获取信息的需要，基于网络技术提供对各类数据的深层次实时分析，提供决策支持服务，就使得基于web的数据挖掘技术应运而生，这种技术将传统的数据挖掘和web应用技术相互结合起来，实现高度自动化的分析和归纳性的推理。
图1为web数据挖掘原理流程：2.3 在购物网站的应用web数据技术采用web-dms系统可以构建一个基于web 的挖掘的购物网站和交易环境，还能够充分利用站点上积累的信息，从而更好地服务于企业和客户。
在购物网站中采用web 数据挖掘技术不仅能够通过了解购物者的行为习惯，选择提供最佳的服务方式、消费习惯，还能够分析购物者的个人爱好[3]，从而提供更加贴切的商品推介。
基于Web的网络信息挖掘技术研究
Ｖｏ ．， ． ６ Ｊ ｎ ０１ ， Ｐ．３ ９ ４３ １ １ Ｎｏ １ ， ｕ ｅ ２ ０ Ｐ ４ ３ — ４ ６
基于 Ｗｅ ｂ的 网络 信 息 挖 掘 技 术研 究
高 敏，俊， 艳 立 李 肖 芹
（ｑＪ， 、 ｔ ｔ 大 ：汁 解 ｌ ． ．＇ｌ ：Ｊｌ ￣ － １ ， ， Ｌ保 定 ０ １ ０ ） ｆ ｆ Ｉ ７ ０ ２
Hale Waihona Puke ＧＡＯ ｉ ｎｉ， Ｉ ｕ ， ＡＯ ｎ ｉ Ｌ — ｌ Ｌ ． ＸＩ ｎ Ｊ Ｙａ —ｑｎ
。
（ ｍｐ ｔｒＣｅ ｔｒｏ ｂ ｉ ｉｅｓｙ Ｂａ ｄｎ ７ ０ ２ Ｃｈｎ ） Ｃｏ ｕ ｅ ｎｅ ｆ Ｈｅ ｅ Ｕｎｖ ｒｉ ， ｏ ｉｇ０ １ ０ ， ｉａ ｔ
Ａｂｓ ｒ ｃ ：Ｉ ｈｉ ｐ ｐ ｒ ｈｅｓｅ ｆＷ ｅ ｔ ａ ｔ ｎ ｔ ｓ ａ ｅ ，ｔ ｔｐｓｏ ｂ—ｂａｅ ｎｆ ｍ ａｉ ｉ ｎｇ ｔｃ ｏｌ ｙ ａ ｅ ｄ ｓ ｒ ｄ ｉ ｅ ａｌｗ ｉｈ ａｓ ａｃ ｎ ｔｎｃ ｈｉｈ ｉ — ｓ ｄ Ｉ ｏｒ ｔｏｎ Ｍ ｎｉ ｅ ｈｎ ｏｇ ｒ ｅ ｃｉ ｂｅ ｎ ｄ ｔｉ ｔ ｅ ｒ ｈ ｉ ｓａ ｅｗ ｃ ｓｄｅ ｓｇ ｄ ｂ ｕｔ ｒｆｒｔ ｉｎｅ ｙ ａ ｈｏ ｓｌ ｉ ｙ，ａ ｄ ｏ ｈｉ ｂ ｓｓ ｈｅ ｋ ｙ ｔｃ ｏｌｇｉｓｕ ｅ ｎ ｔ ｎｆ ｍ ａｉｎ ｉ ｉｇ ｒ ｉｃ ｓｅ ｎ ｎ ｔ ｓ ａ ｉ，ｔ ｅ ｅ ｈｎ ｏ ｅ ｓ ｄ ｉ ｈｅ ｉ ｏｒ ｔｏ ｍ ｍ ｎ ａ ｅ ｄｓ ｕ ｓｄ．Ｆｉ ｌ ｎａｌ ｙ，ｔ ｅ ｐｒ ｓ ｅ ｔｏ ｐ ｉ ｈ ｏ ｐ ｃ ｆａ ｐｌ－ ｃ ｔｏｎ ｏｆｔ ｅ ｉ ｏｎｎａｉ ｉ ｉ ｅ ｈｎｏｏｇ ｓｐｕ ｏｒ ａ ｄ ａｉ ｈ ｎｆ ｔｏｎ ｍ ｎｎｇ ｔ ｃ ｌ ｙ ｉ ｔｆ ｗ ｒ
基于 Ｗｅ ｂ的 网络 信 息 挖 掘 技 术研 究
高 敏，俊， 艳 立 李 肖 芹
（ｑＪ， 、 ｔ ｔ 大 ：汁 解 ｌ ． ．＇ｌ ：Ｊｌ ￣ － １ ， ， Ｌ保 定 ０ １ ０ ） ｆ ｆ Ｉ ７ ０ ２
Hale Waihona Puke ＧＡＯ ｉ ｎｉ， Ｉ ｕ ， ＡＯ ｎ ｉ Ｌ — ｌ Ｌ ． ＸＩ ｎ Ｊ Ｙａ —ｑｎ
。
（ ｍｐ ｔｒＣｅ ｔｒｏ ｂ ｉ ｉｅｓｙ Ｂａ ｄｎ ７ ０ ２ Ｃｈｎ ） Ｃｏ ｕ ｅ ｎｅ ｆ Ｈｅ ｅ Ｕｎｖ ｒｉ ， ｏ ｉｇ０ １ ０ ， ｉａ ｔ
Ａｂｓ ｒ ｃ ：Ｉ ｈｉ ｐ ｐ ｒ ｈｅｓｅ ｆＷ ｅ ｔ ａ ｔ ｎ ｔ ｓ ａ ｅ ，ｔ ｔｐｓｏ ｂ—ｂａｅ ｎｆ ｍ ａｉ ｉ ｎｇ ｔｃ ｏｌ ｙ ａ ｅ ｄ ｓ ｒ ｄ ｉ ｅ ａｌｗ ｉｈ ａｓ ａｃ ｎ ｔｎｃ ｈｉｈ ｉ — ｓ ｄ Ｉ ｏｒ ｔｏｎ Ｍ ｎｉ ｅ ｈｎ ｏｇ ｒ ｅ ｃｉ ｂｅ ｎ ｄ ｔｉ ｔ ｅ ｒ ｈ ｉ ｓａ ｅｗ ｃ ｓｄｅ ｓｇ ｄ ｂ ｕｔ ｒｆｒｔ ｉｎｅ ｙ ａ ｈｏ ｓｌ ｉ ｙ，ａ ｄ ｏ ｈｉ ｂ ｓｓ ｈｅ ｋ ｙ ｔｃ ｏｌｇｉｓｕ ｅ ｎ ｔ ｎｆ ｍ ａｉｎ ｉ ｉｇ ｒ ｉｃ ｓｅ ｎ ｎ ｔ ｓ ａ ｉ，ｔ ｅ ｅ ｈｎ ｏ ｅ ｓ ｄ ｉ ｈｅ ｉ ｏｒ ｔｏ ｍ ｍ ｎ ａ ｅ ｄｓ ｕ ｓｄ．Ｆｉ ｌ ｎａｌ ｙ，ｔ ｅ ｐｒ ｓ ｅ ｔｏ ｐ ｉ ｈ ｏ ｐ ｃ ｆａ ｐｌ－ ｃ ｔｏｎ ｏｆｔ ｅ ｉ ｏｎｎａｉ ｉ ｉ ｅ ｈｎｏｏｇ ｓｐｕ ｏｒ ａ ｄ ａｉ ｈ ｎｆ ｔｏｎ ｍ ｎｎｇ ｔ ｃ ｌ ｙ ｉ ｔｆ ｗ ｒ
WEB数据挖掘及其在电子商务中的应用
维普资讯
２０ ０ ８年 第 １ 期
福
建 电脑 １７ 来自 ＷＥ ． Ｂ数据挖 掘及 其在 电子 商务 中的应 用
ｒ ． 阳 理 工 学 院 河 南 南 阳 ４ ３ ０ ． 南 １ ７０４ ２ 州 交通 大 学 甘 肃 兰 州 ７ ０ ７ ．兰 ３ ０ ０）
赵 焕 平 仝 选 悦 ０
【 摘
用。
要】 随着互联 网信息的增长 ， Ｂ挖掘 已经成 为数据挖掘研 究的热点之 一， ： ＷＥ 尤其适 用于电子 商务领域 。 中介绍 文
了 ｗ ｂ数 据 挖 掘 的 概 念 和 分 类 ． 阐述 了 Ｗ ｂ挖 掘 在 电子 商 务 中的 挖 掘 方 法 和 过程 ， 析 了数 据挖 掘 在 电子 商 务 中的 具 体 应 ｅ ｅ 分
面． 开展 有 针对 性 的 电子 商 务 以更好 的 满 足访 问者 的 需求 。
２ＷＥ ． Ｂ数 据 挖 掘 概 述 ２ １ Ｂ 数据 挖掘 的定 义 ． ＷＥ
２知 识 发 现 ： 于 人 工 智 能 和 机 器 学 习 ， 用 数 据 搜 寻 过 ． 源 利 程 ． 到 一 个 有 意义 的 数 据 模 式 ． 中 可 以发 现 规 律 ， 体 的 方 得 从 具 法 有 人 工 神 经 网络 、 策树 方 法 、 传算 法 、 则 推 理 等 。 决 遗 规
售策略。 ２２ 据 挖 掘 的分 类 ．数 Ｗｅ ｂ数 据 有 三 种 类 型 ： ｎｌ 记 的 Ｗｅ Ｈｔ 标 ｌ ｂ文 档 数 据 ， ｂ文 ３３电 子 商 务 中 ＷＥ Ｗｅ ． Ｂ数 据 挖 掘 的过 程 档 内连 接 的结 构 数 据 和 用 户 访 问 数 据 。按 照 对 应 的数 据 类 型 ． 电 子 商 务 中 的数 据 挖 掘 的过 程 一 般 由 以下 几 个 主 要 的阶 段 Ｗｅ ｂ挖 掘 可 以分 为 三 类 ： 组成 ： 据准备、 掘操作、 果表达和解释。 数 挖 结 １ ｂ内容 挖 掘 ： 是 从 Ｗｅ ． Ｗｅ 就 ｂ文 档 或其 描 述 中筛 选 知 识 的 １数 据 准 备 ： ｂ数 据 挖 掘 的 数 据 来 自两 个 方 面 ： 方 面 是 ． Ｗｅ 一
２０ ０ ８年 第 １ 期
福
建 电脑 １７ 来自 ＷＥ ． Ｂ数据挖 掘及 其在 电子 商务 中的应 用
ｒ ． 阳 理 工 学 院 河 南 南 阳 ４ ３ ０ ． 南 １ ７０４ ２ 州 交通 大 学 甘 肃 兰 州 ７ ０ ７ ．兰 ３ ０ ０）
赵 焕 平 仝 选 悦 ０
【 摘
用。
要】 随着互联 网信息的增长 ， Ｂ挖掘 已经成 为数据挖掘研 究的热点之 一， ： ＷＥ 尤其适 用于电子 商务领域 。 中介绍 文
了 ｗ ｂ数 据 挖 掘 的 概 念 和 分 类 ． 阐述 了 Ｗ ｂ挖 掘 在 电子 商 务 中的 挖 掘 方 法 和 过程 ， 析 了数 据挖 掘 在 电子 商 务 中的 具 体 应 ｅ ｅ 分
面． 开展 有 针对 性 的 电子 商 务 以更好 的 满 足访 问者 的 需求 。
２ＷＥ ． Ｂ数 据 挖 掘 概 述 ２ １ Ｂ 数据 挖掘 的定 义 ． ＷＥ
２知 识 发 现 ： 于 人 工 智 能 和 机 器 学 习 ， 用 数 据 搜 寻 过 ． 源 利 程 ． 到 一 个 有 意义 的 数 据 模 式 ． 中 可 以发 现 规 律 ， 体 的 方 得 从 具 法 有 人 工 神 经 网络 、 策树 方 法 、 传算 法 、 则 推 理 等 。 决 遗 规
售策略。 ２２ 据 挖 掘 的分 类 ．数 Ｗｅ ｂ数 据 有 三 种 类 型 ： ｎｌ 记 的 Ｗｅ Ｈｔ 标 ｌ ｂ文 档 数 据 ， ｂ文 ３３电 子 商 务 中 ＷＥ Ｗｅ ． Ｂ数 据 挖 掘 的过 程 档 内连 接 的结 构 数 据 和 用 户 访 问 数 据 。按 照 对 应 的数 据 类 型 ． 电 子 商 务 中 的数 据 挖 掘 的过 程 一 般 由 以下 几 个 主 要 的阶 段 Ｗｅ ｂ挖 掘 可 以分 为 三 类 ： 组成 ： 据准备、 掘操作、 果表达和解释。 数 挖 结 １ ｂ内容 挖 掘 ： 是 从 Ｗｅ ． Ｗｅ 就 ｂ文 档 或其 描 述 中筛 选 知 识 的 １数 据 准 备 ： ｂ数 据 挖 掘 的 数 据 来 自两 个 方 面 ： 方 面 是 ． Ｗｅ 一
Web数据挖掘在电子商务的应用
Web数据挖掘在电子商务的应用1电子商务中的数据挖掘简介电子商务中的数据挖掘即Web挖掘，是利用数据挖掘技术从www的资源（即 Web 文档）和行为（即Web服务）中自动发现并提取感兴趣的、有用的模式和隐含的信息，它是一项综合技术，涉及到Internet技术学、人工智能等多个领域。
当电子商务在企业中得到应用时，企业信息系统将产生大量数据，并且迫切需要将这些数据转换成有用的信息，为企业创造更多潜在的利润，数据挖掘概念就是从这样的商业角度开发出来的。
2Web数据挖掘的流程Web数据挖掘是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取商业决策的关键性数据，可以使企业把数据转化为有用的信息帮助决策，从而在市场竞争中获得优势地位。
在电子商务环境下，Web数据挖掘主要分为以下儿步：（1）数据收集。
首先数据收集主要针对web数据中的服务器数据、用户数据。
其中服务器数据是Web挖掘中的主要对象。
服务器中承载着用户访问时产生的对应的服务数据，其中包括了：日志文件、cookie文件、数据流。
将这些数据进行初步收集，再针对这些数据进行深度分析挖掘。
（2）数据选择和预处理。
通过数据收集将数据进行分类，根据所需的信息主题对收集的数据进行选择，通过选择相关的数据项缩小数据处理的范用，挑选其中的有效数据进行数据预处理。
数据预处理能够提高挖掘效率，为之后的数据分析提供有效的数据。
Web数据中大多数都是半结构或非结构化的，所以对web数据进行直接处理是不可行的。
数据预处理能够把半结构或非结构化的数据处理成标准的数据集方便后期处理。
（3）模式发现。
模式发现是运用各种方法，发现数据中隐藏的模式和规则。
通过模式发现技术对预处理之后的数据进行处理得到相应的事务数据库，利用模式发现对数据进行初步挖掘，将预处理下的事务数据转换成可被挖掘的存储方式，通过数据挖掘模式算法对其中有效的、新奇的、有用的及最终可以理解的信息和知识进行挖掘与总结。
基于软计算的Web挖掘研究进展与前景
Ｗｅ ｂ结构 挖掘 （ Ｍ） Ｗｅ ＷＳ 和 ｂ使用挖 掘 （ ＷＵＭ） 。Ｗｅ ｂ挖掘 一 般认 为 由４部 分组成 ， 图 １ ｌ如 所示 。
健壮 的和低 代价的解 决方案 ， 类似人 的决策过程 软计算技
术 包 括 模 糊 逻 辑 （ｕｚ ｏ ｉ， Ｌ 、 糙 集 （ ｇ ｔＲ ） 人 Ｆ ｚｙＬ ｇｃ Ｆ ） 粗 ｍｕ ｓ ， Ｓ 、 ｉ ｆ ｅ
Байду номын сангаас域 来 进 行 探 讨 。 ｂ 掘 可 分 为 ３类 ： ｂ内容 挖 掘 （ Ｍ） Ｗｅ 挖 Ｗｅ ＷＣ 、
软计算是 一组协 同的方法 ， 它提供 一种处理现 实 中模糊
状 态信息灵活处理 能力 。它们 的 目标是通 过探索不精 确、不
确 定、 似推理和 局部正确 的最大可 能限度 ， 到易理解 的、 近 达
基于软计算的 Ｗｅ 挖掘研究进展与前景 ｂ
易高翔 ， 胡和 平
（ 中科技 大学 计算机 科 学与技 术 学院 ，湖 北 武 汉 ４０７） 华 ３０４
摘 要： 概迷 了Ｗｅ 挖掘 的组 成部 分 、 类和现 状 ， 出了现有 一 些 Ｗｅ ｂ 分 指 ｂ挖掘 方法 的局 限。介 绍 了 目前 比较 新 的技 术 一 软
计 算技术 ， 总结 了软计 算技 术在 Ｗｅ 挖 掘 中的应 用。Ｗｅ 数据 的 固有无标 记 、 ｂ ｂ 不精确 、 构性 和动 态性 ， 异 处理人 与机 器 的交 互， 上下文敏 感性和 近似 查询 ， 个性化 学 习， 计算都 是很合 适 的解决 方法 软 关键 词： 软计 算；Ｗｅ ｂ挖掘 ；粗糙 集；模糊 集 中图法分类号 ：Ｐ ８ Ｔ Ｉ 文献标 识码 ： Ａ 文章编号 ：０ ０７ ２ ２０ ） ０１０ －３ １０．０４（０ ６ １－８ ５０
Web数据挖掘技术及应用研究
中图分类号: T P 3 文献标识码: A
(， 武汉理工大学: 2 . 南阳师范学院计算机与信息技术学院) 要: W e b 数据挖掘是目前信息技术中的研究热点，它是现代科学技术相互渗透与融合的结果。本文介绍了W e b 数据挖
文章编号: 16， 379 1(2007)05(b )一 5一 1 2一 冈， 0
李争 . ， 艳，
1 引言 随着I t rne 的飞速发展， ne t Web 上的数 据资源空前丰富，在这些大量、异质的 W e b 信息资源中，除了丰富的各种文本、 图形图像、声音等煤体信息外，还包含了 大量的常被人们所忽视的链接结构信息以 及存在于服务器上的用户使用记录信息，
这些庞大的数据包含了非常丰富的有用信 息，构成了数据挖掘的巨大数据来源，蕴 藏着具有惊人潜在价值的知识. 数据挖掘就是从大量的数据中发现隐 含的规律性的内容，解决数据的应用质量 问题。充分利用有用的数据 ，废弃虚伪无 用的数据，是数据挖掘技术的最重要的应 用。相对于We b 的数据而言，传统的数据 库中的数据结构性很强，即其中的数据为 完全结构化的数据，而 W e b 上的数据最大 特点就是半结构化。显然，面向We b 的数 据挖掘比面向单个数据仓库的数据挖掘要 复杂得多。
在网站设计方面的应用，主要是通过对 网站内容的挖掘，特别是对文本内容的挖 掘，可以有效地组织网站信息，如采用自 动归类技术实现网站信息的层次性组织。 通过对用户访问日 志记录信息的挖掘，把 握用户感兴趣的信息，从而有助于开展网 站信息推送服务以及个人信息的定制服务， 吸引更多的用户。
3 2 在搜索引攀中的应用
1 丁技 术
20O7 NO . 1 4 义 〕 NC E & T〔 卜 汇 !E C 小 汇() 〕 INF 以刁 A T1 N Y M 0
(， 武汉理工大学: 2 . 南阳师范学院计算机与信息技术学院) 要: W e b 数据挖掘是目前信息技术中的研究热点，它是现代科学技术相互渗透与融合的结果。本文介绍了W e b 数据挖
文章编号: 16， 379 1(2007)05(b )一 5一 1 2一 冈， 0
李争 . ， 艳，
1 引言 随着I t rne 的飞速发展， ne t Web 上的数 据资源空前丰富，在这些大量、异质的 W e b 信息资源中，除了丰富的各种文本、 图形图像、声音等煤体信息外，还包含了 大量的常被人们所忽视的链接结构信息以 及存在于服务器上的用户使用记录信息，
这些庞大的数据包含了非常丰富的有用信 息，构成了数据挖掘的巨大数据来源，蕴 藏着具有惊人潜在价值的知识. 数据挖掘就是从大量的数据中发现隐 含的规律性的内容，解决数据的应用质量 问题。充分利用有用的数据 ，废弃虚伪无 用的数据，是数据挖掘技术的最重要的应 用。相对于We b 的数据而言，传统的数据 库中的数据结构性很强，即其中的数据为 完全结构化的数据，而 W e b 上的数据最大 特点就是半结构化。显然，面向We b 的数 据挖掘比面向单个数据仓库的数据挖掘要 复杂得多。
在网站设计方面的应用，主要是通过对 网站内容的挖掘，特别是对文本内容的挖 掘，可以有效地组织网站信息，如采用自 动归类技术实现网站信息的层次性组织。 通过对用户访问日 志记录信息的挖掘，把 握用户感兴趣的信息，从而有助于开展网 站信息推送服务以及个人信息的定制服务， 吸引更多的用户。
3 2 在搜索引攀中的应用
1 丁技 术
20O7 NO . 1 4 义 〕 NC E & T〔 卜 汇 !E C 小 汇() 〕 INF 以刁 A T1 N Y M 0
面向Web的数据挖掘技术
面向Ｗｅｂ的数据挖掘技术[摘要] 随着internet的发展，web数据挖掘有着越来越广泛的应用,web数据挖掘是数据挖掘技术在web信息集合上的应用。
本文阐述了web数据挖掘的定义、特点和分类，并对web数据挖掘中使用的技术及应用前景进行了探讨。
[关键词] 数据挖掘web挖掘路径分析电子商务一、引言近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。
数据挖掘是面向发现的数据分析技术，通过对大型的数据集进行探查。
可以发现有用的知识，从而为决策支持提供有力的依据。
web目前已成为信息发布、交互和获取的主要工具,它是一个巨大的、分布广泛的、全球性的信息服务中心。
它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和其他许多信息服务。
面向web的数据挖掘就是利用数据挖掘技术从web文档及web服务中自动发现并提取人们感兴趣的、潜在的有用模型或隐藏的信息。
二、概述1.数据挖掘的基本概念数据挖掘是从存放在数据库、数据仓库、电子表格或其他信息库中的大量数据中挖掘有趣知识的过程。
数据挖掘基于的数据库类型主要有: 关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、internet 信息库以及新兴的数据仓库等。
2.web数据挖掘web上有少量的数据信息，相对传统的数据库的数据结构性很强，即其中的数据为完全结构化的数据。
web上的数据最大特点就是半结构化。
所谓半结构化是相对于完全结构化的传统数据库的数据而言。
由于web的开放性、动态性与异构性等固有特点，要从这些分散的、异构的、没有统一管理的海量数据中快速、准确地获取信息也成为web挖掘所要解决的一个难点，也使得用于web的挖掘技术不能照搬用于数据库的挖掘技术。
因此，开发新的web挖掘技术以及对web文档进行预处理以得到关于文档的特征表示，便成为web挖掘的重点。
Web数据挖掘研究综述
要 从这 些数据通 信中进 行数据 提取 。其任务是从 目 标 Ｗｅ ｂ文档 中得到数据 。值得注意的是 ， 时信 息 有 资源不仅限于在线 Ｗｅ 文档 ， ｂ 还包括 电子邮件 、电
子文档、新 闻组 ，或者 网站的 日志数据甚至是通过
Ｗｅ ｂ形成的交易数据库 中的数据 。 ２２ ．信息选择和预处理 ：从 目标数据集中除去明
维普资讯
山东 纺 织 经济
２０ 年 第 １ （ ０８ 期 总第 １ ３期） ４
Ｗ ｅｂ 数 据 挖 掘 研 究 综 述
李 森 １ 胡学钢 ’ 李正吉 ．
安徽合肥 ２００ ； ３０ ９ ２ １４ ） ６０ １
（ １合 肥 工 业 大 学计 算 机 与信 息 学院
显错误的数据和 冗余的数据 ，进一步精简所选数据
的有效部 分 ，并将数据转换成有效形式 ，以使数据
开采算法 （ 包括选取合适 的模 型和参数 ）寻求感兴
趣 的模型 。 其任务是从取得的 Ｗｅ 资源 中剔除无用 ｂ 信息和将信息进 行必要的整理 。 例如从 Ｗｅ 文档 中 ｂ 自动去除广告链接 、去 除多余格式标记 、 自动识 别 段落或者 字段并将数据组织成规整 的逻辑形式甚至
２４ ． 模式分析 ： 发现的模式进行解释和评估 ， 对 必要时需 返 回前面处 理 中的某些 步骤以反 复提 取 ，
Ｗｅ 数据挖掘过程是一个完整的ＫＤ ｂ Ｄ过程 ， 但 与传统数据和数据仓库相比 ， ｂ ｗｅ 上的信息是非结 构化或半结构化的 、动 态的、并且是容易造成混淆
的 ， 以很难直接 以Ｗｅ 网页上的数据进行数据挖 所 ｂ
２ 山 东信 息职 业技 术 学 院信 息工程 系 山 东潍坊 摘
要 ：随 着 ｅｅ／ ｅ技 术 的快速 普 及和迅 猛 发展 ，各 种 信 息可 以以非 常低 的成 本在 网络上 获 ｒｔ ｗｂ ｎ
Web数据挖掘技术及其应用
３ ２
福
建 电
脑
２０ ０ ８年第 １ 期 １
Ｗｅ 据挖 掘 技 术 及 其应 用 ｂ数
陈林 凯
（江 苏技 术 师 范 学 院 江 苏 常 州 ２ ３ ０ １０ １）
【 摘 要】 目前 Ｗｅ ： ｂ上存 有大量的数据信 息，如何 对这些数据进行有效 的应 用 已经成 了当前数据 库技 术研 究的重点 。
中的 知识 。 ２ ＷＥＢ数 据挖数 据 消 除 、 据 模 式 抽 取 、 间 形 式 表 示 、 重 数 中 异 构 集 成 、 本 分 类 和 聚 类 、 档 总 结 和 结 构 提 取 、 据 仓 库 及 文 文 数 ＯＡ Ｌ Ｐ等 几 个 方 面 ， 其 是 基 于 Ｘ 尤 ＭＬ的上 述 专 题 研 究 。 ３２Ｗｅ ． ｂ结 构 挖 掘 Ｗｅ ｂ结 构 挖 掘 是 从 ｗ ｗ上 的 组 织 结 构 和 链 接 关 系 中推 导 ｗ 知识 。 由 于 超 文 本 文 档 问 的关 联 关 系 ， 得 ｗ ｗ不 仅 可 以揭 示 使 ｗ
文档 中所 包 含 的信 息 ． 同时 也 可 以揭 示 文 档 间 的关 联 关 系所 代 表 的信 息 。 用 这 些 信 息 可 以对 页 面进 行 排 序 。 发 现 重 要 的 页 利 来 ２１ ｂ数据 挖 掘 概 述 ．Ｗｅ 面 。挖 掘 Ｗｅ ｂ结 构 的 目的 是 发 现 页 面 的 结构 和 Ｗｅ ｂ结 构 。 次 在 数 据 挖 掘（ ａ ｎｎ） Ｄ ｔ Ｍｉｉｇ就是 从 大 量 的 、 完 全 的 、 噪 声 的 、 基 础 上 对 页 面进 行 分 类 和 聚 类 从 而 找 到 权 威 页 面 Ｐ ｇ— ａｋ ａ 不 有 ａｅ Ｒ ｎ 模 糊 的 、 机 的 实 际 应 用 数 据 中 ， 取 潜 在 的 、 为 人 知 的 有 用 方 法 就是 利用 文档 间链 接 信 息 来 查 找 相关 的 Ｗｅ 随 提 不 ｂ页 。 信 息 、 式 和 趋 势 。Ｗｅ 模 ｂ数 据 挖 掘 从 数 据 挖掘 发展 而 来 ． 利 用 是 Ｗｅ 结 构挖 掘 的 基本 思想 是将 Ｗｅ ｂ ｂ看 作个 有 向 图 ． 的顶 他 数据挖掘技术从 ｗｅ ｂ文 档 及 Ｗｅ ｂ服 务 中 自动发 现并 提 取 人 们 点 是 Ｗｅ ｂ页 面 ，页 面 间 的 超 链 就 是 图 的 边 。 然 后 利 用 图 论 对 感 兴 趣 的 信 息 ． 数 据 挖 掘 技 术 应 用 于 Ｗｅ 息 的一 个 崭 新 领 Ｗｅ 是 ｂ信 ｂ的 拓 扑 结 构 进 行 分 析 。常 见 的 算 法 有 Ｈ Ｔ ｙ ｅｔ ｔ ｎ ＩＳ ｆ ｐ ｒ ｘ Ｉ－ Ｈ ｅ 域 。 由于 Ｗｅ 信 息 的 特 殊 性 ． 与 传统 的数 据挖 掘 相 比 又 增 添 ｄ ｃｄＴ ｐｃＳａｃ）Ｐｇ Ｒ ｎ 、 现 虚 拟 社 区 的 算 法 、 现 相 似 ｂ 它 ｕｅ ｏｉ ｅｒｈ、ａｅ ａ ｋ 发 发 了新 的特 质 。首 先 Ｗｅ ｂ挖 掘 的 对 象 是 大 量 异 质 分 布 的 Ｗｅ ｂ文 页 面 的算 法 、 现 地 理 位 置 的算 法 和页 面分 类 算 法 。 ｂ结 构 挖 发 Ｗｅ 档， 每个 数 据 源都 是 异 构 的： 次 Ｗｅ 其 ｂ文 档 本 身 是 半 结 构 或 无 结 掘 的算 法 一 般 可分 为查 询 相 关 算 法 和 查 询 独立 算 法 两类 。查 询 构 的 而且 缺乏 机 器 可 理 解 的 语 义 相 关 算 法 需 要 为 每一 个 查 询 进 行 一 次 超 链 分析 从 而 进行 一 次值 ２ Ｗｅ 数 据 的特 点 ． ｂ ２ 的指 派 ， 查 询 独 立 算 法 则 为 每个 文档 仅 进 行 一 次 值 的指 派 。 而 对 ２２１ 据量 巨大 ＿ 数 ． 所 有 的查 询 都 使 用 此 值 。Ｈ Ｔ ＩＳ和 Ｐ ｇＲ ｎ ａｅ ａｋ分 别 是 查 询 相关 算 Ｉｔ ｔ 分 布 在 世 界 不 同位 置 的 电脑 ｆ 务 器１连 接 了 起 法 和查 询 独立 算 法 的代 表 ｎ ｍｅ 把 ｅ 服 来 ， 个 电 脑 上都 存 有 丰 富 的数 据 ． 此 数 据 涉 及 各 种 不 同 的 行 ３３Ｗｅ 用 的挖 掘 每 这 ． ｂ使 业 和 领 域 ，又 由 于 连 接 于 Ｉｔ ｎｔ 电脑 数 量 非 常 巨大 。所 以 ｎｅ ｅ 的 ｒ Ｗｅ 使 用挖 掘 又 叫使 用 记 录 挖 掘 ． 指 通 过 挖 掘 Ｗｅ ｂ 是 ｂ日志 Ｗｅ ｂ挖 掘 所 处 理 的 数 据 非 常 大 。 来 发 现 用 户 访 问 Ｗｅ ｂ页 面 的模 式 在 Ｗｅ ｂ的 用 户 使 用 信 息 的 挖 ２ ． 构 数据 库 环 境 ． ２异 ２ 掘 中 ， 述 用 户 访 问 信 息 的 数 据包 括 ： 描 Ｉ 址 、 考页面、 问 日 Ｐ地 参 访 每 个 Ｗｅ ｂ站 点 都 可 以看 作 是 个 数 据 源 。 由于 各 站 点 是 相 互 期 和 时 间 、 户 的 站 点 以及 配 置信 息 。 户使 用 的挖 掘 通 常 采 取 用 用 独 立 的 ． 问 除 了 可 以 互 相 访 问 之 外 并 没 有任 何关 系 ． 以每 个 下 面 三 个 步 骤 ： １数 据 预 处 理 。 这是 用 户 访 问 信 息 最 关 键 的 阶 之 所 （ １ 站 点 之 间 的信 息 及 信 息 组 织 方 式 都 是 不 相 同的 ．这 就 构 成 了一 段 ， 据 预 处 理 包 括 ： 据净 化 、 户识 别 、 务 识 别 等过 程 。 （ 数 数 用 事 ２ ） 个 巨 大 的 异构 数 据 库 环 境 模 式 识 别 阶段 。该 阶段 采 用 的方 法 包 括 ： 计 法 、 器 学 习 和 模 统 机 ２２ ．３半 结 构 化 的数 据结 构 ． 式 识 别 等 ．其 实 现 的 主 要算 法包 括路 径 分 析 技 术 和 数 据 挖 掘 的 Ｗｅ 的 数据 与传 统数 据库 中 的数 据 不 同 之处 还 在 于 传 统 传 统 算 法 。 ｂ上 如关 联 规 则 挖 掘 算 法 、 列 模 式 挖 掘 算 法 等 。 径 分 序 路 数 据 库 都 有一 定 的模 型 ．可 以根 据 数 据 模 型来 对 具 体 的数 据 进 析 可 以用 来 发现 Ｗｅ ｂ站 点 最 常被 访 问 的 路 径 ． 而 可 以 调 整 站 从 行 描 述 。 Ｗｅ 而 ｂ站 点 中 的 数 据 不 存 在 统 一 的模 型 ， 站 点 都 是 点 的 结 构 。３模 式 分 析 阶段 。 阶 段 的 任 务 是 从上 一 阶段 搜 集 数 各 （１ 该 独 自设 计 。 且 站 点 中 的 数 据 是 处 于 不停 变 化 之 中 的 。 并 据 集 中 过 滤 掉 不 感 兴趣 和 无 关联 的 模 式 ．将 发 现 的有 价 值 的用 ３ Ｗｅ 、 ｂ数 据挖 掘 分 类 和 技 术 户 浏 览 模 式 以表 格 、 图 、 饼 曲线 图 、 方 图 或 者 其 它 特 殊 形 式 显 直 ３１Ｗｅ ． ｂ内容 挖 掘 示 出来 。具 体 的 实 现 方 法 依 具 体 的 Ｗｅ 掘 技 术 而 定 ， 常 有 ｂ挖 通 Ｗｅ ｂ内容 挖 掘 是 指 从 Ｗｅ ｂ上 的 文 件 内 容 及 其 描 述 信 息 中 两 种 方 法 ： 种 采 用 Ｓ 一 ＱＬ查 询 语 句 进 行 分 析 ． 一 种 将 数 据 导 另 获 取 潜 在 的 、 价 值 的 知 识 或 模 式 的 过 程 。 分 为 Ｗｅ 有 它 ｂ文 本 挖 人 多 维 数 据 立 方 体 中 ．而 后 利 用 Ｏ Ｕ 工 具 进 行 分 析 并 提 供 可 掘 和 Ｗｅ ｂ多媒 体 挖 掘 。Ｗｅ 本 挖 掘 可 以对 Ｗｅ 大 量 的 文 视 化 的结 果 输 出 ｂ文 ｂ上 档集 合 的 内容 进 行 总 结 、 类 、 类 、 联 分 析 以及 利 用 Ｗｅ 分 聚 关 ｂ文 ４ Ｗｅ 、 ｂ挖 掘 的 应 用 档进 行 趋 势 分 析 等 。 ｂ多 媒 体 挖 掘 主要 是 指 通 过 对 Ｗｅ 的 ４１Ｗｅ 掘 在 搜 索 引 擎 方 而 的应 用 Ｗｅ ｂ上 ． ｂ挖 音频 、视 频 数 据 和 图像 进 行 预 处 理 ．应用 挖掘 技 术 对 其 中 潜 在 通 过 对 网 页 内容 的挖 掘 。 以 实 现 对 网 页 的 聚 类 和分 类 ， 可 实 的 、 意 义 的信 息 和 模 式 进 行 挖 掘 的 过 程 。 有 现 网络 信 息 的分 类 浏 览 与 检 索 。 用 Ｗｅ 运 ｂ挖 掘技 术 改 进 关 键 词 Ｗｅ ｂ内容 挖 掘 按 实 现方 法 分 为两 大 类 ：信 息 检 索方 法 和 数 加 权 算 法 ， 高 网络 信 息 ��
福
建 电
脑
２０ ０ ８年第 １ 期 １
Ｗｅ 据挖 掘 技 术 及 其应 用 ｂ数
陈林 凯
（江 苏技 术 师 范 学 院 江 苏 常 州 ２ ３ ０ １０ １）
【 摘 要】 目前 Ｗｅ ： ｂ上存 有大量的数据信 息，如何 对这些数据进行有效 的应 用 已经成 了当前数据 库技 术研 究的重点 。
中的 知识 。 ２ ＷＥＢ数 据挖数 据 消 除 、 据 模 式 抽 取 、 间 形 式 表 示 、 重 数 中 异 构 集 成 、 本 分 类 和 聚 类 、 档 总 结 和 结 构 提 取 、 据 仓 库 及 文 文 数 ＯＡ Ｌ Ｐ等 几 个 方 面 ， 其 是 基 于 Ｘ 尤 ＭＬ的上 述 专 题 研 究 。 ３２Ｗｅ ． ｂ结 构 挖 掘 Ｗｅ ｂ结 构 挖 掘 是 从 ｗ ｗ上 的 组 织 结 构 和 链 接 关 系 中推 导 ｗ 知识 。 由 于 超 文 本 文 档 问 的关 联 关 系 ， 得 ｗ ｗ不 仅 可 以揭 示 使 ｗ
文档 中所 包 含 的信 息 ． 同时 也 可 以揭 示 文 档 间 的关 联 关 系所 代 表 的信 息 。 用 这 些 信 息 可 以对 页 面进 行 排 序 。 发 现 重 要 的 页 利 来 ２１ ｂ数据 挖 掘 概 述 ．Ｗｅ 面 。挖 掘 Ｗｅ ｂ结 构 的 目的 是 发 现 页 面 的 结构 和 Ｗｅ ｂ结 构 。 次 在 数 据 挖 掘（ ａ ｎｎ） Ｄ ｔ Ｍｉｉｇ就是 从 大 量 的 、 完 全 的 、 噪 声 的 、 基 础 上 对 页 面进 行 分 类 和 聚 类 从 而 找 到 权 威 页 面 Ｐ ｇ— ａｋ ａ 不 有 ａｅ Ｒ ｎ 模 糊 的 、 机 的 实 际 应 用 数 据 中 ， 取 潜 在 的 、 为 人 知 的 有 用 方 法 就是 利用 文档 间链 接 信 息 来 查 找 相关 的 Ｗｅ 随 提 不 ｂ页 。 信 息 、 式 和 趋 势 。Ｗｅ 模 ｂ数 据 挖 掘 从 数 据 挖掘 发展 而 来 ． 利 用 是 Ｗｅ 结 构挖 掘 的 基本 思想 是将 Ｗｅ ｂ ｂ看 作个 有 向 图 ． 的顶 他 数据挖掘技术从 ｗｅ ｂ文 档 及 Ｗｅ ｂ服 务 中 自动发 现并 提 取 人 们 点 是 Ｗｅ ｂ页 面 ，页 面 间 的 超 链 就 是 图 的 边 。 然 后 利 用 图 论 对 感 兴 趣 的 信 息 ． 数 据 挖 掘 技 术 应 用 于 Ｗｅ 息 的一 个 崭 新 领 Ｗｅ 是 ｂ信 ｂ的 拓 扑 结 构 进 行 分 析 。常 见 的 算 法 有 Ｈ Ｔ ｙ ｅｔ ｔ ｎ ＩＳ ｆ ｐ ｒ ｘ Ｉ－ Ｈ ｅ 域 。 由于 Ｗｅ 信 息 的 特 殊 性 ． 与 传统 的数 据挖 掘 相 比 又 增 添 ｄ ｃｄＴ ｐｃＳａｃ）Ｐｇ Ｒ ｎ 、 现 虚 拟 社 区 的 算 法 、 现 相 似 ｂ 它 ｕｅ ｏｉ ｅｒｈ、ａｅ ａ ｋ 发 发 了新 的特 质 。首 先 Ｗｅ ｂ挖 掘 的 对 象 是 大 量 异 质 分 布 的 Ｗｅ ｂ文 页 面 的算 法 、 现 地 理 位 置 的算 法 和页 面分 类 算 法 。 ｂ结 构 挖 发 Ｗｅ 档， 每个 数 据 源都 是 异 构 的： 次 Ｗｅ 其 ｂ文 档 本 身 是 半 结 构 或 无 结 掘 的算 法 一 般 可分 为查 询 相 关 算 法 和 查 询 独立 算 法 两类 。查 询 构 的 而且 缺乏 机 器 可 理 解 的 语 义 相 关 算 法 需 要 为 每一 个 查 询 进 行 一 次 超 链 分析 从 而 进行 一 次值 ２ Ｗｅ 数 据 的特 点 ． ｂ ２ 的指 派 ， 查 询 独 立 算 法 则 为 每个 文档 仅 进 行 一 次 值 的指 派 。 而 对 ２２１ 据量 巨大 ＿ 数 ． 所 有 的查 询 都 使 用 此 值 。Ｈ Ｔ ＩＳ和 Ｐ ｇＲ ｎ ａｅ ａｋ分 别 是 查 询 相关 算 Ｉｔ ｔ 分 布 在 世 界 不 同位 置 的 电脑 ｆ 务 器１连 接 了 起 法 和查 询 独立 算 法 的代 表 ｎ ｍｅ 把 ｅ 服 来 ， 个 电 脑 上都 存 有 丰 富 的数 据 ． 此 数 据 涉 及 各 种 不 同 的 行 ３３Ｗｅ 用 的挖 掘 每 这 ． ｂ使 业 和 领 域 ，又 由 于 连 接 于 Ｉｔ ｎｔ 电脑 数 量 非 常 巨大 。所 以 ｎｅ ｅ 的 ｒ Ｗｅ 使 用挖 掘 又 叫使 用 记 录 挖 掘 ． 指 通 过 挖 掘 Ｗｅ ｂ 是 ｂ日志 Ｗｅ ｂ挖 掘 所 处 理 的 数 据 非 常 大 。 来 发 现 用 户 访 问 Ｗｅ ｂ页 面 的模 式 在 Ｗｅ ｂ的 用 户 使 用 信 息 的 挖 ２ ． 构 数据 库 环 境 ． ２异 ２ 掘 中 ， 述 用 户 访 问 信 息 的 数 据包 括 ： 描 Ｉ 址 、 考页面、 问 日 Ｐ地 参 访 每 个 Ｗｅ ｂ站 点 都 可 以看 作 是 个 数 据 源 。 由于 各 站 点 是 相 互 期 和 时 间 、 户 的 站 点 以及 配 置信 息 。 户使 用 的挖 掘 通 常 采 取 用 用 独 立 的 ． 问 除 了 可 以 互 相 访 问 之 外 并 没 有任 何关 系 ． 以每 个 下 面 三 个 步 骤 ： １数 据 预 处 理 。 这是 用 户 访 问 信 息 最 关 键 的 阶 之 所 （ １ 站 点 之 间 的信 息 及 信 息 组 织 方 式 都 是 不 相 同的 ．这 就 构 成 了一 段 ， 据 预 处 理 包 括 ： 据净 化 、 户识 别 、 务 识 别 等过 程 。 （ 数 数 用 事 ２ ） 个 巨 大 的 异构 数 据 库 环 境 模 式 识 别 阶段 。该 阶段 采 用 的方 法 包 括 ： 计 法 、 器 学 习 和 模 统 机 ２２ ．３半 结 构 化 的数 据结 构 ． 式 识 别 等 ．其 实 现 的 主 要算 法包 括路 径 分 析 技 术 和 数 据 挖 掘 的 Ｗｅ 的 数据 与传 统数 据库 中 的数 据 不 同 之处 还 在 于 传 统 传 统 算 法 。 ｂ上 如关 联 规 则 挖 掘 算 法 、 列 模 式 挖 掘 算 法 等 。 径 分 序 路 数 据 库 都 有一 定 的模 型 ．可 以根 据 数 据 模 型来 对 具 体 的数 据 进 析 可 以用 来 发现 Ｗｅ ｂ站 点 最 常被 访 问 的 路 径 ． 而 可 以 调 整 站 从 行 描 述 。 Ｗｅ 而 ｂ站 点 中 的 数 据 不 存 在 统 一 的模 型 ， 站 点 都 是 点 的 结 构 。３模 式 分 析 阶段 。 阶 段 的 任 务 是 从上 一 阶段 搜 集 数 各 （１ 该 独 自设 计 。 且 站 点 中 的 数 据 是 处 于 不停 变 化 之 中 的 。 并 据 集 中 过 滤 掉 不 感 兴趣 和 无 关联 的 模 式 ．将 发 现 的有 价 值 的用 ３ Ｗｅ 、 ｂ数 据挖 掘 分 类 和 技 术 户 浏 览 模 式 以表 格 、 图 、 饼 曲线 图 、 方 图 或 者 其 它 特 殊 形 式 显 直 ３１Ｗｅ ． ｂ内容 挖 掘 示 出来 。具 体 的 实 现 方 法 依 具 体 的 Ｗｅ 掘 技 术 而 定 ， 常 有 ｂ挖 通 Ｗｅ ｂ内容 挖 掘 是 指 从 Ｗｅ ｂ上 的 文 件 内 容 及 其 描 述 信 息 中 两 种 方 法 ： 种 采 用 Ｓ 一 ＱＬ查 询 语 句 进 行 分 析 ． 一 种 将 数 据 导 另 获 取 潜 在 的 、 价 值 的 知 识 或 模 式 的 过 程 。 分 为 Ｗｅ 有 它 ｂ文 本 挖 人 多 维 数 据 立 方 体 中 ．而 后 利 用 Ｏ Ｕ 工 具 进 行 分 析 并 提 供 可 掘 和 Ｗｅ ｂ多媒 体 挖 掘 。Ｗｅ 本 挖 掘 可 以对 Ｗｅ 大 量 的 文 视 化 的结 果 输 出 ｂ文 ｂ上 档集 合 的 内容 进 行 总 结 、 类 、 类 、 联 分 析 以及 利 用 Ｗｅ 分 聚 关 ｂ文 ４ Ｗｅ 、 ｂ挖 掘 的 应 用 档进 行 趋 势 分 析 等 。 ｂ多 媒 体 挖 掘 主要 是 指 通 过 对 Ｗｅ 的 ４１Ｗｅ 掘 在 搜 索 引 擎 方 而 的应 用 Ｗｅ ｂ上 ． ｂ挖 音频 、视 频 数 据 和 图像 进 行 预 处 理 ．应用 挖掘 技 术 对 其 中 潜 在 通 过 对 网 页 内容 的挖 掘 。 以 实 现 对 网 页 的 聚 类 和分 类 ， 可 实 的 、 意 义 的信 息 和 模 式 进 行 挖 掘 的 过 程 。 有 现 网络 信 息 的分 类 浏 览 与 检 索 。 用 Ｗｅ 运 ｂ挖 掘技 术 改 进 关 键 词 Ｗｅ ｂ内容 挖 掘 按 实 现方 法 分 为两 大 类 ：信 息 检 索方 法 和 数 加 权 算 法 ， 高 网络 信 息 ��
Web数据挖掘技术及其在电子商务中的应用
的一 个 映射 ： 与传统 数 据 和数 据仓 库 相 比 ，Ｗｅ ｂ上 的信 息 是非 结 构 化 或半 结 构 化 的 、动 态 的 并 且 是 容 易造 成 混 淆 的 ，所 以很 难 直 理 。典 型 Ｗ ｅ ｂ数 据 挖掘 的处理 流 程 如 图 １ 下 ： 所 ．
机 、 目标 主 机 、 服 务协 议 端 口等 信息 过
维普资讯
电 孑 商 务
１ 第三方支付 的战略定位问题 。 ． 特别是在政府金融监管与电 子支付市场 的立法方面需要加快完善 ．这决定着第三方支付 的发 展问题 。《 电子支付指引 （ 第一号 ） 》对非金融机构的第三方 电子 支付及 电子商务 支付没有任何约 束 ．这些组织 未能得到有效 管 理。 目前大家都关注 着电子支付指引的第二号、第三号 的出台 在法律上第三方支付能够 找准法律上的身份和地位 这样在市场 竞争中才能够按照规范化流程进行运作和管理 ．并取得更好更健 康的可 持续 性的发展 。
圈 １ Ｗ 曲 数 据 挖 掘 的 处 理 流 程
（ 单 数据 表 ） 订 ．用 来 存放 购 买 者 在 网 上所 下 的订 单情 况 。三 个 数
据 表 的 结 构 如 图 ３所 下
掌 致 说 龋 字 玫
Ｉ Ｄ ａ ｔ ｏ ｕｈ￣
１ 查 找资 源 ： 务是 从 目标 Ｗｅ 文档 中得 到数 据 ．值 得 注意 的 任 ｂ 是 有 时信 息 资源 不 仅限 于在 线 Ｗ ｅ ｂ文档 ．还 包 括 电子 邮 件 、 电子 文 档 、新 闻组 ．或 者 网站 的 日志 数 据甚 至 是 通过 Ｗｅ ｂ形 成 的交 易 数 据 库 中的 数 据 。 ２ 信息 选择 和预 处理 任 务是 从取 得 的 Ｗｅ 资 源 中剔 除无 用信 ｂ 息和 将信 息 进 行必 要 的 整理 。 例 如从 Ｗｅ ｂ文档 中 自动去 除广 告连 接 、去 除 多 余 格 式标 记 、 自动识 别段 落或 者 字 段 并 将 数 据组 织 成
机 、 目标 主 机 、 服 务协 议 端 口等 信息 过
维普资讯
电 孑 商 务
１ 第三方支付 的战略定位问题 。 ． 特别是在政府金融监管与电 子支付市场 的立法方面需要加快完善 ．这决定着第三方支付 的发 展问题 。《 电子支付指引 （ 第一号 ） 》对非金融机构的第三方 电子 支付及 电子商务 支付没有任何约 束 ．这些组织 未能得到有效 管 理。 目前大家都关注 着电子支付指引的第二号、第三号 的出台 在法律上第三方支付能够 找准法律上的身份和地位 这样在市场 竞争中才能够按照规范化流程进行运作和管理 ．并取得更好更健 康的可 持续 性的发展 。
圈 １ Ｗ 曲 数 据 挖 掘 的 处 理 流 程
（ 单 数据 表 ） 订 ．用 来 存放 购 买 者 在 网 上所 下 的订 单情 况 。三 个 数
据 表 的 结 构 如 图 ３所 下
掌 致 说 龋 字 玫
Ｉ Ｄ ａ ｔ ｏ ｕｈ￣
１ 查 找资 源 ： 务是 从 目标 Ｗｅ 文档 中得 到数 据 ．值 得 注意 的 任 ｂ 是 有 时信 息 资源 不 仅限 于在 线 Ｗ ｅ ｂ文档 ．还 包 括 电子 邮 件 、 电子 文 档 、新 闻组 ．或 者 网站 的 日志 数 据甚 至 是 通过 Ｗｅ ｂ形 成 的交 易 数 据 库 中的 数 据 。 ２ 信息 选择 和预 处理 任 务是 从取 得 的 Ｗｅ 资 源 中剔 除无 用信 ｂ 息和 将信 息 进 行必 要 的 整理 。 例 如从 Ｗｅ ｂ文档 中 自动去 除广 告连 接 、去 除 多 余 格 式标 记 、 自动识 别段 落或 者 字 段 并 将 数 据组 织 成
Web挖掘在当今社会中的发展和前景
ｗｈｃ ｅ ｄ ｔｅ ｒｔｃ ｌｄｓ ｕ ｓｏ ｆｍｏ ｅｄｏ ｓｉ ｎｄ ｆｒｉｎ ｓ ｈ ｌｒ ｏ ｉｈ ｎ ｅ ｈ ｏ ｅｉａ ｉｃ ｓ ｉｎ ｏ ｒ ｍｅ ｔｃ ａ ｏ ｅｇ ｃ ｏａｓｏｎ ｈ ｗ Ｗ ｅ ｎｎ ｅ ｅｏ ｂ ｍｉ ｉｇ ｄ ｖ ｌｐｍｅ ｔｐａ ｓａ ｐ ｏ ｔｎ ｏ ｅｏ ｈ ｅ ｅｏ ｍｅ ｔｏ ｎ ｌｙ ｒ ｍｏ ｉｇ ｒｌ ｎ ｔｅ ｄ ｖ ｌｐ ｎ ｆ
ｔｅｒｌ ｅ ，ａ ｌ ａ ｈ ｈ ｌ ｎ ｅ ｔｆｃ ｓ ｈ ｉ ｉ ｓ ｓｗｅ ｌ ｓｔ ｅｃ ａｌ ｇ ｓｉ ａ ｅ ． ｖ ｅ
关键 词 ： ｂ Ｗｅ 挖掘 ； 类 ； 式 分析 ； 分 模 可视化 ； 网络通 信
Ｋｅ ｒ ｓ：Ｗ ｅ ｎｎ ，ｃａ ｓｆｃ ｔｏ ；ｐ ｔ ｒ ｎ ｌｓｓ ｉｕ ｌｚｔｏ ；ｎ ｔ ｒ ｏ ｙ ｗｏ ｄ ｂ ｍｉ ｉｇ ｌｓ ｉ ａｉｎ ａｔ ｎ ａ ａｙ ｉ；ｖｓ ａｉａｉｎ ｅｗｏ ｋ ｃ ｍｍｕｎｃ ｔｏ ｉ ｅ ｉａｉｎ
刘 平 骢 ＬｕＰｎ ； 云③Ｃ ｏＹ ｎ ｉ ｉｇ 曹 ａ ｕ
（ ①湘南学院， 郴州 ４ ３０ ； ２ ００②湖南大学计算机与通信学院， 长沙 ４０ ８ ； １０ ２③郴州工业交通学校 ， 郴州 ４３０ ） ２０ ０ （ Ｘａｇａ ｏｅｅＣ ｅｚｏ ２０ ０Ｃ ｉａ＠ Ｓｈｏ ｏ Ｃｍ ｕ ｒ ｎ ｏ ｍ ｎｃｔ ｎ Ｈ ｎｎＵ ｉ ｒｉ ，ｈｎｓａ １０ ２Ｃ ｉａ ￣ ｉ ｎｎＣｌ ｇ ，ｈｎｈｕ ３０ ，ｈ ； ｃｏｌｆ ｏ ｐ ｔ ｄＣ ｍ ｕ ｉ ｉ ， ｕａ ｎ ｅ ｔ Ｃ ａｇｈ ０ ８ ，ｈｎ ） ｎ ｌ ４ ｎ ｅａ ａｏ ｖ ｓｙ ４ ￣Ｃ ｅｚｏ ｄｓｉ ｒｆｃ ｏ ｅｅＣ ｅｚｏ ２ ００ Ｃ ｉ ） ｈｎｈｕＩ ｕｔａＴａ ｌｇ ，ｈｎｈｕ４ ３０ ，ｈ ａ ｎ ｒｌ ｉ Ｃ ｌ ｎ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
参 考文 献 来自（ ５ ：８ １） ． ２
［ ］ 姜瑞其 ． ３ 国外 机构库发展 概况 ［］ 图书情报工 作 ，０ ５ １ ）１ ２ Ｊ． ２０ （ １ ：４ —
１ ５； ４９ ４ １ ．
（ 责任编辑 ： 刘翠玲 ） 第一作者简介 ： 春燕 ， ，９ ９ ５ 李 女 １７ 年 月生 ，０ ２ ２ ０ 年毕业于武汉大学 图书馆 学系，助理馆员 ，中山大学图书馆 ， 广东 省广州市新港西路 １５ ３
之 为半结 构化数据 。半结构化是 Ｗｅ 上数据 的最大特点 。 ｂ ２３ 解 决半结构化的数据源 问题 ．
１ Ｗｅ 信 息挖 掘概 述 ｂ
Ｗｅ ｂ挖掘（ ｂＭｉｉｇ是数据挖掘在 Ｗｅ Ｗｅ ｎｎ ） ｂ上的应用 ， 是一项 综合 技
术， 涉及 Ｗ ｂ 数据挖掘 、 机语言学 、 ｅ、 计算 信息学等多个领域 ， 同研究 者 不 从 自身的领域 出发 ，对网络挖掘的含义有着不 同的理解 。但 总体 而言 ，
从数据库研究的角度出发 ， ｂ网站上 的信息也可以看作是一个数 Ｗｅ
据库 ， 一个更大 、 复杂的数据库 。Ｗｅ 更 ｂ上 的每一 个站点就是一 个数据
源， 每个数据源都是异构 的， 因而每一站点 之间的信 息和组织都不一样 ， 这就构成 了一个巨大的异 构数据库环境 。 如果想要利用这些数据进行数 据挖 掘 ， 首先必须要研究站 点之间异构数 据的集成 问题 ， 只有将 这些站 点的数据都集成起来 ， 提供 给用户一个统 一的视图 ， 才有 可能从 巨大的 数据资源 中获取所需 的东西 。其 次 ， 还要解决 Ｗｅ ｂ上的数据查询 问题 ， 因为如果所需的数 据不能很有效地得到 ， 对这些数据进行 分析、 集成 、 处
理就无从谈起 。 ２２ 半结构化的数据结构 ．
Ｗｅ ｂ内容挖掘是指对 Ｗｅ 页面内容及后 台交易数据库进行挖掘 ， ｂ 从 Ｗｅ ｂ文档内容 中获取有用知识 的过程 ，还可以对 Ｗｅ ｂ组织结构 和连接关
系进行挖掘 ， 从人为的链接结构中获取有用 的知识。目前 Ｗｅ ｂ内容挖掘多
数是基于文本信息的挖掘 ， 它和通常的平面文本挖掘的功能和方法 比较类 似 ， 由于互联网上的数据基本上都是 Ｈ Ｍ 但 Ｔ Ｌ格式 的文件数据格式流 ， 因 此可 以利用文档中的 Ｈ Ｍ 标记来提高 Ｗｅ 文本挖掘的性能。 Ｔ Ｌ ｂ ３２ ． Ｗｅ ｂ结构挖掘 Ｗｅ 结构挖掘揭示 Ｗｅ 文档结构信息中的有用模式 ，挖掘 Ｗｅ 链 ｂ ｂ ｂ 接结构 ， 从而识别出权威 Ｗｅ 面。所谓权威 Ｗｅ ｂ页 ｂ页面 ， 就是指在针对
第 １ ７卷
第２ Ｏ期
收稿 日期 ：Ｏ ７ Ｏ — ９ ２０一３２
Ｗｅ ｂ信息挖掘现状及应用前景
龚 月瑛 ， ， ｚ
（． １ 太原理工大学 ， 山西太原 ，３０ ４ ２大同大学 ， ０ ０ ２ ；． 山西大 同 ，３ ０ ９ ０ ７０ ） 摘 要： 介绍 了 Ｗｅ 息挖掘 的环境与分类 ， ｂ信 论述 了 Ｗｅ ｂ挖掘技 术 ， 望 了信息挖掘 展 的 应 用前 景 。
Ｗｅ ｂ挖掘是指针对包括 Ｗｅ ｂ页面 内容 、页面之 间的结构 、用户访 问信
Ｗｅ 挖掘技术首 要解决半结构 化数据源模型 和半结构 化数据模 型 ｂ 的查询与集成 问题 。解决 Ｗｅ 上 的异构数据 的集成与查询问题 ， 须 ｂ 就必 要有一个模型来清晰地描述 Ｗｅ 上 的数据 。针对 Ｗ ｂ 的数据半结构 ｂ ｅ上 化 的特点 ， 寻找一个半结构化 的数 据模 型是 解决问题的关键所在 。除 了
号 。１２ ５ ５０７ ．
［ ］ Ｃ ａ ｇＳＨ．ｎｔｕｉ ａ ｓｏｉ ｒ ：ｈ ｂａｙ ｓ ｅ ｌ［］ Ｌ １ ｈｎ ， Ｉｓｔｔ ｎ ｌｅｐｓｏｉ Ｔ ｅｉｒｒ’ ｗｒ ｅ Ｊ ． Ｃ ｉ ｏ ｒ ｔ ｅ ｓ ｌ ｎ ｏ ＯＣ
关 键 词 ： ｂ挖 掘 ； 据 库 ； ｂ 日志 挖 掘 ； Ｗｅ 数 Ｗｅ 关联 规 则
中图分类号 ：Ｐ ９ Ｔ ３３
文献标识码 ： Ａ
数据本身具有 自 述性 和动 态可变性。因而 ， ｂ 的数 据具有 一定的结 Ｗｅ 上 构性 ， 因 自 但 述层次 的存在 ， 从而是一种非完全结构化 的数据 ， 被称 这也
Ｗｅ 上 的数据与传统的数据库 中的数据不 同， ｂ 传统 的数 据库 都有一 定的数据模 型 ， 可以根据模型来具体描述特定的数据。而 Ｗｅ 上的数据 ｂ 非常复杂 ， 没有特定 的模 型描述 ， 每一站点的数据都各 自 独立设计 ， 并且 构。 而机构库的创建和运行 ， 图书馆员都起着重要 的作用。 中机构库 的某 其 些工作环节中， 图书馆员有着无可 比 的优势。机构库的出现给图书馆 以 拟 及图书馆员带来了巨大的机遇 。它可以看成是图书馆的延伸 ， 使图书馆的 功能得到了扩大。因此图书馆和图书馆员应积极投人到机构库建设 中去 。
要定义一个半结构化数据模型外 ，还需要 一种半结构化模型抽取技术 ，
息、 电子商务信息等在 内的各种 Ｗｅ 数据 ， ｂ 应用数据挖 掘方法 以发现有 用的知识来帮助人 们从 ＷⅣｗ 中提取 知识 ， 改进站点设 计 ， 更好地开展
电子商务。
即自 动地从 现有 数据中抽取半结构化模型 的技术 。面 向 Ｗｅ 的数据挖 ｂ
掘必须 以半结构化模型和半结 构化数据模型抽取技术为前提 。
２ Ｗｅ ｂ挖 掘的环 境
２１ 异构数据库环境 ．
３ Ｗｅ 挖 掘 的分 类 ｂ
目前 Ｗｅ 挖 掘技术 根据挖掘的方向一般分 为 ３ ： ｂ内容挖掘 、 ｂ 类 Ｗｅ
Ｗｅ 结构挖掘和 ｗｅ 使用记 录的挖掘 。 ｂ ｂ ３１ ． ｗｅ ｂ内容挖掘 ’
维普资讯
Ｓ ＩＴ Ｃ Ｏ ＭＡ Ｉ Ｎ Ｄ Ｖ Ｌ Ｐ Ｃ－ Ｅ Ｈ Ｉ Ｒ ＴＯ Ｅ Ｅ Ｏ ＭＥＮ ＮＦ Ｔ＆Ｅ Ｏ Ｏ Ｃ Ｎ ＭＹ 文章编号：０ ５６ ３ （０ ７ ２ － １１ ０ １０ － ０ ３２ ０ ）０ ０ ９ － ２
２０ ０ ７年
［ ］ 姜瑞其 ． ３ 国外 机构库发展 概况 ［］ 图书情报工 作 ，０ ５ １ ）１ ２ Ｊ． ２０ （ １ ：４ —
１ ５； ４９ ４ １ ．
（ 责任编辑 ： 刘翠玲 ） 第一作者简介 ： 春燕 ， ，９ ９ ５ 李 女 １７ 年 月生 ，０ ２ ２ ０ 年毕业于武汉大学 图书馆 学系，助理馆员 ，中山大学图书馆 ， 广东 省广州市新港西路 １５ ３
之 为半结 构化数据 。半结构化是 Ｗｅ 上数据 的最大特点 。 ｂ ２３ 解 决半结构化的数据源 问题 ．
１ Ｗｅ 信 息挖 掘概 述 ｂ
Ｗｅ ｂ挖掘（ ｂＭｉｉｇ是数据挖掘在 Ｗｅ Ｗｅ ｎｎ ） ｂ上的应用 ， 是一项 综合 技
术， 涉及 Ｗ ｂ 数据挖掘 、 机语言学 、 ｅ、 计算 信息学等多个领域 ， 同研究 者 不 从 自身的领域 出发 ，对网络挖掘的含义有着不 同的理解 。但 总体 而言 ，
从数据库研究的角度出发 ， ｂ网站上 的信息也可以看作是一个数 Ｗｅ
据库 ， 一个更大 、 复杂的数据库 。Ｗｅ 更 ｂ上 的每一 个站点就是一 个数据
源， 每个数据源都是异构 的， 因而每一站点 之间的信 息和组织都不一样 ， 这就构成 了一个巨大的异 构数据库环境 。 如果想要利用这些数据进行数 据挖 掘 ， 首先必须要研究站 点之间异构数 据的集成 问题 ， 只有将 这些站 点的数据都集成起来 ， 提供 给用户一个统 一的视图 ， 才有 可能从 巨大的 数据资源 中获取所需 的东西 。其 次 ， 还要解决 Ｗｅ ｂ上的数据查询 问题 ， 因为如果所需的数 据不能很有效地得到 ， 对这些数据进行 分析、 集成 、 处
理就无从谈起 。 ２２ 半结构化的数据结构 ．
Ｗｅ ｂ内容挖掘是指对 Ｗｅ 页面内容及后 台交易数据库进行挖掘 ， ｂ 从 Ｗｅ ｂ文档内容 中获取有用知识 的过程 ，还可以对 Ｗｅ ｂ组织结构 和连接关
系进行挖掘 ， 从人为的链接结构中获取有用 的知识。目前 Ｗｅ ｂ内容挖掘多
数是基于文本信息的挖掘 ， 它和通常的平面文本挖掘的功能和方法 比较类 似 ， 由于互联网上的数据基本上都是 Ｈ Ｍ 但 Ｔ Ｌ格式 的文件数据格式流 ， 因 此可 以利用文档中的 Ｈ Ｍ 标记来提高 Ｗｅ 文本挖掘的性能。 Ｔ Ｌ ｂ ３２ ． Ｗｅ ｂ结构挖掘 Ｗｅ 结构挖掘揭示 Ｗｅ 文档结构信息中的有用模式 ，挖掘 Ｗｅ 链 ｂ ｂ ｂ 接结构 ， 从而识别出权威 Ｗｅ 面。所谓权威 Ｗｅ ｂ页 ｂ页面 ， 就是指在针对
第 １ ７卷
第２ Ｏ期
收稿 日期 ：Ｏ ７ Ｏ — ９ ２０一３２
Ｗｅ ｂ信息挖掘现状及应用前景
龚 月瑛 ， ， ｚ
（． １ 太原理工大学 ， 山西太原 ，３０ ４ ２大同大学 ， ０ ０ ２ ；． 山西大 同 ，３ ０ ９ ０ ７０ ） 摘 要： 介绍 了 Ｗｅ 息挖掘 的环境与分类 ， ｂ信 论述 了 Ｗｅ ｂ挖掘技 术 ， 望 了信息挖掘 展 的 应 用前 景 。
Ｗｅ ｂ挖掘是指针对包括 Ｗｅ ｂ页面 内容 、页面之 间的结构 、用户访 问信
Ｗｅ 挖掘技术首 要解决半结构 化数据源模型 和半结构 化数据模 型 ｂ 的查询与集成 问题 。解决 Ｗｅ 上 的异构数据 的集成与查询问题 ， 须 ｂ 就必 要有一个模型来清晰地描述 Ｗｅ 上 的数据 。针对 Ｗ ｂ 的数据半结构 ｂ ｅ上 化 的特点 ， 寻找一个半结构化 的数 据模 型是 解决问题的关键所在 。除 了
号 。１２ ５ ５０７ ．
［ ］ Ｃ ａ ｇＳＨ．ｎｔｕｉ ａ ｓｏｉ ｒ ：ｈ ｂａｙ ｓ ｅ ｌ［］ Ｌ １ ｈｎ ， Ｉｓｔｔ ｎ ｌｅｐｓｏｉ Ｔ ｅｉｒｒ’ ｗｒ ｅ Ｊ ． Ｃ ｉ ｏ ｒ ｔ ｅ ｓ ｌ ｎ ｏ ＯＣ
关 键 词 ： ｂ挖 掘 ； 据 库 ； ｂ 日志 挖 掘 ； Ｗｅ 数 Ｗｅ 关联 规 则
中图分类号 ：Ｐ ９ Ｔ ３３
文献标识码 ： Ａ
数据本身具有 自 述性 和动 态可变性。因而 ， ｂ 的数 据具有 一定的结 Ｗｅ 上 构性 ， 因 自 但 述层次 的存在 ， 从而是一种非完全结构化 的数据 ， 被称 这也
Ｗｅ 上 的数据与传统的数据库 中的数据不 同， ｂ 传统 的数 据库 都有一 定的数据模 型 ， 可以根据模型来具体描述特定的数据。而 Ｗｅ 上的数据 ｂ 非常复杂 ， 没有特定 的模 型描述 ， 每一站点的数据都各 自 独立设计 ， 并且 构。 而机构库的创建和运行 ， 图书馆员都起着重要 的作用。 中机构库 的某 其 些工作环节中， 图书馆员有着无可 比 的优势。机构库的出现给图书馆 以 拟 及图书馆员带来了巨大的机遇 。它可以看成是图书馆的延伸 ， 使图书馆的 功能得到了扩大。因此图书馆和图书馆员应积极投人到机构库建设 中去 。
要定义一个半结构化数据模型外 ，还需要 一种半结构化模型抽取技术 ，
息、 电子商务信息等在 内的各种 Ｗｅ 数据 ， ｂ 应用数据挖 掘方法 以发现有 用的知识来帮助人 们从 ＷⅣｗ 中提取 知识 ， 改进站点设 计 ， 更好地开展
电子商务。
即自 动地从 现有 数据中抽取半结构化模型 的技术 。面 向 Ｗｅ 的数据挖 ｂ
掘必须 以半结构化模型和半结 构化数据模型抽取技术为前提 。
２ Ｗｅ ｂ挖 掘的环 境
２１ 异构数据库环境 ．
３ Ｗｅ 挖 掘 的分 类 ｂ
目前 Ｗｅ 挖 掘技术 根据挖掘的方向一般分 为 ３ ： ｂ内容挖掘 、 ｂ 类 Ｗｅ
Ｗｅ 结构挖掘和 ｗｅ 使用记 录的挖掘 。 ｂ ｂ ３１ ． ｗｅ ｂ内容挖掘 ’
维普资讯
Ｓ ＩＴ Ｃ Ｏ ＭＡ Ｉ Ｎ Ｄ Ｖ Ｌ Ｐ Ｃ－ Ｅ Ｈ Ｉ Ｒ ＴＯ Ｅ Ｅ Ｏ ＭＥＮ ＮＦ Ｔ＆Ｅ Ｏ Ｏ Ｃ Ｎ ＭＹ 文章编号：０ ５６ ３ （０ ７ ２ － １１ ０ １０ － ０ ３２ ０ ）０ ０ ９ － ２
２０ ０ ７年