浅析Web内容挖掘技术

◎艺 科 论 坛 ◎
浅 析 Ｗｅ ｂ内容 挖 掘 技 术
崔 敏
（ 东 营 职业 学 院 教 师 教 育 学 院 ， 山东 东 营 ２ ５ ７ ０ ９ １ ）
摘 要： 随着因特 网的飞速发展 ， 各种信息可以以非常低的成 本在 网络 上获得 ， 这样 因特 网的迅 速 发 展 对 万维 网信 息 的查 找 与 发 现提 出 了巨大的挑 战 。对 于大 多数 用户提 出的与主题 或领 域相 关 的查询 需求 ， 传统 的通 用搜 索 引 擎往 往 不 能提 供令 人 满 意 该 词 汇 现的位 置和 卜 下 文环境 、属忡 ｔ Ｊ ‘ 以是 布尔 型 ， 根据 词 汇是 否 在 文档 中出 现而 定 ， 也口 ｒ 以有 频 度 ， 即 该词 汇在 文档 中 的出现 频 率 。这种 方 法 可 以扩 展 为选 择 终 结符 、 标点 符号 、 不常用 词 汇的 属性 作 为 考察 集 合 。词 汇袋 方 法 的 一 个 弊端 是 自由文 本 中的数 据 丰 富 ， 词 汇 量 非常 大 ， 处理 起 来很 困难 ， 为解 决这个 问题 人们 做 ｒ 相应 的研 究 ， 采取 了 不 同技 术 ， 如信 息增 益， 交叉 熵 、 差异 比等 ， 其 目的都是 为 了减少 属性 。另 外 ， …・ 个 比较 有意 义 的方法 是潜在 语 义索 引 （ Ｌ ａ ｔ ｅ ｎ ｔ Ｓ ｅ ｍ ａ ｎ ｔ ｉ ｃ Ｉ ｎ ｄ ｅ ｘ ｉ ｎ ｇ ） ， 它 通过 分析 不 同文档 中相 同主题 的共 享词 汇 ， 找 到他们 共 同 的根 ， 用 这个 公共的根代替所有词汇 ， 以此来减少维空问。例如： “ ｉ ｎ ｆ ｏ ｒ ｍ ｉ ｎ ｇ ” 、 “ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ” 、 “ ｉ ｎ ｆ ｏ ｒ ｍ ｅ ｒ ” 、 “ ｉ ｆｏ ｎ ｒ ｍ ｅ ｄ ” 可 以用 他 们 的根 “ ｉ ｎ ｒ ｆ Ｉ ｌ ” 来 表示 ， 这样可以减少屙ｌ 生集合的规模。其他的属性表示法还有词 汇在 文档 中的 出现位 置 、 层 次关 系 、 使 用短语 、 使用 术 语 、 命 名 实体 等， 目前还 没有研 究 表明一 种表 示法 明显 优于 另一种 。 ４ 用 资 源查 找 （ Ｉ ｆｏ ｎ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ １ ） 的观 点 挖 掘 半 结 构 化
果 网页 ， 所 以 Ｗｅ ｂ 挖 掘技 术便 应 运 而生 ， 并 引起 了人 们 的 极 大 兴 趣 。本文 主要 对 ｗｅ ｈ内容 挖 掘 的概 念 及 相 关技 术进 行 了分析 与
讨论，
关键词 ： Ｗｅ ｂ 内容挖 掘 ； 文本挖 掘 ： 非结构化 文 档
随着 Ｉ ｎ ｔ ｅ ｒ ｎ ｅ ｔ 的迅猛发展， 信息容量呈爆炸性增长趋势 ， 然而 信息检索工具和分析工具的相对落后， 导致 了信息过载。目前， 人 们从 Ｗｅ ｂ上获取信息的主要途径是通过搜索引擎 ， 搜索引擎虽然 部分地解决 了资源发现问题， 但其精度不高 ， 不能为用户提供结构 化信息 ， 也不能提供文档分类、 过滤等功能。因此 ， 人们迫切需要
能 够 从 Ｗｅ ｂ 快速、 准确 、 有 效 地 获 取 所需 资源 和 有 用模 式 的方 法和技 术 ， Ｗｅ ｂ挖掘技 术便 应运 而 生 ， 并 引起人 们 的极大 兴趣 。人 们 将传 统 的数据 挖掘技 术和 Ｗｅ ｂ相结 合 ， 进行 Ｗｅ ｂ挖 掘 ， 从半 结 构或兀结构 的 Ｗｅ ｂ页叫中， 以及使用者的活动 中， 抽取感兴趣的、 潜 在 的模式 ， 分析 、 研究 ， 并加 以利 用 。 １ ｗｅ ｂ内容挖 掘的 定义 ｗｅ ｂ内容挖 掘 是指 从 Ｗｅ ｂ上 的 网页 内容 及其 描 述信 息 中 获 取潜在的 、 有价值的知识模式， 从文本 、 图像 、 音频 、 视频 、 动画等各 种形式的网络资源中发现所需的特定化信息， 以实现 Ｗｅ ｂ资源的 自动检 索 ， 提 高 Ｗｅ ｂ数据 利 用率 的过 程 。总 体上 说 ， 有 Ｗｅ ｂ文本 挖 掘 和 Ｗｅ ｂ多媒 体挖 掘。Ｗｅ ｂ文本 挖 掘是 对 Ｗｅ ｂ 上 的大 量 文档 集合的内容进行总结 、 分类 、 聚类和关联分析等。Ｗｅ ｂ 多媒体挖掘 是指从 Ｗｅ ｂ多媒体数据如音频 、 视频 、 数据 和图像等 中抽取事先 未知 的 、 隐藏 的 、 完 整 的和新颖 的知识 。Ｗｅ ｂ内容挖 掘可 以看作 是 Ｗｅ Ｅ ） 信息检索（ Ｉ Ｒ ） 和信息抽取 （ Ｉ Ｅ ） 的结合。 目前 的研究主要集 中在词 频统 计 、 分 类算 法、 机器 学 习、 元数据 （ Ｍｅ ｔ ａ Ｄ ａ ｔ ａ ） 、 部分 Ｈ Ｔ Ｍ Ｔ 结构信息发现、 数据问隐藏 的模式 （ Ｐ ａ ｌ ｔ ｅ ｒ ｎ ） 发现并生成抽 取规则（ Ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ Ｒ ｕ ｌ ｅ ） ， 从 页 面 中分 离 出 概 念 （ Ｃ ｏ ｎ ｃ ｅ ｐ ｔ ） 和实 体 （ Ｅ ｎ ｔ ｉ ｔ ｙ ） 数 据 。此 外 ， 文本 挖掘 也 可 以认 为是 Ｗｅ ｂ 内容 挖 掘 的组 成 部分 之一 ， 其不 仅指 的是 单独 文档 中 的信 息 提取 ， 同时也 包 括分 析 文档 集合 的模 式 和趋势 文 本挖 掘包括 对 文本 的分类 ／ 归类， 涉 及到决 策树 等算 法 。当 前 Ｗｅ ｂ内容 挖 掘 侧 重 的是 从 文 档 中抽 取 有关事 实 ， 它对 文档 和知识 的结 构 和表达感 兴 趣 。 ２ Ｗｅ ｂ内容挖 掘 的关键 技术 Ｗｅ ｂ上 的 内容 挖掘 多 为基 于文本 信 息 的挖 掘 ， 它 和通 常 的 平 面文 本挖掘 的 功能 和方 法 比较 类似 。利 用 Ｗｅ ｂ文档 中部分 标 记 ， 如Ｔ ｉ ｔ ｌ ｅ 、 Ｈ ｅ ａ ｄ等包 含的额外 信息， 可 以提高 Ｗｅ ｂ文本挖掘 的性 能 。Ｗｅ ｂ文本 挖掘 的关 键技 术 主要 包 括 文本 的表 示模 型 、 文 本 特 征的选取算法 、 Ｗｅ ｂ挖掘 的分类算法 、 聚类算法 、 主题探测和追踪 算 法 和模 型评 测指标 。 其 中有 关 文本 的 表示 模 型 、 文本 特 征 的选 取 算法 、 Ｗｅ ｂ 挖 掘 的分类 算 法 、 聚类 算法 和模 型评 测指 标 的研究 国 外 已经有 大量 的研 究成 果 。文 本 总结 ： 文 本 总结 是 指从 文 档 中 抽 取关键 信息 ， 用 简洁 的形 式 对文 档 内容进 行 摘 要 或解 释 。其 目的 是对文本信息进行浓缩 ， 给出它的紧凑描述。这样 ， 用户不需要浏 览全文就可以了解文档或文档集合的总体 内容。文本分类 ： 分类 是在已有数据的基础Ｊ 学会一个分类 函数或构造出一个分类模 型， 即通常所说的分类器。文本聚类 ： 文本聚类把一组文档按照相 似性归成若干类别 。方法大致可分 为层次凝聚法和平面划分法两 种类型。关联规则 ： 发现关联规则的算法通常要经过 以下三个步 骤： 连接数据， 作数据准备； 给定最小支持度和最小可信度 ， 利用数 据挖掘工具提供的算法发现关联规则 ； 可视化显示 、 理解 、 评估关 联 规则 。 ３ 从资源查找 （ Ｉ ｌ ｄ ｂ ｒ ｎ ｉ ａ ｔ ｉ ｏ ｎ Ｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ １ ） 的 观 点 挖 掘 非 结 构 化