基于web的信息抽取方法研究

用 户 。三层 结 构 图 如下 图 １ 示 。 所
用 户 浏 览 、客 户端 程 序
１ 【
ｌ部 口 解 Ｄ 树据存 Ｉ 外接层ｌ 析ｏ 数并储 ｌ Ｍ
解
。
ｌ 据Ｍ描 文 抽结 Ｉ依 Ｌ述档 取 果ｌ
３ 信 息抽 取性 能评 价
图２信息抽取模型
３ １检索数据 的有效性 ． 基于ｗ ｂ 面的变动 ，容 易造成不能够准确地从 已改变的页面提取 ｅ页 出数据。构建校验系统不间断的监视数据抽取 的质量 ，通过Ｘ Ｌ Ｉ 滤器 Ｓ１ 过 对ｘ 输 出进行检测 ，从 “ ＭＩ 好”的数据中分离 出来的 “ 坏”数据 ３２ 检索质量评价体 系 ． Ｗｅ信息抽取技术的评测依据经典的信息检索 （Ｒ）评价指标 ，即 ｂ Ｉ 回召率 （ ｅａ ）和查准率 （ ｒｃｓ ｎ Ｒ ｃｌ １ Ｐｅｉｏ ）来衡量。其计算公式为： ｉ Ｐ 抽出的正确信息点数所 有抽出的信息点数 － Ｒ 抽出的正确信息点数所 有正确 的信息点数 ＝ 以此为标准衡量信息抽取系统 的精确程度 。
图１信息集成层次模型 ＤＯＭ （ ｏ ｕ ｎ０ ｉｃＭ０ ｅ，文档对 象模型 ）是一种供 Ｈ ＭＬ Ｄ ｃ ｍｅ ｔ ｂｅ ｔ ｄ １ Ｔ 和 ＸＭＬ 文档使用 的应用程序编程接 口 （ Ｉ ＡＰ ），定义了文档 的逻辑结构 以 及访 问和操作文档 中各个 部分的标准方法 。构建ＤＯ Ｍ结构 树为 了抽取 Ｘ Ｌ Ｍ 文档信息 ，对收集 的Ｗｅ 页面进行 结构分析 ，建立相应 的根元素 ｂ （ ｏｕ ｎＥｅ ｅ ｔ Ｄ ｅｍｅ ｔｌｍ ｎ ）和节点 （ ｏ ｅ Ｎ ｄ ）。Ｎ ｅ ｄ ｏ ￣象通过继承关系形成一裸 Ｏ 树 ，它继ｆ ＯＭ ｆ ￣ Ｎ ｄ对象 的属性和操作 ，同时又有各 自特殊的属性 ｏｅ 和操作 ，通过标记识别 和定位信息 。使用此模型 ，有效地将Ｗｅ文档 中 ｂ 的数据抽取出来表示为Ｘ ＭＤ陷式的文档 ，简化信息抽取工作 ，方便地形 成ｘ 【 据源 ，为Ｄ Ｍ Ｍ数 Ｏ 等数据提供访 问接 口， 于用户访问与检索。 利
１ × 信 息集 成系 统模 型设 计 ＭＬ
将信 息集成分为标记抽取层、传输解释层 、外部接 口层三个层次。 作 为最底层 的标记 抽取层 ，为系统提取 和集 成数据信 息。传输解 释层 作 为中间层 ，主要负责将Ｄ Ｍ Ｏ 客户端Ａ Ｉ Ｐ 向系统发 出的查询 指令转 换为 ｘＭＬ 查询 ，并 分发给各个包装器。最高层的外部接 口层解释并翻译用户 查询命令 ，传递给传输解释层 ，获得并解释查 询结果树 ，将结果显示给
ｒ０：４ ５ ． ２） — ５ ５
— 羹
２０第３ ０年 １ １ 期
科 技 与 生 活
信 息 科 学
ｌ １
基 于 ｗｅ 的信 息 抽 取 方法 研 究 ｂ
王 毅
（ 山东省泰安 市中心医 院信 息中心 ，山东泰 安 ２ １ ０ ７ ０ ０）
摘 要 结合 Ｄ Ｍ方法构 造模型 ，运用ｘ 建立精确 文档信 息 ，解决半 结构化 网页动态信 息抽取 的困难 ，提 出一种新 型的基于样 本的信息检 Ｏ ＭＬ 索方法 ，将信息整 合为新数 据模型 ，提高 网络信息抽 取的效率 和准确度 。 关键 词 信息抽 取 ；Ｘ Ｌ；Ｄ Ｍ方法 Ｍ Ｏ 中 图分 类号 Ｔ ３３ 文献 标识 码 Ａ Ｐ９ 文章 编 号 １７ —６ １（ １）７— １— １ ６ ３９ ７一２ ０ １０ １０ ０ ０
随着Ｉ ｅ ｔ ｎ ｍｅ ｔ 的发展和普及 ，基于ｗｅ信息查询 的需求愈加旺盛 。信 ｂ 息抽取是指从文本中 自动抽取相关的或特定类 型的信 息，并将其形成结 构化的数 据以供 用户查询。 由于５ 成以上的 的网页 由后 台数据库 生成的 半结构化 网页 ，搜索引擎无法从此类网页中直接获取有效数据 ，精确定 义Ｗｅ 资源中的词 汇信息 ，结合Ｄ Ｍ ｂ Ｏ 方法建立精简有效的本体模型和抽
与应 用，０ ７ ３１ ４ １ ８ ２ ０ ， ：１ — ． ４ １ ［］ ４梅雪 ， 旗， 岩． 种全 自动 生成 网页信 息Ｗｒｐ ｅ的方法［】 程学 郭 一 ａｐｒ Ｊ 中文 信息 学 ．
报 ， ０ （） ２ ８１ ０ ．
［】 琼， 文建 ． 于网页结 构 树１Ｗｅ信 息抽 签方 法［． 算机工 程 ， ０ ，１ ５陈 苏 基 ￣ ｂ ３ Ｊ计 ］ ２ ５ ０ ３
参 考 文献 【］ 腾蛟， 世渭， 冬青， 云峰． １ 王 唐 杨 刘 半结 构化数 据 的局部精 确模式 提取方法 ［ ． Ｊ 第 １
十 七届全 国数据 库学术会 议（ Ｄ Ｃ ００ ， ０ ，０ ２ ２ ． Ｎ Ｂ ２ ０ ） ０ ０ １： — ８ ２ ２
信息分离 ：主要包括页面精 简和重 复模式发现 。页面精简器对 页面 进行精简处理 ，然后 由重复模式发现器在此基础上构造一个符号化 的后 缀树 ， 再使用本文提出的方法进行重复模式的查找。 页 面精 简 ：对Ｗｅ 网页修饰类信息进行精简 ，将Ｈ Ｍ 文档转换为 ｂ Ｔ Ｌ ＸＨ ＭＬ Ｔ 文档 ，将 ＨＴ 标签 和标签 间的文本作 为标 记 串，对 符号化 的 ＭＬ Ｘ Ｔ 页面实施对标记串进行数据抽取 。 Ｈ ＭＬ 重复模式发现 ：对页面精 简器构造 的符号化后缀树查找重复 的字符 串。构造后缀树 可将带有头标签的子串插入到后缀树 ，后缀树中总以一 个头标签为开始循环 ，由此减小检索规模 ，缩减遍历时间 ，提高了抽取 的效率 。结合ｗｅ中重复标记 ，并输 出到分装器数据库。 ｈ
［］ 庆 一 ， ２ｚ Ｅ 王继 成 ， 源 远 ． 信 息 块 Ｗｅ 页 面 中的 抽 取规 则 ［］ 算机 工 程 周 多 ｂ Ｊ＿ 计
ｆ． ０ ， （ ： －４ Ｊ ２ ３２ ９ ４ ４ ． １０ ９ ）２
［１ ３李永丽， 良． 张玉 பைடு நூலகம்种基于后缀树的包装器 自动生成方法研究［ ． Ｊ计算机工程 】
２ 基于 Ｗｅ 页 面 的信 息定位 与 抽取 ｂ
基 于网页结构特征分析的信息抽取 。将Ｗｅ 文档转换成反映Ｈ Ｍ ￣ ｂ Ｔ Ｌ 件层次结构的解 析树 ，通过 自动或半 自动的方式产生抽取规则。将 信息 抽取模型分为信息标记 、信 息抽取 和信息重组３ 个模块 ，通过对要抽取 信息项的概念 、类型和实例中值的描述 ，构建信息抽取核心。整个抽取
过 程 如 图２ 示 。 所
４ 结 论 本文从ⅢｍＬ 结构特点构造ｗｅ信息抽取系统 ，提出了方便 、简单 的 ｂ Ｗｅ 信息抽取框架 ，结合Ｄ Ｍ 构造模型 ，采用流程配置的策 略来构造 ｂ Ｏ 树 抽取规则 ， 提高配置ｘ Ｌ Ｍ 文档的智能化 ，实Ｆ Ｗｅ ｆ Ａ ｌ 息的抽取。 ｆ
取规 则 。
信息抽取 ：依靠抽 取路径 、左右邻标识及节点特征等进行辨别和提 取。而对 于ｗ ｂ ｅ 页面动态信 息检索采用相对路径方法结合节点内容特征 进行定位 。把文本里包含的信息进行结构化处理 ，变成表格一样的组织 形式。输入信息抽取系统的是原始文本 ，输出的是固定格式的信息点。 信息点从各种 各样的文 档中被抽取 出来 ，然后 以统一 的形式集成在一 起 ，方便检查和比较并能对数据作 自动化处理。