基于Web挖掘的化学物质信息提取应用研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
导航系统 ］ ３ ，虽然 已有 了 以上诸 多 的的 Ｉｔｒｅ 化学 导航 ｎｅｎ ｔ 系统 ，但其 目前 主要靠 人工来 搜集 资源［ 。如果 单纯 地采 １ ］ 用人工方式 去 查找 和处 理信 息 ，会 对人 力 资源 大大 浪 费。
收 稿 日期 ：２ １—９０ ；修 订 日期 ：２ １ —１１ ０ １０ —５ ０ １１—６
２１ ０ ２年 ８月
计 算机 工程 与设计
ＣＯＭ Ｐ ＵＴＥ ＥＮＧＩ Ｒ ＮＥＥＲＩ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ａ ｕｇ ０１ ．２ ２
第３卷 ３
第 ８期
Ｖｏ ３ Ｎｏ ８ Ｌ３ ．
基于 Ｗｅ ｂ挖掘的化学物质信息提取应用研 究
冯 硕 ， 书琴＋ 李 ，杨会君
（ 西北农林 科技 大 学 信 息工程 学 院 ，陕西 杨 凌 ７ ２ ０ ） １ １０
摘 要 ：针对 多信息源 网站 中化学物质信息的获取与数据库的更新查询问题 ，运用 网络爬 虫技 术和 包装器方 法实现数据 的 抽取 ；采用 自定义 Ｘ ＭＬ文件 的方式，提 出了任务分割 、动 态更新检 查 、失败 重试机制 方法 ，实现 了动 态信 息 源网站 中化 学物质信 息的持 续、实时抽取 ，并进行异常处理和监控 。将抽取 的数 据运用正则表达 式和排序算 法进 行预 处理 并构建全 面
ｒ ｔ ａ ａ ａ ｅ ｏ ｎ ｉ ｎ ｎ ａ ｓ ｆ ｔ ｆ ｈ ｍ ｉ ｌ ，ｆ ａ ｌ ｏ ｕ ｄ ｔｎ ｎ ｕ ｒ ｉ ｇ ｔ ｅｏ ｉｉ ａ ａ ａ ａ ｅ Ａ ｅ ｔ ｉ ｅ ｒ ｅ ｏ ｅ ａ ｅ ｄ ｔ ｂ ｓ ｆｅ ｖ ｒ ｍｅ ｔ ｌ ａ ｅ ｙ ｏ ｅ ｃ ｓ ｉ ｌ ｔ ｐ ａ ｉ ｇ ａ ｄｑ ｅ ｙｎ ｈ ｒｇｎ ｌ ｔｂ ｓ ． ｏ ｃ ａ ｎ ｙ ｄ ｃ ｒ ａｎ ｄ ｇ ｅ ｆ — ｒ
而准确 的化 学品环境安全数据库 ，最终 实现 了对原有数据 的更 新查询 ，在 一定程度 上保证 了可靠性 、可用性 、可扩展 性 、
可 维护 性 。
关 键 词 ：Ｗ ｅ 信 息抽 取 ；任 务 分割 ；重 试 机 制 ；持 续 抽 取 ；数 据 预 处 理 ｂ 中 图 法 分 类 号 ： Ｐ １ ． ２ 文 献 标 识 号 ： 文章 编 号 ：１ ０—０ ４ （ ０ ２ ０ ０ ００ Ｔ ３ １ ５ Ａ ０ ０７２ ２ １ ） ８３４ —７
ｍ ｅ ｔｃ ｎ ｉ ｕ ｕ ｎ ｅ ｌ ｉ ｅｅ ｔ ａ ｔ ｎ ｘ ｅ ｔ ｎ ｈ ｎ ｌ ｇ ａ ｄ ｍｏ ｉ ｒｎ ｆＣｈ ｍｉ ｌ ｎ ｏ ｍａ ｉｎ ｉ ｈ ｎ ｏ ｍａ ｉ ｎ ｓ ｕ ｃ ｎ ｏ ｔ ｏ ｓ ａ ｄ ｒ ａ－ ｍ ｘ ｒ ｃｉ ，ｅ ｃ ｐ ｉ ａ ｄ ｉ ｎ ｎ ｔ ｉｇ ｏ ｅ ｃ ｆ ｒ ｔ ｎ ｔ ｅ ｉｆ ｒ ｔ ｏ ｒ ｅ ｎ ｔ ｏ ｏ ｎ ｏ ａ ｉ ｏ ｏ ｗｅ ｓｔ ．Ｍ ｏ ｅ ｖ ｒ ｘ ｒ ｃ ｅ ａ ａ ｉ ｐ ｅ ｒ ａ ｅ ｙ ｒ ｇ ｌｒｅ ｐ ｅ ｓｏ ｎ ｏ ｔ ｇ ａ ｇ ｒ ｈ ｎ ｕ ｌ ａ ｃ ｍ ｐ ｅ ｅ ｓｖ ｎ Ｃ Ｕ ｂｉ ｅ ｒ ｏ ｅ ，ｅ ｔａ ｔｄ ｄ ｔ ｓ ｒ ｔｅ ｔ ｄ ｂ ｅ ｕ ａ ｘ ｒ ｓ ｉｎ ａ ｄ ｓ ｒｉ ｌ ｏ ｉ ｍａ ｄ ｂ ｉ ｏ ｒ ｈ ｎ ｉ ｅ ａ ｄ ａ Ｃ — ｎ ｔ ｔ
０ 引 言
Ｉｔｒｅ 作为世界上最大的信息资料当信息源 站点数 据更新 后 ，靠人 工发现 非常 困难 ，而 且更容易出错 。为此 ，希望 能有一套 计算 机软 件系统 自动 地持续地获取 国内外一 些权威 的 网站 中化 学物 质的相 关数
工作者快速获取信息 的主要途 径。然而 ｗｅ ｂ信息 的急速膨
Ｆ Ｎ Ｓ ｕ ，Ｌ ｈ — ｉ＋，Ｙ Ｅ Ｇ ｈ ｏ Ｉ ｕｑｎ Ｓ ＡＮＧ Ｈｕ－ ｎ ｉ ｊ ｕ
（ ｌ ｇ ｆＩ ｆ ｒ ａ ｉ ｎ Ｅｎ ｉ ｅ ｒｎ Ｃｏ ｌ ｅ ｏ ｎ ｏ ｍ ｔ ｇ ｎ ｅ ｉ ｇ，Ｎｏ ｔ ｗｅ ｔＡｇ ｉｕ ｔ ｒ ｎ ｒ ｓｒ ｉ ｅ ｓｔ ，Ｙａ ｇ ｉ ｇ ７ ２ ０ ，Ｃｈ ｎ ） ｅ ｏ ｒｈ ｓ ｒｃ ｌ ｅ ａ ｄ Ｆｏ ｅ ｔ ｙ Ｕｎ ｖ ｒ ｉ ｕ ｙ ｎ ｌ １ １ ０ ｎ ｉａ Ａｂ ｔａ ｔ Ｔｏ ｓ ｌ ｅ ｔ ｅ ｐ ｏ ｌｍｓ ｏ ｈ ｍｉａ ｕ ｓ ａ ｃ ｎ ｏ ｍａ ｉ ｎ ａ ｑ ｉｉ ｏ ｒ ｍ ｕ ｔ ｓ ｕ ｃ ｂ ｉ ，ｄ ｔ ｂ ｓ ｐ ａ ｅ ａ ｄ ｓｒ ｃ ： ｏｖ ｈ ｒ ｂ ｅ ｆｃ ｅ ｃ ｌｓ ｂ ｔ ｎ ｅ ｉ ｆ ｒ ｔ ｃ ｕ ｓｔ ｎ ｆｏ Ｍ ｌｉ ｏ ｒ ｅ ｗｅ ｓｔ ｏ ｉ － ｅ ａ ａ ａ ｅ ｕ ｄ ｔ ｎ ｄ ｔ ｂ ｓ ｕ ｒ ，ｔ ｅ ｔｃ ｎ ｌｇ ｆｗｅ ｒ ｗｌｒａ ｄ ｔ ｅｍｅ ｈ ｄ ｏ ｈ ａ ｐ ｒａ ｅｕ ｅ ｏ ｅ ｔａ ｔｄ ｔ ，ａ ｄ ｍｅ ｈ ｄ ｆ ａ ｋ ｐ ｒ ａａ ａ ｅ ｑ ｅ ｙ ｈ ｅ ｈ ｏ ｏ ｙ ｏ ｂ ｃ ａ ｅ ｎ ｈ ｔ ｏ ｆｔ ｅｗｒ ｐ ｅ ｒ ｓ ｄ ｔ ｘ ｒ ｃ ａ ａ ｎ ｔ ｏ ｓ ｏ ｓ ａ — ｔ
ｍａｋ ｐｌ ｇ ａ ｅ ｒ ｕ ｎ ｕ ｇ ，ＨＴＭＬ ａ ）结构 、基于 Ｗｅ ｂ查询等 信息抽
取方法 ，但无论是 自然语 言处 理还是 包装器 技术 ，只是针
对一个特定 的信息 源 ，一个特 定主题 和领 域［ ，目前 在很 ６ ］
多行业和领域都可 以看 到垂直搜 索 引擎 的应 用研究 ，然 而
组 织 分 ３个 层 次 ，即 业 务 层 、 数 据 访 问层 、交 互 层 ，本 文
首先介绍数据获 取与 预处 理 ，它属 于业务 层 ，是 系统 的核 心 ；然后 介绍数据查 询和 更新 ，它 包括数 据访 问层 和交 互 层 ：数据访 问层 主要是 操作 数据库和一些 可复用 的工具类 ， 交互 层主要是系统与用户的交互界面 。
ｌ ｂ ｌ ｙ，ａ ａｌ ｂ ｌ ｙ ｘ ｅ ｄ ｂ ｌ ｙ ａ ｄ ｍａｎ ａｎ ｂ ｙ ｉ ｕ ｒ ｎ ｅ ｄ ｉ ｉｔ ａ ｉ ｖ ｉ ｉ ｔ ，ｅ ｔ ｎ ｉ ｉ ｔ ｎ ｉ ｔ ｉ ａ ｍｔ ｓｇ ａ ａ ｔ ｅ ． ａ ｉ ｉ Ｋｅ ｒ ｓ ｙ ｗｏ ｄ ：ｗｅ ｎ ｏ ｍａ ｉ ｎ ｅ ｔａ ｔ ｎ；ｔ ｓ ｉ ｉｉｎ；ｒ ｔ ｙ ｓ ｒ ｔ ｇ ；ｃ ｎ ｉ ｕ ｕ ｘ ｒ ｃ ｉｎ；ｄ ｔ ｒ ｔ ｅ ｔ ｅ ｔ ｂ ｉ ｆ ｒ ｔ ｘ ｒ ｃｉ ｏ ｏ ａ ｋ ｄ ｖ ｓｏ ｅ ｒ ｔａ ｅ ｙ ｏ ｔｎ ｏ ｓ ｅ ｔ ａ ｔ ｏ ａａｐ ｅｒａｍ ｎ
载。对于具体 网址 只会 重新下 载 ３次 ，如果 ３次都 不 能下 载 ，则不再 下载该网页 。具体流程如 图 ２所示 。
数据 的统一 。主要模 块包 括 网页获取 、信 息抽 取 、数 据预
处理和任务调度 。
１１ 数据 的动 态 获 取 ．
网页 获取 与信息抽 取是 数据 获取 的两个 核心模 块 ，为
基金项 目：公益性行业 （ 环保）科研专项基金项 目 （０ ９ ９ ８ ） ２ ０ ０ ０ ６
作者简介 ：冯硕 （ ９ ７ ） １８ 一 ，女 ，陕西西安人 ，硕士研究生 ，研究方 向为智 能信 息系统 ；＋通讯作者 ：李 书琴 （ ９ ５ ） 女 ，陕西渭南人 １６ 一 ， 硕士 ，教授 ， 研究 方向智能信息系统 ；杨会君 （ ９ ４ ） １ ７ 一 ，女 ，山西万荣人 ，硕士 ，讲师 ，研究方向为计算机 图形 图像 、智能信息处理。
基于包装器 、基于 Ｏｎｏｏ ｙ方式 、基于 ＨＴ ｔｌｇ ＭＬ （ｙ ｅｔｘ ｈｐｒ ｔ ｅ
ｔｒｅ 上 的化学资源方面提 出了一个 巨大 的挑战 。解决这 ｅｎｔ ］
一
问题 的基本 思路是 建立 网络资 源与 其 网址 的索 引Ⅲ 。 目 ２ ］
前在化学领域 已经建 立起 了几个 比较有 代表性 的化学 资源
ｔ ｉｎｎ ，ｄ ｎ ｍｉ ｐ ａｉｇ ｉｓ ｅ ｔ ｎａ ｄｆｉ ｒ ｅｒ ｃ ａ ｉｍ ｒｐ ｓ ｄｂ ｎｒ ｄ ｃｎ ｈ ｓ ｒｄ ｆ ｅ ｍ ｌ ｉ Ｏｉ ｐｅ ｉｏ ｉｇ ｙ ａ ｃｕ ｄ ｔ ｎ ｐ ｃｉ ｎ ａｌ ｅｒｔｙｍｅ ｈ ｎｓ ｉ ｐ ｏ ｏ ｅ ｙ ｉｔｏ ｕ ｉｇｔ ｅｕ ｅ－ｅｉ ｄｘ ｌ ｔ ｌ— ｔ ｎ ｏ ｕ ｓ ｎ ｆｅ ｍ
胀 ，对化学工作者如何大规模 的获取和有效 利用分布在 Ｉ— ｎ
据 ，从而提高信息 获取 的效率 和数据 的准 确性 。在计 算 机 领域 ，基于 Ｗｅ 信息挖掘技术 日益 成为人们 研究 的热点 问 ｂ 题＿ 。现有的 Ｗｅ 息 提取方 法包 括 基于 自然语 言方 式 、 ５ ］ ｂ信
立 ｈｔ ｔ ｐ会话 ，进而读取 相关 的页面 ，最 后将抓 取到 的页 面 存储 到本地磁盘 。为 了避 免耗 费不必要 的时间无 限制 地等 待响应缓慢的服务 器或 者规模 庞大 的 网页 ，因 此设 置了超
时 机 制 。如 果 一 个 网 页 在 １ ｓ内不 能 下 载 ，则 需 要 重 试 下 ５
定网站 中化学信息并 集成 到数 据库 ，以解决 人工 手动 获取
信息效率低下和准 确率低 等 问题 。主要 研究 如何 对多信 息
源 网站 中化学物质 信息 的获 取与集 成 、构 建信 息全 面准确 的化学物质信息数 据库 ，为建立 新化 学物 质生态 危害 影响 模型与预测评价体 系准备 基础 数据 。本 文将 根据 系统结 构
图 １ 静 态 网 页获 取 流 程
１ 数 据获 取与预 处 理
数据 获取 与预 处理 的 目标 是从 国 内外 一些 权威 的 网站 中抽取化学物质 的基本 信 息及其 相关 属性 如熔沸 点 、降解 性 、Ｂ Ｆ （ ｉ ｏ ｃｎｒｔ ｎ｛ｃｏｓ （ ）等 结构 化 数 据 ， Ｃ ｂｏ ｎ ｅｔａｉ ａｔｒ，Ｂ ｃ ｏ 这些结构化数据存 储在 统一 的数据 结构 中 ，从 而实 现异构
动态获取 网站 中的化学 物质信 息 ，本 文提 出任务 分割 、重 试机制 、动态更新检查等一些相关技 术。 １ １ １ 网页获取 ．． 通过对所选信 息源 网站进 行分 析 ，发 现大部 分 网站 的 网页属于动态 网页 ，个别属 于静态 网页 ，静 态页 面的 ＵＲＬ （ｎｖ ｒａ ｒｓｕｃ ｃｔ ｎ ｕ ｉｅｓｌ ｅｏ ｒｅｌ ａｉ ，ＵＲＬ ｏ ｏ ）直接 以 ＨＴ ＭＬ超链 接 形式嵌在客户端 网页的 ＨＴＭＬ文件 中ｌ 。 ７ ］ 针对静态 网页 ，根据聚焦爬 虫［ ８ 技术 ，分析要 抓取页 面的特点 ，在描述 和定义 抓取 目标 的基础 上 ，根 据 网页 内
Ｅ ｍａｌ ｆｎ ｓ ｕ ＠ ｎ ｕ Ｌ ｅ ｕ ｃ ～ ｉ： ｅ ｇ ｈ ｏ ｗｓ ａ ｄ ． ｎ
第 ３卷 第８ ３ 期
冯硕 ，李书琴 ，杨 会君 ： 于 ｗ ｅ 掘 的化 学物 质信 息提取 应 用研 究 基 ｂ挖
在化学领域应用较少 。
本文在研究现有 抽取 程序 的基 础上 ，实 现 自动抽 取指
Ａ ｐ ｌ ａ ｉｎ ｒ ｓ ａ ｃ ｎ ｃ ｅ ｉａ ｎ ｏ ｍ ａ ｉ ｎ ｅ ｔ ａ ｔｏ ａ ｅ ｎ ｐ ｉ ｔ ｅ ｅ ｒ ｈ ｏ ｈ ｍ ｃ ｌｉ ｆ ｒ ｔｏ ｘ ｒ ｃ ｉ ｎ ｂ ｓ ｄ ｏ ｃ ｏ ｗｅ ａ ａｍ ｉ ｉ ｇ ｂ ｄ ｔ ｎ ｎ
收 稿 日期 ：２ １—９０ ；修 订 日期 ：２ １ —１１ ０ １０ —５ ０ １１—６
２１ ０ ２年 ８月
计 算机 工程 与设计
ＣＯＭ Ｐ ＵＴＥ ＥＮＧＩ Ｒ ＮＥＥＲＩ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ａ ｕｇ ０１ ．２ ２
第３卷 ３
第 ８期
Ｖｏ ３ Ｎｏ ８ Ｌ３ ．
基于 Ｗｅ ｂ挖掘的化学物质信息提取应用研 究
冯 硕 ， 书琴＋ 李 ，杨会君
（ 西北农林 科技 大 学 信 息工程 学 院 ，陕西 杨 凌 ７ ２ ０ ） １ １０
摘 要 ：针对 多信息源 网站 中化学物质信息的获取与数据库的更新查询问题 ，运用 网络爬 虫技 术和 包装器方 法实现数据 的 抽取 ；采用 自定义 Ｘ ＭＬ文件 的方式，提 出了任务分割 、动 态更新检 查 、失败 重试机制 方法 ，实现 了动 态信 息 源网站 中化 学物质信 息的持 续、实时抽取 ，并进行异常处理和监控 。将抽取 的数 据运用正则表达 式和排序算 法进 行预 处理 并构建全 面
ｒ ｔ ａ ａ ａ ｅ ｏ ｎ ｉ ｎ ｎ ａ ｓ ｆ ｔ ｆ ｈ ｍ ｉ ｌ ，ｆ ａ ｌ ｏ ｕ ｄ ｔｎ ｎ ｕ ｒ ｉ ｇ ｔ ｅｏ ｉｉ ａ ａ ａ ａ ｅ Ａ ｅ ｔ ｉ ｅ ｒ ｅ ｏ ｅ ａ ｅ ｄ ｔ ｂ ｓ ｆｅ ｖ ｒ ｍｅ ｔ ｌ ａ ｅ ｙ ｏ ｅ ｃ ｓ ｉ ｌ ｔ ｐ ａ ｉ ｇ ａ ｄｑ ｅ ｙｎ ｈ ｒｇｎ ｌ ｔｂ ｓ ． ｏ ｃ ａ ｎ ｙ ｄ ｃ ｒ ａｎ ｄ ｇ ｅ ｆ — ｒ
而准确 的化 学品环境安全数据库 ，最终 实现 了对原有数据 的更 新查询 ，在 一定程度 上保证 了可靠性 、可用性 、可扩展 性 、
可 维护 性 。
关 键 词 ：Ｗ ｅ 信 息抽 取 ；任 务 分割 ；重 试 机 制 ；持 续 抽 取 ；数 据 预 处 理 ｂ 中 图 法 分 类 号 ： Ｐ １ ． ２ 文 献 标 识 号 ： 文章 编 号 ：１ ０—０ ４ （ ０ ２ ０ ０ ００ Ｔ ３ １ ５ Ａ ０ ０７２ ２ １ ） ８３４ —７
ｍ ｅ ｔｃ ｎ ｉ ｕ ｕ ｎ ｅ ｌ ｉ ｅｅ ｔ ａ ｔ ｎ ｘ ｅ ｔ ｎ ｈ ｎ ｌ ｇ ａ ｄ ｍｏ ｉ ｒｎ ｆＣｈ ｍｉ ｌ ｎ ｏ ｍａ ｉｎ ｉ ｈ ｎ ｏ ｍａ ｉ ｎ ｓ ｕ ｃ ｎ ｏ ｔ ｏ ｓ ａ ｄ ｒ ａ－ ｍ ｘ ｒ ｃｉ ，ｅ ｃ ｐ ｉ ａ ｄ ｉ ｎ ｎ ｔ ｉｇ ｏ ｅ ｃ ｆ ｒ ｔ ｎ ｔ ｅ ｉｆ ｒ ｔ ｏ ｒ ｅ ｎ ｔ ｏ ｏ ｎ ｏ ａ ｉ ｏ ｏ ｗｅ ｓｔ ．Ｍ ｏ ｅ ｖ ｒ ｘ ｒ ｃ ｅ ａ ａ ｉ ｐ ｅ ｒ ａ ｅ ｙ ｒ ｇ ｌｒｅ ｐ ｅ ｓｏ ｎ ｏ ｔ ｇ ａ ｇ ｒ ｈ ｎ ｕ ｌ ａ ｃ ｍ ｐ ｅ ｅ ｓｖ ｎ Ｃ Ｕ ｂｉ ｅ ｒ ｏ ｅ ，ｅ ｔａ ｔｄ ｄ ｔ ｓ ｒ ｔｅ ｔ ｄ ｂ ｅ ｕ ａ ｘ ｒ ｓ ｉｎ ａ ｄ ｓ ｒｉ ｌ ｏ ｉ ｍａ ｄ ｂ ｉ ｏ ｒ ｈ ｎ ｉ ｅ ａ ｄ ａ Ｃ — ｎ ｔ ｔ
０ 引 言
Ｉｔｒｅ 作为世界上最大的信息资料当信息源 站点数 据更新 后 ，靠人 工发现 非常 困难 ，而 且更容易出错 。为此 ，希望 能有一套 计算 机软 件系统 自动 地持续地获取 国内外一 些权威 的 网站 中化 学物 质的相 关数
工作者快速获取信息 的主要途 径。然而 ｗｅ ｂ信息 的急速膨
Ｆ Ｎ Ｓ ｕ ，Ｌ ｈ — ｉ＋，Ｙ Ｅ Ｇ ｈ ｏ Ｉ ｕｑｎ Ｓ ＡＮＧ Ｈｕ－ ｎ ｉ ｊ ｕ
（ ｌ ｇ ｆＩ ｆ ｒ ａ ｉ ｎ Ｅｎ ｉ ｅ ｒｎ Ｃｏ ｌ ｅ ｏ ｎ ｏ ｍ ｔ ｇ ｎ ｅ ｉ ｇ，Ｎｏ ｔ ｗｅ ｔＡｇ ｉｕ ｔ ｒ ｎ ｒ ｓｒ ｉ ｅ ｓｔ ，Ｙａ ｇ ｉ ｇ ７ ２ ０ ，Ｃｈ ｎ ） ｅ ｏ ｒｈ ｓ ｒｃ ｌ ｅ ａ ｄ Ｆｏ ｅ ｔ ｙ Ｕｎ ｖ ｒ ｉ ｕ ｙ ｎ ｌ １ １ ０ ｎ ｉａ Ａｂ ｔａ ｔ Ｔｏ ｓ ｌ ｅ ｔ ｅ ｐ ｏ ｌｍｓ ｏ ｈ ｍｉａ ｕ ｓ ａ ｃ ｎ ｏ ｍａ ｉ ｎ ａ ｑ ｉｉ ｏ ｒ ｍ ｕ ｔ ｓ ｕ ｃ ｂ ｉ ，ｄ ｔ ｂ ｓ ｐ ａ ｅ ａ ｄ ｓｒ ｃ ： ｏｖ ｈ ｒ ｂ ｅ ｆｃ ｅ ｃ ｌｓ ｂ ｔ ｎ ｅ ｉ ｆ ｒ ｔ ｃ ｕ ｓｔ ｎ ｆｏ Ｍ ｌｉ ｏ ｒ ｅ ｗｅ ｓｔ ｏ ｉ － ｅ ａ ａ ａ ｅ ｕ ｄ ｔ ｎ ｄ ｔ ｂ ｓ ｕ ｒ ，ｔ ｅ ｔｃ ｎ ｌｇ ｆｗｅ ｒ ｗｌｒａ ｄ ｔ ｅｍｅ ｈ ｄ ｏ ｈ ａ ｐ ｒａ ｅｕ ｅ ｏ ｅ ｔａ ｔｄ ｔ ，ａ ｄ ｍｅ ｈ ｄ ｆ ａ ｋ ｐ ｒ ａａ ａ ｅ ｑ ｅ ｙ ｈ ｅ ｈ ｏ ｏ ｙ ｏ ｂ ｃ ａ ｅ ｎ ｈ ｔ ｏ ｆｔ ｅｗｒ ｐ ｅ ｒ ｓ ｄ ｔ ｘ ｒ ｃ ａ ａ ｎ ｔ ｏ ｓ ｏ ｓ ａ — ｔ
ｍａｋ ｐｌ ｇ ａ ｅ ｒ ｕ ｎ ｕ ｇ ，ＨＴＭＬ ａ ）结构 、基于 Ｗｅ ｂ查询等 信息抽
取方法 ，但无论是 自然语 言处 理还是 包装器 技术 ，只是针
对一个特定 的信息 源 ，一个特 定主题 和领 域［ ，目前 在很 ６ ］
多行业和领域都可 以看 到垂直搜 索 引擎 的应 用研究 ，然 而
组 织 分 ３个 层 次 ，即 业 务 层 、 数 据 访 问层 、交 互 层 ，本 文
首先介绍数据获 取与 预处 理 ，它属 于业务 层 ，是 系统 的核 心 ；然后 介绍数据查 询和 更新 ，它 包括数 据访 问层 和交 互 层 ：数据访 问层 主要是 操作 数据库和一些 可复用 的工具类 ， 交互 层主要是系统与用户的交互界面 。
ｌ ｂ ｌ ｙ，ａ ａｌ ｂ ｌ ｙ ｘ ｅ ｄ ｂ ｌ ｙ ａ ｄ ｍａｎ ａｎ ｂ ｙ ｉ ｕ ｒ ｎ ｅ ｄ ｉ ｉｔ ａ ｉ ｖ ｉ ｉ ｔ ，ｅ ｔ ｎ ｉ ｉ ｔ ｎ ｉ ｔ ｉ ａ ｍｔ ｓｇ ａ ａ ｔ ｅ ． ａ ｉ ｉ Ｋｅ ｒ ｓ ｙ ｗｏ ｄ ：ｗｅ ｎ ｏ ｍａ ｉ ｎ ｅ ｔａ ｔ ｎ；ｔ ｓ ｉ ｉｉｎ；ｒ ｔ ｙ ｓ ｒ ｔ ｇ ；ｃ ｎ ｉ ｕ ｕ ｘ ｒ ｃ ｉｎ；ｄ ｔ ｒ ｔ ｅ ｔ ｅ ｔ ｂ ｉ ｆ ｒ ｔ ｘ ｒ ｃｉ ｏ ｏ ａ ｋ ｄ ｖ ｓｏ ｅ ｒ ｔａ ｅ ｙ ｏ ｔｎ ｏ ｓ ｅ ｔ ａ ｔ ｏ ａａｐ ｅｒａｍ ｎ
载。对于具体 网址 只会 重新下 载 ３次 ，如果 ３次都 不 能下 载 ，则不再 下载该网页 。具体流程如 图 ２所示 。
数据 的统一 。主要模 块包 括 网页获取 、信 息抽 取 、数 据预
处理和任务调度 。
１１ 数据 的动 态 获 取 ．
网页 获取 与信息抽 取是 数据 获取 的两个 核心模 块 ，为
基金项 目：公益性行业 （ 环保）科研专项基金项 目 （０ ９ ９ ８ ） ２ ０ ０ ０ ６
作者简介 ：冯硕 （ ９ ７ ） １８ 一 ，女 ，陕西西安人 ，硕士研究生 ，研究方 向为智 能信 息系统 ；＋通讯作者 ：李 书琴 （ ９ ５ ） 女 ，陕西渭南人 １６ 一 ， 硕士 ，教授 ， 研究 方向智能信息系统 ；杨会君 （ ９ ４ ） １ ７ 一 ，女 ，山西万荣人 ，硕士 ，讲师 ，研究方向为计算机 图形 图像 、智能信息处理。
基于包装器 、基于 Ｏｎｏｏ ｙ方式 、基于 ＨＴ ｔｌｇ ＭＬ （ｙ ｅｔｘ ｈｐｒ ｔ ｅ
ｔｒｅ 上 的化学资源方面提 出了一个 巨大 的挑战 。解决这 ｅｎｔ ］
一
问题 的基本 思路是 建立 网络资 源与 其 网址 的索 引Ⅲ 。 目 ２ ］
前在化学领域 已经建 立起 了几个 比较有 代表性 的化学 资源
ｔ ｉｎｎ ，ｄ ｎ ｍｉ ｐ ａｉｇ ｉｓ ｅ ｔ ｎａ ｄｆｉ ｒ ｅｒ ｃ ａ ｉｍ ｒｐ ｓ ｄｂ ｎｒ ｄ ｃｎ ｈ ｓ ｒｄ ｆ ｅ ｍ ｌ ｉ Ｏｉ ｐｅ ｉｏ ｉｇ ｙ ａ ｃｕ ｄ ｔ ｎ ｐ ｃｉ ｎ ａｌ ｅｒｔｙｍｅ ｈ ｎｓ ｉ ｐ ｏ ｏ ｅ ｙ ｉｔｏ ｕ ｉｇｔ ｅｕ ｅ－ｅｉ ｄｘ ｌ ｔ ｌ— ｔ ｎ ｏ ｕ ｓ ｎ ｆｅ ｍ
胀 ，对化学工作者如何大规模 的获取和有效 利用分布在 Ｉ— ｎ
据 ，从而提高信息 获取 的效率 和数据 的准 确性 。在计 算 机 领域 ，基于 Ｗｅ 信息挖掘技术 日益 成为人们 研究 的热点 问 ｂ 题＿ 。现有的 Ｗｅ 息 提取方 法包 括 基于 自然语 言方 式 、 ５ ］ ｂ信
立 ｈｔ ｔ ｐ会话 ，进而读取 相关 的页面 ，最 后将抓 取到 的页 面 存储 到本地磁盘 。为 了避 免耗 费不必要 的时间无 限制 地等 待响应缓慢的服务 器或 者规模 庞大 的 网页 ，因 此设 置了超
时 机 制 。如 果 一 个 网 页 在 １ ｓ内不 能 下 载 ，则 需 要 重 试 下 ５
定网站 中化学信息并 集成 到数 据库 ，以解决 人工 手动 获取
信息效率低下和准 确率低 等 问题 。主要 研究 如何 对多信 息
源 网站 中化学物质 信息 的获 取与集 成 、构 建信 息全 面准确 的化学物质信息数 据库 ，为建立 新化 学物 质生态 危害 影响 模型与预测评价体 系准备 基础 数据 。本 文将 根据 系统结 构
图 １ 静 态 网 页获 取 流 程
１ 数 据获 取与预 处 理
数据 获取 与预 处理 的 目标 是从 国 内外 一些 权威 的 网站 中抽取化学物质 的基本 信 息及其 相关 属性 如熔沸 点 、降解 性 、Ｂ Ｆ （ ｉ ｏ ｃｎｒｔ ｎ｛ｃｏｓ （ ）等 结构 化 数 据 ， Ｃ ｂｏ ｎ ｅｔａｉ ａｔｒ，Ｂ ｃ ｏ 这些结构化数据存 储在 统一 的数据 结构 中 ，从 而实 现异构
动态获取 网站 中的化学 物质信 息 ，本 文提 出任务 分割 、重 试机制 、动态更新检查等一些相关技 术。 １ １ １ 网页获取 ．． 通过对所选信 息源 网站进 行分 析 ，发 现大部 分 网站 的 网页属于动态 网页 ，个别属 于静态 网页 ，静 态页 面的 ＵＲＬ （ｎｖ ｒａ ｒｓｕｃ ｃｔ ｎ ｕ ｉｅｓｌ ｅｏ ｒｅｌ ａｉ ，ＵＲＬ ｏ ｏ ）直接 以 ＨＴ ＭＬ超链 接 形式嵌在客户端 网页的 ＨＴＭＬ文件 中ｌ 。 ７ ］ 针对静态 网页 ，根据聚焦爬 虫［ ８ 技术 ，分析要 抓取页 面的特点 ，在描述 和定义 抓取 目标 的基础 上 ，根 据 网页 内
Ｅ ｍａｌ ｆｎ ｓ ｕ ＠ ｎ ｕ Ｌ ｅ ｕ ｃ ～ ｉ： ｅ ｇ ｈ ｏ ｗｓ ａ ｄ ． ｎ
第 ３卷 第８ ３ 期
冯硕 ，李书琴 ，杨 会君 ： 于 ｗ ｅ 掘 的化 学物 质信 息提取 应 用研 究 基 ｂ挖
在化学领域应用较少 。
本文在研究现有 抽取 程序 的基 础上 ，实 现 自动抽 取指
Ａ ｐ ｌ ａ ｉｎ ｒ ｓ ａ ｃ ｎ ｃ ｅ ｉａ ｎ ｏ ｍ ａ ｉ ｎ ｅ ｔ ａ ｔｏ ａ ｅ ｎ ｐ ｉ ｔ ｅ ｅ ｒ ｈ ｏ ｈ ｍ ｃ ｌｉ ｆ ｒ ｔｏ ｘ ｒ ｃ ｉ ｎ ｂ ｓ ｄ ｏ ｃ ｏ ｗｅ ａ ａｍ ｉ ｉ ｇ ｂ ｄ ｔ ｎ ｎ