基于SES通用爬行器的设计与实现

Ｓ Ｓ提供 了相应 的接 口供用 户开发符合 自己 Ｅ
需 求 的爬 行器 插件 ， 系统利 用了这 些接 口开发 了 本
通用爬行器 插件 ， 该爬 行器 可以对 Ｌｔ ／ ｏ ｉ ｏ ｓＤ ｍｎ ｕ ｏ
的相 关 内容 、 于 Ｍｉ ｏｏ ｈｒＰｉｔ ｅ ｅ（ Ｐ ） 基 ｃ ｓｆＳａｅｏｎ Ｓｒ ｒＳ Ｓ ｒ ｔ ｖ 门 户 网 站 、 业 数 据 库 （ ｒｃ 企 Ｏａｌ ｅ和 ＳｌＳｒｅ） ｑ ｅ ｒ 和 ｖ
ｓ ａ ｃ ｎ ｅｆ ｃ ｎ ｅ ｒ ｈ ｅｆｃｅ ｔｙ ｅ ｒ ｈ ｉ ｔｒａ ｅ ａ ｄ ｓ ａ ｃ ｆｉ ｉｎ ｌ ． Ｋｅ ｒ ｓ： ｒ ｗｌｒ ＥＳ；ｅ ｔｒ ｒｓ ｅ ｒ ｈ ｅ ｇ ｎ ｙ ｗｏ ｄ ｃ ａ ｅ ；Ｓ ｎ ｅ ｉｅ ｓ ａ ｃ ｎ ｉ ｅ ｐ
第２ 卷 第４ ７ 期
２１ 年 ８月 ０ １
哈 尔 滨 商 业 大 学 学 报 （自然科 学版 ）
Ｊ ｕ ｎ ｌ ｆＨａ ｂｎＵｎｖｒｉ ｆＣ ｍｍｅｃ Ｎａｕ ａ ｃｅ ｃｓＥ ｉｏ ） ｏ ｒ ａ ｏ ｒ ｉ ｉｅｓ ｙｏ ｏ ｔ ｒｅ（ ｔｒ ｌ ｉ ｅ ｄｔ ｎ Ｓ ｎ ｉ
・
６ ６・ ０
哈 尔 滨 商 业 大 学 学 报 （自 然 科 学 版 ）
第２ ７卷
果 上都 必须满 足对 数 据源 的完 全 爬行 ， 于 Ｄ ｍ— 对 ｏｉ ｎ 、Ｔ ｏ Ｆ Ｐ的相 关 内容 还 应 提 供 增 量爬 行 机 制 ， 采 即 集 新增 的或 有更新 情 况 的文档 ， 保证 了搜 索 的时效
Ｖ１７ 。 ｏ２ Ｎ． ． ４
Ａ ｇ２ １ ｕ．０ １
基 于 Ｓ Ｓ通 用 爬 行 器 的 设 计 与 实 现 Ｅ
文必龙 ， 叶 静
（ 东北石油大学 计算机与信息技 术学院 ， 黑龙 江 大庆 １３ １ ） ６ ３８ 摘 要： 基于 Ｓ Ｓ开发通 用爬 行器 ， 以对企业数 据库 、 Ｅ 可 门户 网页、 文档文件 、 办公 系统 内容等进行抓
特定“ 数据源 ” 搜索器 也 可 以通 过 “ ． 插件 ” 扩展 （ 插 件 是 Ｏａｌ ｒｃ ｅ提供 的 或 客 户 开 发 的 Ｊｖ ａａ类 ， 搜 索 与
应 用程序 运 行 在 同 一 个 Ｏ ４ 容 器 中 ） 在 定 义 插 ＣＪ ．
件后， 它们 将作 为新 数据 源列 出 ． 进行 配置 后 ， 在 插 件 可以将 数据 提供给 搜 索器 ， 且可 以像其他 数 据 并
对 不 同类型 的信 息 书 写不 同 的处 理 函 数 以提 取 文
于 企 业 的数 据 库 中 ， 子 邮件 的附 件 中 ， 用 内容 电 专 管 理服 务器 中 、 布 式 文 件 系统 或 私 人 工 作 区 中 ， 分 以及 内部 网和面 向公 众的 网站 中． 户需 要有效 的 用 企 业搜 索 ， 分布 各 处 的 信 息转 化 为 运 营 优 势 ， 将 企 业 搜索 引 擎 ¨ 成 为研 究 热 点 ． 业 搜 索 引 擎 与 因 企 特 网搜 索 引 擎 比 较 具 有 其 特 殊 的特 性 ： 业 搜 企 索 引擎 需要 面 向企业 网 ， 对企 业 内部 的信 息资源 进 行搜 索 ； 因特 网搜 索 引擎 的搜 索对 象是 网 页和 多媒
为 搜索提 供 了高度 安全 的基 础 ． ｒｃ Ｏａｌ 主要 的 认 ｅ与 证 机 制和库 进行 了集 成 ， 用户 不仅 可 以安全 有效 地 查 找信 息 、 解信 息 过 载 ， 可 以 发 掘深 层 内联 网 缓 还 中难 以触及 的隐 藏信 息． Ｓ Ｓ提供 的搜 索 器 是 一个 多线 程 Ｊｖ 应 用 程 Ｅ ａａ
性．
数据 采 集是企 业搜 索 引擎工作 的 第一步 ， 通过
ＳＳ Ｅ 提供的相应接 口开发出通用爬行器插件 ， 根据 需要爬取 数 据源 类型 的不 同 ， 选择相 应 的爬行 器类
型并填 写好爬 行 参 数 ， 对爬 取 的数 据 进行 索 引 ， 并 存储 到 索 弓库 当中 ． 户 在 Ｗｅ １ 用 ｂ界面 中输 入相 应 的关键 词 并对其 进 行 简单 的切 词 操作 后 提 交 到企 业搜索 引擎 当中 ， 将命 中的结果 的前 ２ ０条分 页显 ０
２ １ 总体 设计 ．
图 ２ 爬 行 器 的 系统 架 构
Hale Waihona Puke Baidu
本 系统采 用分层 设计 ， 构清晰 ， 扩展 眭强 ． 结 可 系统 的总体 结 构如 图 １ 示 ． 所
１ 通过源 类 型注 册 ， ） 系统知 道 该 到哪 个 ｊｒ ａ 文
件 中查 找 实 现 Ｃａｌｒｌｇ Ｍａａｅ 类 名 ， 类 ｒｗｅＰｕｉ ｎｇｒ的 ｎ 该
取和分析 ， 取企业级用户所 关注的信 息 ， 提 并对抓取 的数据进行 索 引， 存储 到索引库 当中， 以及提供 增
量爬行机制． 系统 界 面友 好 ， 确 高效 ． 准
关键词 ： 爬行 器 ；Ｅ ； Ｓ Ｓ 企业搜 索引擎 中图分类号 ：Ｐ １ Ｔ３ １ 文献标识码 ： Ａ 文章编号 ：６２— ９ ６ ２ １ ）４— ６ ５— ４ １７ ０４ （０ １ ０ ０ ０ ０
ｔａ ｔｄ ｉ ｆｒ ｔ ｎ ｗｈ ｃ ｈ ｏ ｏ ａｅ ｕ ｅ ｓ ｃ ｎ ｅ ｎｅ ｒ ｃｅ ｎ ｏ ｍａｉ ｉｈ ｔ ｅ ｃ ｒ ｒ ｔ ｓ ｒ ｏ ｃ ｒ ｄ，ｉ ｄ ｘ ｔ ａａ，ｓｏ ｅ ｉ ｔ ｈ ｎ ｅ ｏ ｐ ｎ ｅ ｈｅ ｄ ｔ ｔ ｒ ｔ ｏ ｔ ｅ ｉ ｄ ｘ
ｅ （ Ｐ ） 户网站 、 ｒＳ Ｓ 门 基于 Ｃ ｎｅ ｔ ｎｇｍｅｔ ｙｔｍ ｏ ｔｎ Ｍａ ａｅ ｎ ｓ Ｓ ｅ
索； 因特 网 搜 索 的 内容 和 展 现 的信 息 都 是 完 全 开
放， 不存在安全性 问题 ， 但企业 的数据涉及企业的
核心 利益 ， 求具 有 很 高 的保 密性 ； 要 因特 网 搜 索 和
述和 参数 表， 中 ｇｔ ｕｉ ａ ｍ ｔ ｓ 其 ｅ ｌｇ Ｐｒ ｅ ｒ 返回一组类 Ｐ ｎ ａ ｅ 参数描述和缺省值 自动生成参数输入界面．
ｔ ｒ ｌ ｅ ｐａａ ｅ Ｖａｕ ｓ ｒ ｍｓ，ｂｏ ｌａ ｆ ｒ ｅ ｃ ａ ，Ｄａ ｅ ａ ｔ ｏ ｅ ｎ ｏ ｃ Ｒｅ ｒ ｗｌ ｔ ｌｓ—
是爬 行器程 序 的入 口．
２ 创建 源 时 选 择 源 类 型 ， 统 通 过 调 用 管 理 ） 系
器 类 的三 个 成 员 函 数 ：ｅＰｕ ｉＰ ｒｍ ｔ ｓ ｇｔｌｇ ｇｔ１ｇｎ ａａ ｅ ｒ、ｅ ｕ — ｅ Ｐ
应用 接
ｉ ｅ ｒ ｔｎ ｇｔ ｕｉ ａ ｅ 获 取插件 名 称 、 ｎ ｓ ｉｉ 和 ｅ ｌ ｎ ｍ ， Ｄ ｃｐｏ Ｐ ｇＮ 描
信息社会 的快速发展使得信息的容量达 到了 空 前 的高 度 ． 大 部 分 行 业 中 ， 业 内 容 每年 增 加 在 企 倍 以上 ． 要而 敏 感 的 内 容遍 及 各 处 ， 重 它们 存 在
一
展现 的内容 都是 网页和 文件 的原 始形 态 ， 企业 数 但 据库 中的数据 有 的是 以编 码形 式保 存 ， 需要 进行 专 门 的语 义处 理 和 代 码 转 换 ， 成 用 户 能 读 懂 的 文 变 字、 图形 和报 表等 方式 ． 数据 采 集 是 搜 索 引 擎 工 作 的 第 一 步 ， 有 只 相 关 的 信息被 爬 行 器抓 取 到 才能 进 行 下 一 步 的数 据 分 析 工 作 ． 于 企 业 搜 索 引 擎 素 要 处 理 的信 由 息 包括 了大 量 的 异 构 数 据 库 和 异 构 文 档 ， 需要
体 文件 ， 企业搜 索 引擎 可以 对企 业数 据库 进行 搜 而
本． 本文根 据 企业 搜 索 引擎 的相 关特 性 ， 开发 出基
于 Ｓ Ｓ 的 通 用 爬 行 器 ． 爬 行 器 可 以 对 Ｌ ｔｓ Ｅ 该 ｏ ／ ｕ Ｄ ｍｎ ｏ ｉｏ的相 关 内容 、 基于 Ｍｉ ｏｏ ｈｒＰ ｉｔ ｅｖ ｃ ｓｆ Ｓ ａｅ ｏ ｒ・ ｒ ｔ ｎＳ
示在 界面 当 中．
２ ２ 爬行 器设计 ．
１ Ｓ Ｓ简 介 Ｅ
Ｓｃ ｒ ｎｅｐｉ ｅｒｈ Ｓ Ｓ 安 全 企业 搜 索 ， ｅｕｅＥ ｔｒｒ ｅＳ ａ （ Ｅ ） ｓ ｃ
是由 Ｏａ ｅ ｒ ｌ 公司针对企业用户的企业搜索需求推 ｃ 出的一款安全企业搜索产品 ， 并提供了用于二次开 发的相应的接 口． ｒ ｌ 搜索解决方案基于 Ｏ ａ ｅ Ｏａ ｅ ｃ ｒｌ ｃ 数据库构建 （ 定期对可靠性 和安全性进行检查 ） ，
ＦＰ ｒ 上的相关内容进行爬行． 从爬行效果上满足了 对 数据源 的完全爬 行和 对部 分数据源 的增量爬 行 ．
图 ２为爬 行器 的 系统 架构 ， 中①②③ ④⑤ 为 其
爬 行器 的 工作顺序 ， 体工作 流程如 下 ． 具
序， 负责从用户在配置期间指定的数据源中收集文 档 ． 搜索 其他 信 息 库 ，Ｅ 要 Ｓ Ｓ搜 索 器允 许 用 户定 义
Ａｂ ｔ ａ ｔ ｓ ｒ ｃ ：Ｔｈ ｓｇ ｖ ｌ ｐ ｄ ｔ ｅ ｕ ｉ ｅ ｓ ｌｃ ａ ｅ ａ ｅ ｎ Ｓ ｅ ｄｅ ｉ ｎ ｄｅ ｅｏ ｅ ｈ ｎ ｖ ｒ ａ ｒ ｗｌ ｒｂ ｓ ｄ ｏ ＥＳ，ｗｈｉｈ ｃ ｕ ｄ ｃ ａ ｎ ｃ ｏ ｌ ｒ ｗｌａ ｄ ａ ａｙ ｅ ｅ ｔｒ ｒｓ ａａ ａ ｅ，ｐ ｒａ ｇ ｎ ｌ ｚ ｎ ｅ ｐ ｉｅ ｄ ｔｂ ｓ ｏ ｔｌｐａ ｅ，ｄ ｃ ｏ ｕｍｅ ｔ ｎｄ ｆ ｅ ｎｓ ａ ｌ ｓ，ｏ ｉｅ ｓ ｓｅ ｎ Ｏ ｏ ｉ ｆ ｃ ｙ ｔ ｍｓ ａ ｄ Ｓ ｎ．Ｅｘ －
ｄ ｔｂ ｓ ，ａ ｄ ｐ ｏ ｉ ｅ ｈ ｃ ａ ｉ ｏ ｎ ｒ ｍｅ ｔ ｌ ｃ ａ ． Ｔ ｅ ｅ ｇｎ ｆ ｒ ｒ ｎ ｌ ａ ａ ａ ｅ ｎ ｒ ｖ ｄ ｄ ｔ ｅ ｍｅ ｈ ｎ ｓ ｍ ｆ ｉ ｃ ｅ ｎ ａ ｒ ｗ１ ｈ ｎ ｉ ｅ ｏｆ ｓ ａ ｆ ｅ ｄ ｙ ｅ ｉ
收 稿 日期 ：０ ０—０ ２１ ８—１ ． ０
（Ｍ ） Ｃ Ｓ 内容管理 系统、 业数据库 （ ｒ ｌ 和 Ｓｌ 企 Ｏａ ｅ ｃ ｑ Ｓｒ ｒ 和 Ｆ Ｐ上的相 关内容进行爬 行． ｅ ｅ） Ｔ ｖ 从爬行效
基金项 目： 国家高技术研究发展计划（ Ｏ ６ Ａ ９ ｌ２ ５ ； ２ ０ Ａ Ｏ Ａ Ｏ —１ ） 国家科技 重大 专项 （ ０８ Ｘ ５２ ０ Ｏ ） ２０ Ｚ ０ ０３— ５一 ５ 作者简 介： 文必龙 （ ９７一） 男 ， １６ ， 教授 ， 博士 ， 研究方 向： 软件 工程与集成技 术．
Ｄｅ ｉ ｎ ａ ｄ ｉ ｐｌｍ ｅ ａ ｉ ｎ ｏ ｕｒ ｅ ｃ ｒ ｗｌｒ ｂ ｓ ｄ ｏ ＥＳ ｓｇ ｎ ｍ ｅ ｎｔ ｔｏ ｆｃ ｒ ｎ ｙ ｃ ａ ｅ ａ ｅ ｎ Ｓ
Ｗ Ｅ ｉｏ ｇ Ｎ Ｂ — ｎ ，ＹＥ Ｊｎ ｌ ｉｇ （ｃｏｌ ｆ ｏ ｐｔ ｎ ｆ ｍ ｔｎＴｃｎｌ ｙ Ｎ ｒｅｓ Ｐｔ ｌ ｍ Ｕ ｖ￣ｔ， ａｉｇ１ ３８ Ｃ ｉ ） Ｓｈｏ ｏ Ｃｍ ｕ ｒ ｄＩ ｏ ａｏ ｅｈｏ ｇ ， ｏｈａｔ ｅｏ ｕ ｍ ｅ ｉ Ｄ ｑ ６ １， ｈ ａ ｅａ ｎｒ ｉ ｏ ｔ ｒｅ ｙ ｎ ３ ｎ
源一样进行索引． 从技术上讲 ， 插件 负责收集指向
要 索 引文档 的 Ｕ Ｌ 它 们 将 这 些 Ｕ Ｌ传 递 给 搜 索 Ｒ ， Ｒ
器进行索引． 用户可以根据 自己的实际需求 ， 利用
Ｓ Ｓ提供 的相 应接 口 ， 照一 定 的规 范 实现 自己的 Ｅ 按
插件．
２ 系统 设 计