基于WEB的智能信息采集及处理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
词汇 、 法 、 义分 语 语 析等 自然语言处理技 术 ， 文章的文本 内容进 对 行深入分析 ；再根据线性加权 融合两种分析得 到 的结果 ，生成摘要 ； 最后采 用指 代消解技术 （ｎｐｏａＲ ｓ ｕｏ ｅｈｏ ｇ） 行平 滑使 Ａ ａｈｒ ｅｏ ｔｎＴｃｎｌ ｙ 进 ｌｉ ｏ 生成的摘要更连 贯流畅 。在 七 述摘要生成 的算 法 中 ， 分元数 据如对标 题 的分 析 、 部 作者 、 主题 词 的提取 ， 中间结果 也将被输 出和保存 ， 作为 形 成完整 的符合基本文献规范 的元数据体系。 ４结束语 基于 Ｗｅ ｂ的信 息采集 和处 理技术 ， 在互联 网飞速 发展的时代 ，将扮演者越来越重要 的角 色。 本文 十 和实施 的系统 ， 继承和发展了现有 的偏 平化 的信息采集 策略 ， 信息采 集 、 织 以“ 组 处理和发布 ” 三项并 重为理念 ， 使面向Ｗｅ 的信 ｂ 息采集 系统向垂直和智能 的方 向推进 ， 同时 也 预示着该 系统有广泛 的市场 和应用前景 。
二级 目录名 ， 三、 第 四个字 符组 合作为文件名存 放在二级 目录下 ，每个文件 的大小 固定为 ４ ， Ｋ 最后 还剩下 三个字符 一共是 １ｂｔ 共 有 ４ ９ ２ｉ ， ０６ 个二进制数 ，与 ４ Ｋ的文件大小 刚好 一一对应。 这种机制 能够容纳的总页面数 为 ２ ２ ３ ，大约 ４ ３ 亿个 ， 几乎包括 目前互联网 Ｅ 所有 Ｕ Ｌ Ｒ 链接 。 ３ Ｔ ￣ ． Ｈ ＭＬ ２ 为 了提高下载页面 的有效性 ， 需要过 滤掉 些无用 的噪声信息 。 传统 匕 有两种解决方案 ， 是 页面学 习的方式提取熵值最大 的页面分块 ； 二是通过定义访 问路径来提 取需要访 问的感 兴趣 的内容。无论是哪一种方案都 必须有 对页 面的Ｈ Ｍ Ｔ Ｌ的解析能力 ，即构 造合适 的数 据结 构来解析 Ｈ ＭＬ Ｔ 的标 签。解析 的难 点在于 目前 的网络 ｗｅ ｂ页面 的 Ｈ Ｍ 非 常不 规范 、不 严 Ｔ Ｌ 格 ， 之间即使有错误或 者不严格 的匹配 ， 标签 Ｉ Ｅ 也 能完美 的呈现 。 是为了信息 的精确提取 ， 但 必 须要构造严 密的访 问结构 。 ３ 自动摘要与元数据分析 ３ 摘要是指通过对文档 内容处理 ，从中提取 图 ３ 出满 足用户需求 的重要信息 ，经过 重组修 饰后 传 统上 的 Ｗｅ 信 息采集 不具 备对 下载 信 生 成比原文更精炼 的文摘过 程。 目 主要 自动 ｂ 前
一 一
图 １
息 的深层次加 工能力 ，而本系统不仅 实现 机器 文摘技术有三类 ： 基于浅层分 析的方法 、 于实 基 基于 话语结构 白方法 。 ｇ 的自 动分类 、 摘要 和元数 据分析 ， 还提供人 机交 体分 析的方 法、 本 系 统采用 一种 新 的使 用 自然语 言处 理 互 的机制 ， 将处 理的结果以便捷预览 的方 式呈 Ｎ Ｐ－ Ｉ ￣ 动摘要 系统 ， 通过融合基于 内容 现， 用户可 以进行修 改 、 删除以及确认后入 库存 （ Ｌ ） ＊ 的 自 的方法［ａｅ ｎ Ｃ ｎ ｎ 和基 于主题（ａｅ ｎ Ｂ ｓｄｏ ｏ ｔ ｔ ｅ］ Ｂ ｄｏ ｓ 储等操作 ， 发布信息的正确性 和有效性。 确保 Ｔｐ） ｏｉ的方法 ， 主题 与 内容 相结 合 ， 具有 ｃ 将 生成 ２ ． ４信息发布子系统 近年 来信息 的发布形式 越来 越备受关 注 ， 良好连贯性和流 畅性 的摘要。基本思想是首先 作为对外信 息服务的平 台，该子系统 主要 特点 对主题词进行分析， 动态地处理具有抽象标题和
弊端是显而易见 的 ， 中文网页有 ４ 如 亿左右 ， 假 设每一个 Ｕ Ｌ的平均长度 为 ２ 个 字符 ， 么 Ｒ ５ 那 参 考 文献 存储这些网页的 Ｕ Ｌ Ｒ 地址需要 的空间为 ８ 左 Ｇ １ １ 戴新 陈 ｎｅ 上 ｍｅ 动 右， 很显然面对如此 大的文件 ， 这种机制无法快 『尹存 燕． 宇． 家骏Ｊｔ ｔ 文本的 自 程如 图 ２所示。 计算机 工程 － Ｌ２ ０ ｅ ２ ｏ Ｖ ３ Ｎ ３ ｈ ０６ ｏ Ｒ 因此不能保证 陕速 的下载 摘要技 术． 有别于通用 的 Ｗｅ 信息采 集器 ， ｂ 该子系统 速的进行 Ｕ Ｌ查找 ，
信 息 技 术
ＣｎＮｗ ｅ ｎｏｅａ ｏ ｃ ｈａ ｅ Ｔ ｈ ｌｉ ｎＰ ｄ： ｉ ｃ ｏｇｓ ｄ ｒｕｓ ｔ
基于 ＷＥ Ｂ的智能 信 息采 集及处理
吴 艳
（ 阳 电 业局 信 息 中 心 ， 南 益 阳 ４ ３ ０ ） 益 湖 １０ ０
摘 要 ： 文研 究 的基 于 Ｗｅ 智 能信 息采 集及 处理 系统 ， 方 面采 用 高 效的 Ｕ Ｌ去 重 和基 于模 版 的 下栽 机 制 ， 大提 高 了采 集 本 ｂ的 一 Ｒ 极 Ｗｅ ｂ资源 的性 能 ； 一方 面应 用成熟 、 另 先进 的 自然语 言处 理技 术 ， 对采 集信 息做 智 能分 类和 摘要 。 关键词 ： ｂ 集 ， Ｒ Ｗｅ 采 Ｕ Ｌ去 重 ， 能信 息处理 ， 智 个性 化发 布
１引 言
ｗｗｗ 从诞生 以来 至今 ， Ｗｅ 信息 的搜 对 ｂ 索 正在从 “ 平 ” 向“ 直”从 “ 偏 走 垂 ， 通用 ” 发展 到 “ 陛和智能 ” 个 。但是据调查 目 前市 场上绝 大部 分搜索 工具或者产品都存在 “ 重采集 、 忽视信 息 的处理和服务”即对采集 的信息缺乏深层次 的 ， 加工 、 ， 处理 并且提供 主动的信息发布服务 的机 制。 经过十余年 的市场培育 ， ｂ ｗｅ 用户最需要的 是能提供面向一定的领域 ，有较好智 能程 度的 信息采集 、 加工和发布的产品， 本文将 构建 和实 现这样 的系统 。
中国新技术新产品
一４ｌ一
图２
ｚ ｂ ２ｗｅ 信息采集子系统 Ｗｅ 采集器 一般 都是 从称 为种 子 的 Ｕ Ｌ ｂ Ｒ 出发 ，通过协 议 向 Ｗｅ 上其 它所 需 页面作 扩 ｂ 展 。经研究表 明 Ｗｅ 上 ３％的页面是重复 的， ｂ ０ 当面 向特定 的主题 时 ， ％以上 的 Ｕ Ｌ 接是 ８ ０ Ｒ 链 我们不 的 ， 因此在采集 中如何进行 Ｕ Ｌ Ｒ 去 重 和分 析适合 主题特 征 的 Ｕ Ｌ 提高采 集子 Ｒ 是 系统 效率 的重要 因素 。同时 如何 获取 有 效 的 Ｗｅ 页 面信 息 ， 广告 、 ｂ 过滤 导航栏 等噪声 ， 将直 接影 响后续 的智能处 理的性能 。该子系统 的流
有： 多视角 、 多层次发 布采集 信息 ， 即从来 源 、 原 始栏 目、 分类体 系多个视角交叉进行展 示 ， 可以 灵 活的进 行信息集合 的交 、 并运算 ； 个性化 信息 发布， 用户登 录后 利用个 『化信息 定制界面 ， 生 选 择 自己感兴趣 的信息视角 ， 再次登 录后 ， 推送给 用 户的就是完全个性化 的信 息内容 ；强大 的信 息 检索能力 ， 不仅提供针对独立字 段的检索 ， 还 提供 陕速检索 、 高 ３若干关 键技术
和去重 。在本系统 中采 用了文件 目录寻址机制 来 实 现 Ｕ Ｌ的快速 去重 。基本 思想是 首先将 Ｒ Ｕ Ｌ Ｒ 地址做 Ｃ Ｃ ２ Ｒ ３ 转换 ， 生成—个唯一 的 ４ 字 节 ３ 位 的编 码 ， ：８ Ａ Ｂ Ｆ 将 ４ 字节组 ２ 如 ＥＣ Ｏ ３， 个 成两级 目录和一 级文件 ，即第—个字节 的首字 符作为第一级 目录名 ， 二 、 第 三个字符组合作 为
最大 的特点在 于任何用户的主题采集 都是在相 应 的模版 的支撑 下完成 。所谓模版 就是关于要 采集 的 Ｗｅ 对 象的特征描 述 ， ｂ 为了提 高下 载 的 有 效性 和效 率 ，将 某 一个 具体 的网站 所有 的 ｗｅ 页面划分为 Ｈ ｂ页和 Ｔ ｐ 页 ，表示为一 ｂ ｕ ｏｉ ｃ 个三元组＜ ，ｆ ｆ。 中 Ｍ刻画 Ｗｅ 页共性特 ＭＨ，＞ 其 Ｔ ｂ 征， ： 如 网站名称 、 网站 Ｕ Ｌ Ｒ 地址 、 言种类等 ； 语 Ｈ 刻画该 ｗｅ 资源 中的 Ｈ ｂ ｆ ｂ ｕ 页面特 征 ，即此 类 Ｗｅ ｂ中哪些 Ｕ Ｌ Ｒ 地址特 征是下载 时需 要解 析 的；而 Ｔ 则是刻 画某一类具 体的 Ｔｐｃ ｆ ｏｉ页特 征 ，主要 是描述用户最感兴趣 的内容的访 问路 径， ： 如 正文标题 、 者、 源等 。为 了实现对下 作 来 载的 Ｗｅ 资源 的监控 ， 最新 的信 息及时地推 ｂ 将 送 给用户 ，触发器可 以为用户 指定 适合需要 的 采 集策略 ，通过设定一定 的间隔时间来激活 下 载机器人 ， “ 巡视” 是否存在最新的信息。 ２ ３信息智能处理子系统 该 系统预先通过 机器学 习建立用户感兴 趣 的 内容分类器 ， 当用户某一 次下载任务完成后 ， 发送消息激活处理子 系统 ，系统将会 自动地 处 理下载 的内容 ， 主要包括 自动分 类 、 自动摘要 和 元数据 分析 ， 如创 建正文 标题 、 键字 、 关 分析 作 者等。系统流程如图 ３ 所示 。
２系统架构
系统由三个子系统组成 ， Ｗｅ 信 息采集 即 ｂ 子系统 、信息智能处理子系统 和信 息发布子系 统。 三个 子系统 可以单独部署 和运行 ， 以通 也可 过接 口文件实现整个过 程的 自动化采集 、智能 化处理和主动式发布 ， 整体架构如 图 １ 所示。 １系统整体架构 该系统架 构不仅适 合较 大用户的分布式部 署采集 、 加工 的需要 ， 也可 以适应单 用户集 中部 署 的需要 。 当用户只需 要某个子系统 时 ， 只需对 接 口文件 稍作 配置 就可 以满 足不 同 的用 户需
３ Ｒ 去重 ．Ｕ Ｌ １ 常规的 Ｕ Ｌ 重有 两种解决思路 ， Ｒ 去 一是将 所有的 Ｕ Ｌ Ｒ 地址 存人数据库 ， 好索引后 ， 做 利 用数据 库的查 找来判 断该 Ｕ Ｌ 否被重 复下 Ｒ 是 载； 二是利用文件存储 ， Ｕ Ｌ 过一定转换 ， 将 Ｒ 通 也是建立基于文件 的查 找索引。这两种方式 的
二级 目录名 ， 三、 第 四个字 符组 合作为文件名存 放在二级 目录下 ，每个文件 的大小 固定为 ４ ， Ｋ 最后 还剩下 三个字符 一共是 １ｂｔ 共 有 ４ ９ ２ｉ ， ０６ 个二进制数 ，与 ４ Ｋ的文件大小 刚好 一一对应。 这种机制 能够容纳的总页面数 为 ２ ２ ３ ，大约 ４ ３ 亿个 ， 几乎包括 目前互联网 Ｅ 所有 Ｕ Ｌ Ｒ 链接 。 ３ Ｔ ￣ ． Ｈ ＭＬ ２ 为 了提高下载页面 的有效性 ， 需要过 滤掉 些无用 的噪声信息 。 传统 匕 有两种解决方案 ， 是 页面学 习的方式提取熵值最大 的页面分块 ； 二是通过定义访 问路径来提 取需要访 问的感 兴趣 的内容。无论是哪一种方案都 必须有 对页 面的Ｈ Ｍ Ｔ Ｌ的解析能力 ，即构 造合适 的数 据结 构来解析 Ｈ ＭＬ Ｔ 的标 签。解析 的难 点在于 目前 的网络 ｗｅ ｂ页面 的 Ｈ Ｍ 非 常不 规范 、不 严 Ｔ Ｌ 格 ， 之间即使有错误或 者不严格 的匹配 ， 标签 Ｉ Ｅ 也 能完美 的呈现 。 是为了信息 的精确提取 ， 但 必 须要构造严 密的访 问结构 。 ３ 自动摘要与元数据分析 ３ 摘要是指通过对文档 内容处理 ，从中提取 图 ３ 出满 足用户需求 的重要信息 ，经过 重组修 饰后 传 统上 的 Ｗｅ 信 息采集 不具 备对 下载 信 生 成比原文更精炼 的文摘过 程。 目 主要 自动 ｂ 前
一 一
图 １
息 的深层次加 工能力 ，而本系统不仅 实现 机器 文摘技术有三类 ： 基于浅层分 析的方法 、 于实 基 基于 话语结构 白方法 。 ｇ 的自 动分类 、 摘要 和元数 据分析 ， 还提供人 机交 体分 析的方 法、 本 系 统采用 一种 新 的使 用 自然语 言处 理 互 的机制 ， 将处 理的结果以便捷预览 的方 式呈 Ｎ Ｐ－ Ｉ ￣ 动摘要 系统 ， 通过融合基于 内容 现， 用户可 以进行修 改 、 删除以及确认后入 库存 （ Ｌ ） ＊ 的 自 的方法［ａｅ ｎ Ｃ ｎ ｎ 和基 于主题（ａｅ ｎ Ｂ ｓｄｏ ｏ ｔ ｔ ｅ］ Ｂ ｄｏ ｓ 储等操作 ， 发布信息的正确性 和有效性。 确保 Ｔｐ） ｏｉ的方法 ， 主题 与 内容 相结 合 ， 具有 ｃ 将 生成 ２ ． ４信息发布子系统 近年 来信息 的发布形式 越来 越备受关 注 ， 良好连贯性和流 畅性 的摘要。基本思想是首先 作为对外信 息服务的平 台，该子系统 主要 特点 对主题词进行分析， 动态地处理具有抽象标题和
弊端是显而易见 的 ， 中文网页有 ４ 如 亿左右 ， 假 设每一个 Ｕ Ｌ的平均长度 为 ２ 个 字符 ， 么 Ｒ ５ 那 参 考 文献 存储这些网页的 Ｕ Ｌ Ｒ 地址需要 的空间为 ８ 左 Ｇ １ １ 戴新 陈 ｎｅ 上 ｍｅ 动 右， 很显然面对如此 大的文件 ， 这种机制无法快 『尹存 燕． 宇． 家骏Ｊｔ ｔ 文本的 自 程如 图 ２所示。 计算机 工程 － Ｌ２ ０ ｅ ２ ｏ Ｖ ３ Ｎ ３ ｈ ０６ ｏ Ｒ 因此不能保证 陕速 的下载 摘要技 术． 有别于通用 的 Ｗｅ 信息采 集器 ， ｂ 该子系统 速的进行 Ｕ Ｌ查找 ，
信 息 技 术
ＣｎＮｗ ｅ ｎｏｅａ ｏ ｃ ｈａ ｅ Ｔ ｈ ｌｉ ｎＰ ｄ： ｉ ｃ ｏｇｓ ｄ ｒｕｓ ｔ
基于 ＷＥ Ｂ的智能 信 息采 集及处理
吴 艳
（ 阳 电 业局 信 息 中 心 ， 南 益 阳 ４ ３ ０ ） 益 湖 １０ ０
摘 要 ： 文研 究 的基 于 Ｗｅ 智 能信 息采 集及 处理 系统 ， 方 面采 用 高 效的 Ｕ Ｌ去 重 和基 于模 版 的 下栽 机 制 ， 大提 高 了采 集 本 ｂ的 一 Ｒ 极 Ｗｅ ｂ资源 的性 能 ； 一方 面应 用成熟 、 另 先进 的 自然语 言处 理技 术 ， 对采 集信 息做 智 能分 类和 摘要 。 关键词 ： ｂ 集 ， Ｒ Ｗｅ 采 Ｕ Ｌ去 重 ， 能信 息处理 ， 智 个性 化发 布
１引 言
ｗｗｗ 从诞生 以来 至今 ， Ｗｅ 信息 的搜 对 ｂ 索 正在从 “ 平 ” 向“ 直”从 “ 偏 走 垂 ， 通用 ” 发展 到 “ 陛和智能 ” 个 。但是据调查 目 前市 场上绝 大部 分搜索 工具或者产品都存在 “ 重采集 、 忽视信 息 的处理和服务”即对采集 的信息缺乏深层次 的 ， 加工 、 ， 处理 并且提供 主动的信息发布服务 的机 制。 经过十余年 的市场培育 ， ｂ ｗｅ 用户最需要的 是能提供面向一定的领域 ，有较好智 能程 度的 信息采集 、 加工和发布的产品， 本文将 构建 和实 现这样 的系统 。
中国新技术新产品
一４ｌ一
图２
ｚ ｂ ２ｗｅ 信息采集子系统 Ｗｅ 采集器 一般 都是 从称 为种 子 的 Ｕ Ｌ ｂ Ｒ 出发 ，通过协 议 向 Ｗｅ 上其 它所 需 页面作 扩 ｂ 展 。经研究表 明 Ｗｅ 上 ３％的页面是重复 的， ｂ ０ 当面 向特定 的主题 时 ， ％以上 的 Ｕ Ｌ 接是 ８ ０ Ｒ 链 我们不 的 ， 因此在采集 中如何进行 Ｕ Ｌ Ｒ 去 重 和分 析适合 主题特 征 的 Ｕ Ｌ 提高采 集子 Ｒ 是 系统 效率 的重要 因素 。同时 如何 获取 有 效 的 Ｗｅ 页 面信 息 ， 广告 、 ｂ 过滤 导航栏 等噪声 ， 将直 接影 响后续 的智能处 理的性能 。该子系统 的流
有： 多视角 、 多层次发 布采集 信息 ， 即从来 源 、 原 始栏 目、 分类体 系多个视角交叉进行展 示 ， 可以 灵 活的进 行信息集合 的交 、 并运算 ； 个性化 信息 发布， 用户登 录后 利用个 『化信息 定制界面 ， 生 选 择 自己感兴趣 的信息视角 ， 再次登 录后 ， 推送给 用 户的就是完全个性化 的信 息内容 ；强大 的信 息 检索能力 ， 不仅提供针对独立字 段的检索 ， 还 提供 陕速检索 、 高 ３若干关 键技术
和去重 。在本系统 中采 用了文件 目录寻址机制 来 实 现 Ｕ Ｌ的快速 去重 。基本 思想是 首先将 Ｒ Ｕ Ｌ Ｒ 地址做 Ｃ Ｃ ２ Ｒ ３ 转换 ， 生成—个唯一 的 ４ 字 节 ３ 位 的编 码 ， ：８ Ａ Ｂ Ｆ 将 ４ 字节组 ２ 如 ＥＣ Ｏ ３， 个 成两级 目录和一 级文件 ，即第—个字节 的首字 符作为第一级 目录名 ， 二 、 第 三个字符组合作 为
最大 的特点在 于任何用户的主题采集 都是在相 应 的模版 的支撑 下完成 。所谓模版 就是关于要 采集 的 Ｗｅ 对 象的特征描 述 ， ｂ 为了提 高下 载 的 有 效性 和效 率 ，将 某 一个 具体 的网站 所有 的 ｗｅ 页面划分为 Ｈ ｂ页和 Ｔ ｐ 页 ，表示为一 ｂ ｕ ｏｉ ｃ 个三元组＜ ，ｆ ｆ。 中 Ｍ刻画 Ｗｅ 页共性特 ＭＨ，＞ 其 Ｔ ｂ 征， ： 如 网站名称 、 网站 Ｕ Ｌ Ｒ 地址 、 言种类等 ； 语 Ｈ 刻画该 ｗｅ 资源 中的 Ｈ ｂ ｆ ｂ ｕ 页面特 征 ，即此 类 Ｗｅ ｂ中哪些 Ｕ Ｌ Ｒ 地址特 征是下载 时需 要解 析 的；而 Ｔ 则是刻 画某一类具 体的 Ｔｐｃ ｆ ｏｉ页特 征 ，主要 是描述用户最感兴趣 的内容的访 问路 径， ： 如 正文标题 、 者、 源等 。为 了实现对下 作 来 载的 Ｗｅ 资源 的监控 ， 最新 的信 息及时地推 ｂ 将 送 给用户 ，触发器可 以为用户 指定 适合需要 的 采 集策略 ，通过设定一定 的间隔时间来激活 下 载机器人 ， “ 巡视” 是否存在最新的信息。 ２ ３信息智能处理子系统 该 系统预先通过 机器学 习建立用户感兴 趣 的 内容分类器 ， 当用户某一 次下载任务完成后 ， 发送消息激活处理子 系统 ，系统将会 自动地 处 理下载 的内容 ， 主要包括 自动分 类 、 自动摘要 和 元数据 分析 ， 如创 建正文 标题 、 键字 、 关 分析 作 者等。系统流程如图 ３ 所示 。
２系统架构
系统由三个子系统组成 ， Ｗｅ 信 息采集 即 ｂ 子系统 、信息智能处理子系统 和信 息发布子系 统。 三个 子系统 可以单独部署 和运行 ， 以通 也可 过接 口文件实现整个过 程的 自动化采集 、智能 化处理和主动式发布 ， 整体架构如 图 １ 所示。 １系统整体架构 该系统架 构不仅适 合较 大用户的分布式部 署采集 、 加工 的需要 ， 也可 以适应单 用户集 中部 署 的需要 。 当用户只需 要某个子系统 时 ， 只需对 接 口文件 稍作 配置 就可 以满 足不 同 的用 户需
３ Ｒ 去重 ．Ｕ Ｌ １ 常规的 Ｕ Ｌ 重有 两种解决思路 ， Ｒ 去 一是将 所有的 Ｕ Ｌ Ｒ 地址 存人数据库 ， 好索引后 ， 做 利 用数据 库的查 找来判 断该 Ｕ Ｌ 否被重 复下 Ｒ 是 载； 二是利用文件存储 ， Ｕ Ｌ 过一定转换 ， 将 Ｒ 通 也是建立基于文件 的查 找索引。这两种方式 的