舆情监控系统的设计与实现

生的 事 件 通 过 互联 网表 达 态 度 的一 种 渠道Ｉ ’ Ｉ 、 随 着 互联 网技 术 及 应 用的 飞 速 发展 ． 互 联 网传播 具 有 时域 即 时 性 、 内容 不可 控
性、 话 语 权 相 对 平 等性 等 特 点 ， 互联 网成 为 了 解 民 意 、 开 展 舆 论 宣传 的 重 要 栽 体 网络 舆 情 成 为社 会 舆 情 在 互 联 网 维度 的 映射 ． 是 社会 舆 情 在 网络 社 会 的 直接 反 映１ Ｉ 网络 舆 情 的主 体 媒介是论坛、 博 客 以及 具 有 新 闻 评论 功 能 的 网 站 ． 利 用主 体 媒 介 渠道 进 行 传播 的舆 情 信 息呈 现 出爆 炸 式递 增 态势 。越 来越 多的 人 们 愿 意 通 过 互联 网表 达 自己 的情 感与 态度 Ｉ 当前 网站 技 术 日趋 成 熟 ． 互 联 网上 的 站 点 也 越 来 越 多， 信 息 量 非 常的 巨 大ｌ ４ Ｉ 。同时 ． 互 联 网 呈 现 出奥 情 传 播 多元 化 、 范围广 、 速度快 的 发 展 态势ｌ 、 互联 网 高速 发 展 过程 中 ， 各 种 恶 意 炒作 的 、 不 良 的 信 息也 充斥 其 中 ． 影 响 了互联 网健 康 和 谐 的 发展 舆 情 监测 是
使 得 关 注 的互 联 网 特 定舆 情 信 息 能 够在 政 府部 门之 间 快速 流 ｐ ｕ ｂ ｌ ｉ ｃ ｃ ｌ ａ ｓ ｓ Ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ Ｆ ｏ ｒ Ｂ ｉ ｆ ｕ ｅ ｘ ｔ ｅ ｎ ｄ ｓ Ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ － 转、 处理 ， 进 而 维护 网络 社 会 的健 康 和 谐 的发 展 。 Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ ｆ
３ 系统设 计与实现
队 列 为空 为终 止 符 。
设 计 核 心 是 运 用智 能挖 掘 、 机 器 学 习等 计 算 机 技 术 来识 别 、 挖 经 由扩 展 Ｈｅ ｒ ｉ ｔ ｉ ｒ ｘ的 Ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ类 库 来 获 得 指 定 掘 和 分析 网络 上 存 在 的 舆 情 信 息 ，解 决 在人 工手 段 下 无 法 实 舆 情 关 注 网 站 的 信 息 Ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ Ｓ ｃ ｈ ｅ ｄ ｕ ｌ ｅ ｒ类 隶 属 ｏ ｒ ｇ ． ａ ｒ ｃ ｈ ｉ ｖ ｅ ． 现 对 海量 、 动 态 互联 网 内容 的 及 时监 管 通 过 本 系统 的 设 计 与 ｃ ｒ ａ ｗ ｌ ｅ ｒ ． ｐ ｏ ｓ ｔ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｏ ｒ包 ． 用Ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ按 序 处理 来 自 Ｅ ｘ ｔ ｒ ａ ｃ ｔ ｏ ｒ所
舆 情 监控 系统 的设 计 与 实现
张麒岭， 丁 峰（ 烽火 通信科技股份有限公司， 南京２ １ ０ ０ ０ ０ ）
【 摘 要 】 本文初探舆情监控系统的设计与实现 ， 从开源框架 Ｈ ｅ ｒ ｉ ｔ ｒ ｉ ｘ 技术着手 ， 对互联 网新闻、 论坛、 微博、 网站等数据 源进行 数据抓取 ； 研究
当前 国 家 党 政 机 关 部 门 当 前 尤 为 突 出和 重 要 的 工 作 Ｉ Ｉ 网 络 舆
论影响社会意识形态． 政 府 相 关 机 关 需要 建 设 舆 情 监控 系统 ， 针 对 互联 网舆 情 开展 专 业 的数 据 收 集 、 分析、 预警 、 处理 工作 。
图 １爬取舆情 目标设定域的 Ｈ ｅ ｒ ｉ ｔ ｒ ｉ ｘ流程图
【 关键词 】 舆 情； 爬 虫； 全文检索 【 中图分类号 】 Ｔ Ｐ ３ １ １ ． ５ 【 文献标识码 】 Ａ
【 文章 编号 】 １ ０ ０ ６ — ４ ２ ２ ２ （ ２ ０ １ ７ ） ０ １ — ０ ０ ０ ５ — ０ ２
源自文库
１ 概 述
网 络舆 情 是 指 民 众在 一 定 的互 联 网空 间 ，对 现 实社 会 发
加入队列： ／ ／ 指 的 是通 过 广 度优 先爬 取 策略 ， 提 取 队列 中舆 情 网 站 包含 的 Ｕ Ｒ Ｌ字段 并部 署抓 取 队 列 ． 获取 舆情 网站 页 面。
２ 研究现状及意义
在“ 互联 网＋ ” 大形势下 ． 国 家 处 于信 息 化 发 展 的 高 速 公
（ ３ ） 保 存 获取 页 面 ； ， ／ 指 的是 构 建 Ｈｅ ｒ ｉ ｔ ｒ ｉ ｘ 框 架抓 取 舆 情 网 路． 各 级 政 府机 关纷 纷 加 强 信 息 化 建 设 工 作 ． 尤其 关 注舆 情 监 站 页面 。 保存在指定文件位置。 控 系统 的 建设 及 时 掌握 网络 热 点话 题 ， 了解 流 行 观 点 趋 势 ， 对 于 网络 舆 情 的 预 警 和 处 理 具 有 重要 意 义 网络 舆情 系统 的 （ ４ ） 查 看 队 列 是 否 为空， ／ 指 的 是 本 次舆 情 爬 取 任 务 结 束 以
实现 ， 实现抓 取 主 流 的新 闻 、 论坛、 博 客 等 网站 数 据 ， 建 立 分 布 提 供 的 链 接 信 息 式的索引手段 ． 快 速 检 索 海 量 大数 据 ， 同 时依 托 工 作 信 息 流 ， 对指 定舆 情 关 注 网站 抓取 的主 要 程 序 代 码 范例 如 下 ：
了正则表达式技术 ， 基 于 ＤＯ Ｍ 规 范 的 网页 树 实现 对 网 页 数 据 的 噪 音 过 滤 ， 抓 取 有 价 值 的 结 构 化 数 据 随 着 爬 取 数 据 的 不 断递 增 ， 研 究 当前 大 数 据 环境 下 的 Ｌ ｕ 。 。 ｎ ｅ全 文 搜 索 引擎 技 术 ， 实 现 海 量 非 结 构 化 数据 的 高速 检 索 。