网络舆情监测设计方案

精心整理第一章 项目的背景及必要性1.1 项目背景近年来，网络舆情对政治生活秩序和社会稳定的影响与日俱增，一些重大的网络舆情事件使人们开始认识到网络对社会监督起到巨大作用。

如“5.12”汶川特大地震中传统媒体与新媒体的充分联动，又如“7.23”甬温线特别重大铁路交通事故中微博发挥的重要作用，再到2012年此起彼伏的社会群体事件。

公共危机事件爆发时，犹如以石击水，相关信息在短时间内迅速传播，引起群众的广泛关注。

一些非理性议论、小道消息或负面报道常常在一定程度上激发人们普遍的危机感，甚至影响2.12.2的、最关注的舆情信息做相应的分类展示，方便下一步工作。

2.3时效性舆情信息的第一时间获取、第一时间分析、第一时间展示、第一时间预警。

网络信息的一大特点就是传播快，出现重大事件后，相关部门必须第一时间了解到相关情况，否则就会在整个事件的处理上处于被动局面。

2.4易维护性整套解决方案的数据维护简单，容易操作，完全通过WEB 方式完成，采用云技术，降低维护的技术难度，也减少了人为隐患的发生。

2.5安全、稳定、准确、及时采用先进的算法，多个模块组成一个安全、稳定、准确、及时的网络舆情监测平台。

方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则，从而使整个方案组成合理，技术先进，易于扩展，既能满足当前的业务数据处理要求，又能符合长期发展的需要。

第三章总体架构3.1总体概述网络舆情监测平台采用J2EE技术体系，前端采用Ajax开发技术，操作简单、易用、高效、稳定。

平台所有功能均采用纯B/S结构设计，零客户端维护。

实时采集网络舆情信息，如门户网站、知名论坛、搜索引擎、博客、贴吧，微博等，7*24小时为用户提供信息采集、信息处理、信息编辑功能，实时掌握所关注的网络舆情信息，为贵州交通行业相关部门提供决策参考依据。

3.2业务流程4.1URL个种子因4.2挖掘平台的核心支撑能力。

分布式文件系统有效地解决了海量数据存储问题，并实现了位置透明、移动透明、性能透明、扩展透明、高容错、高安全、高性能等关键功能。

目前业界比较流行分布式文件系统有Google文件系统(GFS)、分布式文件系统(HDFS)、文件系统(KFS)，这3种分布式文件系统都是基于Google 提出的分布式文件系统理论进行研发的。

Google提出的GFS就是解决其海量数据存储和搜索、分析等问题，而和KFS是基于GFS理论基础上实现的开源系统，并且在商业和学术领域得到了广泛的应用。

分布式并行计算框架对于高效完成数据挖掘计算任务极其重要，并且它对分布式计算的一些技术细节进行了封装，例如数据分布、任务并行、任务调度、负载平衡、任务容错、系统容错等，使用户不需要考虑这些细节，而只要考虑任务间的逻辑关系。

这样不仅可以提高研发的效率，还可以降低系统维护的成本。

目前典型的分布式计算框架有：MapReduce是提出的一个并行计算框架，它可以在大量PC机上并行执行海量数据的收集和分析任务。

它把如何进行任务并行执行、如何进行数据分布、如何容错、网络带宽时延等问题的解决方案编码，并封装在了一个库里面，使用户只需要执行数据运算即可，而不必关心并行计算、容错、数据分布、负载均衡等复杂的细节。

同时它又对上层应用提供良好简单的抽象接口。

MapReduce主要应用在搜索、数据仓库、数据挖掘领域。

Pregel是Google提出的迭代处理计算框架，它具有高效、可扩展和容错的特性，并隐藏了分布式相关的细节，展现给人们的仅仅是一个表现力很强、很容易编程的大型图算法处理的计算框架。

Pregel的主要应用场景是大型的图计算，例如交通线路、疾病爆发路径、WEB搜索等相关领域。

Dryad是微软硅谷研究院创建的研究项目，主要用来提供一个基于Windows操作系统的分布式计算平台，总体用来支持有向无环图类型数据流的并行程序。

微软于年宣布，停止对Dryad进行版本升级，转投Hadoop即MapReduce计算框架。

4.31以上。

23得相4.4123标。

还融合多种技术，提供丰富的检索手段以及同义词等智能检索方式。

4.5网络舆情处理流程网络舆情监测主要由网络数据采集、数据处理、舆情分析与报告三大部分构成。

舆情信息采集对象主要以新闻门户网站、微博、论坛、博客、贴吧等，从海量的网页中采集数据为舆情分析提供基础数据。

第五章方案设计5.1平台实现的主要功能1. 数据采集：根据用户设置的信息源对数据进行采集。

2. 数据处理：1) 信息预处理：去除网页中的广告、图片、链接等无价值、无需关注的信息。

并自动识别标题、来源、作者、发布时间、正文等信息。

2) 二次分析处理：利用“多重双向数据过滤模型”、知识库引擎、中文分词、全文检索、文本自动摘要等，进行舆情过滤、自动分类、相似性排重、舆情分析。

3) 数据统计：对信息处理结果作进一步统计分析，以图表方式展现给用户浏览。

3. 信息管理1) 系统配置：用于配置检索数据源和检索规则2) 用户管理：配置用户登录账户和角色权限3) 用户自定义设置：用户根据需要自行设置浏览的信息范围。

4. 舆情浏览：根据系统配置和用户设置在网页上显示舆情信息。

5. 舆情操作：用户可以手动操作舆情。

如：设置属性、加入简报、收藏、上报等。

6. 自动预警：经过分析出现重大负面信息时，系统将启动预警机制，迅速报警提示。

5.2网络拓扑结构5.35.4●●●●户选择的城市分站点刷新显示舆情。

省外：分支为除本省外国内其它省份，可根据用户选择显示省外所有或指定省份的舆情信息。

●信息要素舆情信息分页浏览，每页显示15条记录，通过第一页、上一页、下一页、最后一页进行翻页；每条记录显示舆情标题、摘要、高频词数、点击数、回帖数、来源网站、相似文章数、相关文章数、发布时间；点击【查看原文】或者文章标题链接打开文章内容窗口查看详细。

●近期热点按舆情热度、点击数、回复数、转载数、时间对舆情数据进行排序。

●舆情统计在每一个舆情浏览都有显示舆情分析图，双击统计图，便可查看舆情统计数据。

5.5专题舆情专题舆情包含了四个子模块：专题浏览、专题舆情导出、领导相关舆情、热度分析。

●专题浏览通过用户自定义的舆情专题列表，用户可以轻松的区分和分类查阅专题舆情。

用户可以依据●●●5.65.7排序。

●时间过滤根据选择的时间显示舆情信息。

时间可选项：最近一天、最近三天、最近一周、最近一个月、自定义。

自定义时间：由用户设置起止时间，默认为所有舆情信息。

●来源过滤根据选择的来源网站类型显示舆情信息。

来源选项包括：新闻、微博、论坛、博客、贴吧、搜索引擎，默认为全部。

●排重过滤按照文章排重显示舆情信息。

可选项：文章排重、文章不排重。

默认选项为：文章不排重。

●热度过滤热度高的舆情信息优先显示，热度根据点击量和回复量来评定。

点击量选项：全部，点击量>1000、点击量>2000、点击量>10000，默认全部；回复量选项：全部，回复量>1000、回复量>2000、回复量>10000，默认全部；●显示过滤显示/隐藏舆情信息的来源、摘要、高频词；显示选项：隐藏来源、隐藏摘要、隐藏高频词。

●5.8●●●●●添加到收藏夹将舆情文章加入到个人收藏夹中。

●添加到导控任务将舆情文章加入到指定的导控任务下。

●添加到指定账户对账户作分析，将舆情文章纳入指定的账户类别下，账户类别分为疑似账户、关注账户、屏蔽账户。

●上报舆情对负面、重大负面、突发事件舆情文章做上报处理。

5.9舆情报表舆情报表包含了六个子模块：舆情日报、舆情周报、舆情月报、舆情年报、舆情简报、简报格式。

●舆情日报●●●●●5.10舆情报警舆情报警包含五个子模块：首页报警、敏感报警、本地敏感报警、报警设置、报警任务。

●首页报警针对舆情信息在首页位置出现的特殊意义和影响，网络舆情监测平台专门针对各大新闻网站（比如：新浪、搜狐、网易、腾讯、人民网等和本地有名的地方性门户）、知名论坛、微博等首页信息进行高效率监控，以非常迅速的方法扫描这些网站的首页，如果首页中出现了要监控的关键字，则会以醒目的方式进行报警。

●敏感报警在首页扫描完成后，平台会按照指定的采集任务在采集目标中采集舆情信息，采集到指定关键词的舆情后自动对其中文件的内容进行中文分词并自动比照，如果发现文章中内容涉及到敏感词，则以醒目的方式在“敏感报警“栏目中显示。

●本地敏感报警用户在使用过程中，往往处于指导意义会采集上级单位的舆情，同时出于借鉴意义会采集同类兄弟单位的舆情，这样舆情的总数就会比较多。

通过用户设置的“地域、人名和机构”关键词分析，对上述这些舆情进行了再次细分，把只与本地下属单位有关的舆情归纳到“本地敏感”栏目中。

●报警设置●●●●●用户的权限。

5.12舆情关键词维护舆情关键词维护包含三个子模块：采集搜索关键词维护、舆情预警关键词维护、排除关键词维护。

●采集搜索关键词维护设置舆情过滤、权重和用户关键词，对舆情信息搜索采集时的关键词。

●舆情预警关键词维护用户可根据负面、重大负面、突发事件相应关键词进行设置。

●排除关键词维护非舆情信息的判定关键词设置。

5.13模块维护该平台具有非常好的开放性和灵活性，通过“模块维护”可以非常方面的打造一个个性化的舆情监测管理平台。

用户可按专题、类别、收藏夹、领导人名等进行设置和维护。

第六章建设目标及效益6.1建设目标我国正处于社会发展的转型期,各种社会矛盾不断涌现。

鉴于交通行业职责特殊性,在与社会各阶层的长期接触中极易被置于矛盾的风口浪尖上。

任何涉及交通方面的负面信息,如果得不到及时有效的处理,在网络环境下都有可能成为舆情风暴,导致交通行业相关部门及工作人员形象受损✓✓✓✓✓6.2验知识分享与机器自动学习相结合的方式，实现对网络舆情信息的研判与事件综合分析预测，改变以人工操作带来的不便，提高了业务水平和工作效率。

6.2.3提高管理效能在该平台中针对互联网信息的虚拟性、隐蔽性、发散性、渗透性和随意性等特点，网络舆情基于自然语言理解的文本挖掘技术，提高了交通相关部门对于网络舆情的应对能力和快速反应能力，加强了对社会面信息的全面动态控制能力。

建立网络舆情监测平台，实现了在一定范围内网站信息发布进行全面掌控，能够对各大新闻网站、论坛、博客、微博、贴吧、搜索引擎等实时监测、采集、内容提取及排重；并且对获取的信息进行全面检索、主题检测、专题聚焦、相关信息推荐；按照业务需求定制信息分类规则；为用户辅助编辑提供信息服务。

如重大负面舆情，突发事件预警自动形成网络信息报告、追踪已发现的信息来源，及时发送到指定的监管人员手机或邮件中。

这对于随时随地掌握舆情信息；获得舆情信息热点、焦点和趋势分析；合理部署工作人员，提高人员的工作效能；实时通报最新舆情信息；更充分了解社情民意都起到一定的推动作用。