舆情监测 平台建设方案(图文)

舆情监测: 平台建设方案(图文)

1项目背景及建设目标

1.1项目背景

随着互联网技术和应用的普及和发展，新闻、论坛、博客、微博客、视频网站等舆情产生速度、传播渠道等均呈现出爆炸式快速增长的态势，据初步统计，2009年以来，互联网网上具有负面影响的舆情数量同比增长了近 2倍以上。目前主要存在以下问题拯待解决：

1）网络舆情监测导控工作几乎完全是通过人工的方式开展的，手工发现关注网站的局部性、时间上的滞后性与信息发布的随意性、随时性之间的矛盾日益严重。

2）缺乏舆情信息综合分析，导致分析关联能力不足。例如，特定舆情事件在新闻、论坛、微博、博客等不同来源上的关联分析。

3）各分支在舆情信息的管理上缺乏统一的信息报送、舆情导控任务下发等业务流程的信息化工具支撑。

4）目前，舆情导控体系中缺乏可量化的考核数据作为各级领导年底评分的依据；

在经过多次现场充分调研的基础上，提出建设舆情综合导控系统的规划，制定一个统一的元数据标准和数据交换接口规范，作为舆情分析研判和考核统计的元数据，从而对互联网上传播的舆情信息进行准确查找、归类、排重、分析、研判、导控和核查，实现对互联网上各类海量数据快速分析处理，更加准确的掌握各类舆情信息传播的数量、范围、趋势、影响等情况，最终形成一套科学、全面、高效地掌握网上舆情监测导控系统。

1.2建设目标

系统建设总体实现目标是：能够全面、准确、及时的获取与“我”有关的网络信息，深层次的对互联网舆情信息进行分析和挖掘，通过统一的综合指挥系统实现舆情的及时上传和导控任务的集中下达，并从在线率、引导发帖、信息报送及任务下发等多方面综合考核，确保以互联网舆情监测小组为核心的整体监测成效。

1总体架构

1.1软件架构

整个系统设计分为数据采集子系统、舆情信息数据仓库、舆情研判分析子系统、引导指挥子系统、引导考核子系统几个部分。

1.1.1数据采集子系统

负责对信息源头采集，采集子系统主要实现多线程、集群采集模式。满足项目采集深度和广度要求，采集深度按照需求可采集到新闻评论、微博转发数、粉丝数以及论坛的评论树回帖数等。

采集广度本系统提供通用采集配置，支持大部分新闻、论坛的采集，只需要配置URL即可实现采集。采集性能可以灵活配置策略，分为指定调度和随机调度两个模式。采集时效性可以定制。

1.1.2舆情信息数据仓库

按照系统制定的数据规范支持外围系统数据接入，数据仓库设计分布式架构，通过集群方式扩展项目的规模。主要分为分布式储存与全文索引、关系数据库。同时对外提供 API访问接口。数据入库经过数据的加工处理包括自动摘要、实体抽取、内容分类等操作为后续研判提供标准数据。

1.1.3舆情研判分析子系统

侧重业务需求根据各项指标综合计算舆情热点、负面信息、专题分析等。系统创新设计了基于多层关键字不同权重的数据推送算法实现海量数据中自动推送用户真正关心的舆情线索。

1.1.4引导指挥子系统

融合舆情管控业务流程。实现重大、敏感舆情信息的逐级上报及领导审核；可通过系统下发导控任务且短信提醒功能，确保导控任务通知及时、到位；

1.1.5引导考核子系统

针对任务完成情况、导控情况、信息报送及在线等进行多角度考核，对网评员工作量和工作效果提供科学评估依据。

1.2关键技术

1.2.1自动摘要

在舆情分析过程中，通过自动摘要简明、确切地描述聚出来话题的中心内容，摘要是以提供文献内容概括为目的，不加评论和补充解释。

基于统计的自动摘要也称为自动摘录,是将文本视为句子的线性序列,将句子视为词的线性序列。包括以下步骤:

原始文本处理:

按照计算机能够识别的形式输入文本信息,比如:键盘输入、手写录入、文本扫描、图形识别、语音识别等。

词语权重计算:

关键词"进行词频统计。对原始文本信息中的"句子权重计算:根据句子中词频等信息计算句子权重。其标准为:句子权重与句中所含"关键词"的数量成正比;文本信息中包含提示词,则提高句子权重；文本信息中特殊位置上的句子权重增加;若句子中包含废弃指示词则句子权重减小;句子长度与句子权重成反比。

文摘句提取:

对原文中所有句子按权值高低降序排列,权值最高的若干句子被确定为文摘句。

文摘句输出:

将所有文摘句按照它们在原文中的出现顺序输出。

1.2.2自动聚类

采集回的互联网数据包罗万象，为减轻人工巡检舆情事件的负担以及撑控舆情事件的发展态势，系统定期对采集回的互联网数据进行自动聚类，形成近期互联网上最新、最热、敏感等话题。

自动聚类是基于相似性算法的自动聚类技术。根据文本内容的相似度，将内容聚合成不同的类别,同时对每一个聚得的类别，给出精确的类别主题词，包括最热话题、最新话题、敏感话题。主要包括以下几个步聚：

特征提取。

建立聚类相似矩阵，因为相似度是定义一个聚类的基础。

用算法进行聚类。

1.2.3自动分类

目前，大部分网站采用了 AJAX架构，页面代码分析无法获取网站分类信息，为了更加清楚的展示各类舆情信息，如涉警、维稳等在互联网上的分布情况，准确的分析舆情的传播范围，清晰的展现舆情信息，对互联网舆情信息进行分类就显得极为重要。

自动分类技术根据文献内容进行类别划分的功能，可以用于地域分类、涉警分类、维稳分类、治安分类等诸多应用。可以自动地对文档进行分类，赋予文档一个预先定义的类别主题词，便于文档的组织，不需人工干预。类分析模式共抽出了四种，以后可以通过增加、覆盖或继承来扩展：

地域分析模式：地域词典分为三层，第一层是具有唯一性的词，比如在中国，深圳是唯一的一个地方；第二层是地域中的下一级地名，比如市下的区或省下的市都可以，看具体怎么布局。第三层是地域中地名，但有可能在各个地方都存在的或该词还有可能是其它性质的词。比如：万福佳可能是地名，也有可能是人名。根据句中出现各层的词的情况，得分情况也不同，最后再对文档中的所有句子地域得分进行汇总。

一层词典分析模式：

词典只分为一层，根据文档中出现词典中的词和词频情况进行计算相关度。

二层词典分析模式：

词典分为二层，一个句子首先根据查找出现第一层的词，再根据出现第一层词的前后几个词判断是否是第二层的词，这样根据第一层的词前后识别第二层的词的情况计算该句相关度，最后对所有句子进行汇总分析得到文档相关度。

三层词典分析模式：

词典分为三层，一个句子首先根据查找出现第一层的词，再根据出现第一层词的前后几个词判断是否是第二层的词，再根据第二层词的前后判断第三层的词，这样根据第一层的词前后识别第二层的词，再根据第二层词识别第三层词的情况计算该句相关度，最后对所有句子进行汇总分析得到文档相关度。