大数据与网络舆情分析精品PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需 求的平台。
上海微趣 | abit.io
21
主要的技术路线比较
方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性
API
关键词实 时获取
X
X
X
X
非常稳定
页面爬虫 重要优先
√
√
√
√
较稳定
页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。
• 舆论噪音的辨别与去除
• 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。
上海微趣 | abit.io
27
微博实时搜索
上海微趣 | abit.io
28
微信实时搜索
上海微趣 | abit.io
29
案例 – 平度事件
最早
影响力最大
上海微趣 | abit.io
21-24号的数据统计
日期 微博数 转发数 评论数 微信数
3.21 486 44220 12942 1
3.22 608 78114 27745 1
3.23 614 36297 13410 0
3.24 262 3964 1424
1
30
实时意见领袖的监测
上海微趣 | abit.io
• 微博每天产生近2亿条各类内容
• 社交媒体特点
• 海量数据
• 大量长尾和碎片和噪音
上海微趣 | abit.io
19
互联网舆情现状
上海微趣 | abit.io
来自百度文库20
当前互联网舆情监测的思路
在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开 微博这一传播载体。
只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论 坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以 说是大数据时代舆情监测最重要的阵地。
• 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。
• 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。
• 微信
• 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。
• 新一轮的信息爆炸
• 传统门户，论坛有价值信息量大约在一年1亿条左右
• 大数据处理
• 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读 写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。
• 舆情的发现
• 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项 认可。
14
社交关系网结构
上海微趣 | abit.io
15
社交关系结构
上海微趣 | abit.io
16
群体/个体兴趣对比分析
上海微趣 | abit.io
17
网络舆情分析
上海微趣 | abit.io
18
互联网舆情现状
• 微博
• 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。
8
影响力评估
上海微趣 | abit.io
9
用户作息时间
上海微趣 | abit.io
10
群体/个体习惯对比分析（作息，上网）
上海微趣 | abit.io
11
自然状态下的用户言论
上海微趣 | abit.io
12
自然状态下的用户言论
上海微趣 | abit.io
13
移动设备更替
上海微趣 | abit.io
个互联网中仅有9人有较小机会看到并传 播该信息。 3. 该信息经过4小时左右传播后被删除，删 除前仅转发了65次，但最终在全网范围内 进行扩散。
案例结论：
1. 舆情监测必须全平台。 2. 如仅监测大号，无法确保舆情监测业务
的安全。 3. 基于社交网络的舆情传播力非常大，一
不注意就造成舆论灾难。
上海微趣 | abit.io
上海微趣 | abit.io
22
案例 – 上海法官招嫖事件
事件回放：2013.8.2网上开始大量传播以
视频截图为依据的披露上海高院法官集体招 嫖的事件，该事件在全国范围内造成大范围 的传播与讨论，造成恶劣影响，微趣舆情平 台在这条暴露微博仅仅转发11次之前就捕 获了该微博。
案例特点：
1. 爆料人在腾讯微博上注册用户并进行发布。 2. 该用户爆料时，粉丝仅为9人，即初期整
• 舆情的发现
• 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过 2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息 优先放到用户面前成为重要问题。
• 舆论噪音的辨别与去除
• 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。
现在可以在一个平台上掌 握所有的这些声音。
通过这些大数据可回答以下问题：
谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么
可自由组织的问题
上海微趣 | abit.io
4
上海微趣 | abit.io
5
上海微趣 | abit.io
6
上海微趣 | abit.io
7
上海微趣 | abit.io
需要有技术识别舆情的真假，防止被错误引导。
上海微趣 | abit.io
24
内容传播分析
上海微趣 | abit.io
25
真实传播评估
上海微趣 | abit.io
26
应对技术
• 大数据采集
• 从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增 并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。
abit.io
大数据与网络舆情分析
大数据
上海微趣 | abit.io
2
所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。
社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑
上海微趣 | abit.io
3
超过6亿互联网真实用 户档案数据。
每天新产生的数亿条的评 论，及过去4年间数百亿 的各类观点。
23
舆情监测的挑战
• 大数据采集
• 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。
• 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）
• 大数据处理
• 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例 如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。
上海微趣 | abit.io
21
主要的技术路线比较
方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性
API
关键词实 时获取
X
X
X
X
非常稳定
页面爬虫 重要优先
√
√
√
√
较稳定
页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。
• 舆论噪音的辨别与去除
• 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。
上海微趣 | abit.io
27
微博实时搜索
上海微趣 | abit.io
28
微信实时搜索
上海微趣 | abit.io
29
案例 – 平度事件
最早
影响力最大
上海微趣 | abit.io
21-24号的数据统计
日期 微博数 转发数 评论数 微信数
3.21 486 44220 12942 1
3.22 608 78114 27745 1
3.23 614 36297 13410 0
3.24 262 3964 1424
1
30
实时意见领袖的监测
上海微趣 | abit.io
• 微博每天产生近2亿条各类内容
• 社交媒体特点
• 海量数据
• 大量长尾和碎片和噪音
上海微趣 | abit.io
19
互联网舆情现状
上海微趣 | abit.io
来自百度文库20
当前互联网舆情监测的思路
在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开 微博这一传播载体。
只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论 坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以 说是大数据时代舆情监测最重要的阵地。
• 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。
• 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。
• 微信
• 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。
• 新一轮的信息爆炸
• 传统门户，论坛有价值信息量大约在一年1亿条左右
• 大数据处理
• 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读 写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。
• 舆情的发现
• 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项 认可。
14
社交关系网结构
上海微趣 | abit.io
15
社交关系结构
上海微趣 | abit.io
16
群体/个体兴趣对比分析
上海微趣 | abit.io
17
网络舆情分析
上海微趣 | abit.io
18
互联网舆情现状
• 微博
• 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。
8
影响力评估
上海微趣 | abit.io
9
用户作息时间
上海微趣 | abit.io
10
群体/个体习惯对比分析（作息，上网）
上海微趣 | abit.io
11
自然状态下的用户言论
上海微趣 | abit.io
12
自然状态下的用户言论
上海微趣 | abit.io
13
移动设备更替
上海微趣 | abit.io
个互联网中仅有9人有较小机会看到并传 播该信息。 3. 该信息经过4小时左右传播后被删除，删 除前仅转发了65次，但最终在全网范围内 进行扩散。
案例结论：
1. 舆情监测必须全平台。 2. 如仅监测大号，无法确保舆情监测业务
的安全。 3. 基于社交网络的舆情传播力非常大，一
不注意就造成舆论灾难。
上海微趣 | abit.io
上海微趣 | abit.io
22
案例 – 上海法官招嫖事件
事件回放：2013.8.2网上开始大量传播以
视频截图为依据的披露上海高院法官集体招 嫖的事件，该事件在全国范围内造成大范围 的传播与讨论，造成恶劣影响，微趣舆情平 台在这条暴露微博仅仅转发11次之前就捕 获了该微博。
案例特点：
1. 爆料人在腾讯微博上注册用户并进行发布。 2. 该用户爆料时，粉丝仅为9人，即初期整
• 舆情的发现
• 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过 2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息 优先放到用户面前成为重要问题。
• 舆论噪音的辨别与去除
• 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。
现在可以在一个平台上掌 握所有的这些声音。
通过这些大数据可回答以下问题：
谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么
可自由组织的问题
上海微趣 | abit.io
4
上海微趣 | abit.io
5
上海微趣 | abit.io
6
上海微趣 | abit.io
7
上海微趣 | abit.io
需要有技术识别舆情的真假，防止被错误引导。
上海微趣 | abit.io
24
内容传播分析
上海微趣 | abit.io
25
真实传播评估
上海微趣 | abit.io
26
应对技术
• 大数据采集
• 从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增 并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。
abit.io
大数据与网络舆情分析
大数据
上海微趣 | abit.io
2
所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。
社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑
上海微趣 | abit.io
3
超过6亿互联网真实用 户档案数据。
每天新产生的数亿条的评 论，及过去4年间数百亿 的各类观点。
23
舆情监测的挑战
• 大数据采集
• 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。
• 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）
• 大数据处理
• 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例 如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。