大数据安全培训
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据的数据够“快”，数据产生得快，数据增加得快， 数据随时间的折旧也快，数据的时效性成为关键。
大数据安全培训
12
大数据基本概念
对比 数据采集手段
数据源 判断方法 演绎方法 分析方法 对产出的预期
大数据安全培训
传统方法 采样数据 单数据源 基于主观因果假设 孤立的推算方法 描述性分析 绝对的精确性更重要
18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一 天内吸入了多少雾霾。
22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能
告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇……
5
大数据基本概念
13000+个 iPhone 应用下载
过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛
克，你不用担心个人信息泄露。
4
大数据基本概念
14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去世纪公园还是去中山公园。你又打 开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了中山公园。
视频
淘宝光棍节 10680+个新
订单
12306出票 1840+张
大数据安全培训
6
大数据基本概念
“大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据
量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、
并整理成为人类所能解读的信息。”
——维基百科
大数据安全培训
7
大数据基本概念
仅仅是 “大”？
大数据方法 全局数据 多数据源整合 机械穷举相关关系 大数据+小算法+上下文+知识积累 预测性和处方性分析 更注重实时性（具体根据需求而定）
13
大数据基本概念
大数据不仅仅是技术，关键是产生价值
可以从各个层面进行优化，更要考虑整体
大数据安全培训
14
大数据价值
行业
银行 /
金融
医疗
制造 /
高科技
能源
互联网 /
•改善诊疗质量 •加快诊疗速度
•优化产品设计、制造 •降低保修成本 •加快问题解决
•降低工程事故风险 •优化勘探过程
•提升网络用户忠诚度 •改善社交网络体验 •向目标用户提供有针对性的商品与服务
•更好地对外提供公共服务 •舆情分析 •准确预判安全威胁
•创造更多联合、交叉销售商机 •准确评估广告效用
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
大 杂
大量的不相关信息 对未来趋势与模式的可预测分析
低
深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）
速度Velocity
大数据安全培训
实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
大数据安全培训
2018.04
目录
1、大数据基本概念
4、应用举例
大数据安全培训
2、大数据应用介绍
3、大数据安全现状
2
大数据基本概念
大数据基本概念
7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一 款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它 建议你今天出门之前多喝点橙汁类的饮品来补充维生素。
Skype上
Twitter上发
37万+分钟的 布98000+新
语音通话
微博
上传6600张 新照片到 flickr
发出1.68亿+ 条Email
Facebook上 更新69.5万+
条新状态
数据不再是社会生产的“副 产物”，而是可被二次乃至 多次加工的原料，从中可 以探索更大价值，它变成 了生产资料。
YouTube上 上传600+新
9：00，今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品“XX预测”， 看看步行街今天预计会有多少人，再看看上海今天的交通预测。 “XX预测” 根据以往用户定位请求 信息建议你乘地铁前往步行街。
大数据安全培训
12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通
比“大”更重要的 是数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠
覆性的价值
大数据安全培训
8
大数据基本概念
海 量 劣 质
大数据安全培训
异 构 高 维
9
大数据基本概念
体量Volume 多样性Variety 价值密度Value
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
Web2.0
政府 /
公用事业 媒体 / 娱乐
13
零售
大数据安全培训
数据处理方式
•贷款、保险、发卡等多业务线数据集成分析、市场评估 •新产品风险评估 •股票等投资组合趋势分析
•共享电子病历及医疗记录，帮助快速诊断 •穿戴式设备远程医疗 •产品故障、失效综合分析 •专利记录检索 •智能设备全球定位，位置服务
快
10
大数据基本概念
大
海量沙漠
杂
充满杂质
低
大数据安全培训
只为粒金
快
争分夺秒
11
大数据基本概念
大 数 据 新 思 维
大数据的数据够“大”，数据不再是稀缺资源，不能像小 数据时代那样，用最小的数据获得最多的信息；而应 该要拿到与领域相关的全数据
大数据的数据够“杂”，来源广泛，格式五花八门，用户 需从海量数据中提炼有价值信息，个体数据（百度文库严格 因果模型）的精确性不再重要，重要的是大多数数据 群共同指出的结论（相关性关系）；
•勘探、钻井等传感器阵列数据集中分析
•在线广告投放 •商品评分、排名 •社交网络自动匹配 •搜索结果优化 •智能城市信息网络集成 •天气、地理、水电煤等公共数据收集、研究 •公共安全信息集中处理、智能分析
•收视率统计、热点信息统计、分析
•基于用户位置信息的精确促销 •社交网络购买行为分析
价值
•增加市场份额 •提升客户忠诚度 •提高整体收入 •降低金融风险
大数据安全培训
16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记 录。但过去运营商只能让你查到六个月以内的消费信息。因为中国电信至少有5亿用户，每天至 少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的 存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。
大数据安全培训
12
大数据基本概念
对比 数据采集手段
数据源 判断方法 演绎方法 分析方法 对产出的预期
大数据安全培训
传统方法 采样数据 单数据源 基于主观因果假设 孤立的推算方法 描述性分析 绝对的精确性更重要
18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一 天内吸入了多少雾霾。
22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能
告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇……
5
大数据基本概念
13000+个 iPhone 应用下载
过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛
克，你不用担心个人信息泄露。
4
大数据基本概念
14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去世纪公园还是去中山公园。你又打 开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了中山公园。
视频
淘宝光棍节 10680+个新
订单
12306出票 1840+张
大数据安全培训
6
大数据基本概念
“大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据
量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、
并整理成为人类所能解读的信息。”
——维基百科
大数据安全培训
7
大数据基本概念
仅仅是 “大”？
大数据方法 全局数据 多数据源整合 机械穷举相关关系 大数据+小算法+上下文+知识积累 预测性和处方性分析 更注重实时性（具体根据需求而定）
13
大数据基本概念
大数据不仅仅是技术，关键是产生价值
可以从各个层面进行优化，更要考虑整体
大数据安全培训
14
大数据价值
行业
银行 /
金融
医疗
制造 /
高科技
能源
互联网 /
•改善诊疗质量 •加快诊疗速度
•优化产品设计、制造 •降低保修成本 •加快问题解决
•降低工程事故风险 •优化勘探过程
•提升网络用户忠诚度 •改善社交网络体验 •向目标用户提供有针对性的商品与服务
•更好地对外提供公共服务 •舆情分析 •准确预判安全威胁
•创造更多联合、交叉销售商机 •准确评估广告效用
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
大 杂
大量的不相关信息 对未来趋势与模式的可预测分析
低
深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）
速度Velocity
大数据安全培训
实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
大数据安全培训
2018.04
目录
1、大数据基本概念
4、应用举例
大数据安全培训
2、大数据应用介绍
3、大数据安全现状
2
大数据基本概念
大数据基本概念
7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一 款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它 建议你今天出门之前多喝点橙汁类的饮品来补充维生素。
Skype上
Twitter上发
37万+分钟的 布98000+新
语音通话
微博
上传6600张 新照片到 flickr
发出1.68亿+ 条Email
Facebook上 更新69.5万+
条新状态
数据不再是社会生产的“副 产物”，而是可被二次乃至 多次加工的原料，从中可 以探索更大价值，它变成 了生产资料。
YouTube上 上传600+新
9：00，今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品“XX预测”， 看看步行街今天预计会有多少人，再看看上海今天的交通预测。 “XX预测” 根据以往用户定位请求 信息建议你乘地铁前往步行街。
大数据安全培训
12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通
比“大”更重要的 是数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠
覆性的价值
大数据安全培训
8
大数据基本概念
海 量 劣 质
大数据安全培训
异 构 高 维
9
大数据基本概念
体量Volume 多样性Variety 价值密度Value
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
Web2.0
政府 /
公用事业 媒体 / 娱乐
13
零售
大数据安全培训
数据处理方式
•贷款、保险、发卡等多业务线数据集成分析、市场评估 •新产品风险评估 •股票等投资组合趋势分析
•共享电子病历及医疗记录，帮助快速诊断 •穿戴式设备远程医疗 •产品故障、失效综合分析 •专利记录检索 •智能设备全球定位，位置服务
快
10
大数据基本概念
大
海量沙漠
杂
充满杂质
低
大数据安全培训
只为粒金
快
争分夺秒
11
大数据基本概念
大 数 据 新 思 维
大数据的数据够“大”，数据不再是稀缺资源，不能像小 数据时代那样，用最小的数据获得最多的信息；而应 该要拿到与领域相关的全数据
大数据的数据够“杂”，来源广泛，格式五花八门，用户 需从海量数据中提炼有价值信息，个体数据（百度文库严格 因果模型）的精确性不再重要，重要的是大多数数据 群共同指出的结论（相关性关系）；
•勘探、钻井等传感器阵列数据集中分析
•在线广告投放 •商品评分、排名 •社交网络自动匹配 •搜索结果优化 •智能城市信息网络集成 •天气、地理、水电煤等公共数据收集、研究 •公共安全信息集中处理、智能分析
•收视率统计、热点信息统计、分析
•基于用户位置信息的精确促销 •社交网络购买行为分析
价值
•增加市场份额 •提升客户忠诚度 •提高整体收入 •降低金融风险
大数据安全培训
16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记 录。但过去运营商只能让你查到六个月以内的消费信息。因为中国电信至少有5亿用户，每天至 少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的 存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。