大数据分析—安全(课堂PPT)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，
“谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯， 全球8条候鸟迁徙路线就有5条穿过它
Your E-Book Is Reading You
9
谷歌如何“嗅”出疫情讯号？
借助大数据，更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出，用于预警流感的即时网络服务。该 系统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表 和地图，目前可预测全球超过25个国家的流感趋势。
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时代， 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数据 正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动互联 网（微博）、物联网（传感器，智慧地 球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）都在疯狂产生着数据。
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
5
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端，也就是所谓的智 能电表。在德国，为了鼓励利用太阳能，会在家庭安 装太阳能，除了卖电给你，当你的太阳能有多余电的 时候还可以买回来。通过电网收集每隔五分钟或十分 钟收集一次数据，收集来的这些数据可以用来预测客 户的用电习惯等，从而推断出在未来2~3个月时间里， 整个电网大概需要多少电。有了这个预测后，就可以 向发电或者供电企业购买一定数量的电。因为电有点 像期货一样，如果提前买就会比较便宜，买现货就比 较贵。通过这个预测后，可以降低采购成本。
数据量在爆炸式增长—— 近两年所产生的数据量相 当于2010年以前整个人类 文明产生的数据量总和3
大数据的4V特征
Volume
Biblioteka Baidu
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析，从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见，此类方法已经帮助某 领先零售企业减少了17%的 存货，同时在保持市场份额 的前提下，增加了高利润率 自有品牌商品的比例。
8
大数据分析应用案例之电子书
6
大数据应用案例之：通信行业
• 电信业者透过数以千万计的客户资料，能分析出 多种使用者行为和趋势，卖给需要的企业，这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来，为顾客提供附近的餐饮店信息，接近 末班车时间时，提供末班车信息服务。
7
大数据应用案例之：零售业
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
1
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应 用到了所有人类智力与发展的领域中。
2
大数据时代的爆炸增长
地球上至今总共的数据量：
TB
PB
EBZ B
GB
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
在2006 年，个人用户才刚刚迈进TB时代，全球 一共新产生了约180EB的数据；
在2011 年，这个数字达到了1.8ZB。
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展， 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼，大数据时代已经到来！ 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革，同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略，将大数据置于重要地 位，以夺取“信息优势”和“国际话语权”。
4
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，
“谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯， 全球8条候鸟迁徙路线就有5条穿过它
Your E-Book Is Reading You
9
谷歌如何“嗅”出疫情讯号？
借助大数据，更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出，用于预警流感的即时网络服务。该 系统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表 和地图，目前可预测全球超过25个国家的流感趋势。
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时代， 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数据 正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动互联 网（微博）、物联网（传感器，智慧地 球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）都在疯狂产生着数据。
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
5
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端，也就是所谓的智 能电表。在德国，为了鼓励利用太阳能，会在家庭安 装太阳能，除了卖电给你，当你的太阳能有多余电的 时候还可以买回来。通过电网收集每隔五分钟或十分 钟收集一次数据，收集来的这些数据可以用来预测客 户的用电习惯等，从而推断出在未来2~3个月时间里， 整个电网大概需要多少电。有了这个预测后，就可以 向发电或者供电企业购买一定数量的电。因为电有点 像期货一样，如果提前买就会比较便宜，买现货就比 较贵。通过这个预测后，可以降低采购成本。
数据量在爆炸式增长—— 近两年所产生的数据量相 当于2010年以前整个人类 文明产生的数据量总和3
大数据的4V特征
Volume
Biblioteka Baidu
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析，从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见，此类方法已经帮助某 领先零售企业减少了17%的 存货，同时在保持市场份额 的前提下，增加了高利润率 自有品牌商品的比例。
8
大数据分析应用案例之电子书
6
大数据应用案例之：通信行业
• 电信业者透过数以千万计的客户资料，能分析出 多种使用者行为和趋势，卖给需要的企业，这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来，为顾客提供附近的餐饮店信息，接近 末班车时间时，提供末班车信息服务。
7
大数据应用案例之：零售业
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
1
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应 用到了所有人类智力与发展的领域中。
2
大数据时代的爆炸增长
地球上至今总共的数据量：
TB
PB
EBZ B
GB
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
在2006 年，个人用户才刚刚迈进TB时代，全球 一共新产生了约180EB的数据；
在2011 年，这个数字达到了1.8ZB。
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展， 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼，大数据时代已经到来！ 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革，同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略，将大数据置于重要地 位，以夺取“信息优势”和“国际话语权”。
4
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。