大数据分析—安全课件

•在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服 务，比如医疗、卫生、教育等部门；
•解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受 困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；
政府投入将形成示范效应，大大推动大数据的发展。
学习交流PPT
13
大数据的应用 ——热点：智慧城市
学习交流PPT
4
大数据的构成
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
21世纪是数据信息大发展的时代， 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数据 正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动互联 网（微博）、物联网（传感器，智慧地 球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）都在疯狂产生着数据。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
数据量在爆炸式增长——
1 MB = 1,024 KB = 1,048,576 Bytes
近两年所产生的数据量相
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
发觉潜在的威胁——大数据的这种 能力对今天的信息安全防范意义重大
在全球范围内进行相关数据的关联性分析。这样就能克服信息分布孤岛 带来的调查取证难的问题，更容易发现攻击。
针对具体的网络、系统和应用的运行数据采集分析，捕获、挖掘、修复漏 洞；对全球已经发生以及正在发生的网络攻击行为进行记录，并将这些海量 的数据经过多维度的整合分析，自动生成漏洞库、黑客们行为特征等数据库。 对于具体的网络系统，全球化的安全监测，运用大数据技术，可以提前发现 攻击，提前阻止。
学习交流PPT
1
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应 用到了所有人类智力与发展的领域中。
学习交流PPT
15
大数据的应用
——未来，改变一切
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。
数据的再利用： 由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需
使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话 信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服 务和促销活动的公司再次利用时，则变得更有价值。
学习交流PPT
2
大数据时代的爆炸增长
地球上至今总共的数据量：
在2006 年，个人用户才刚刚迈进TB时代，全球 一共新产生了约180EB的数据；
在2011 年，这个数字达到了1.8ZB。
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
学习交流PPT
18
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage 协议传送的海量图像文件、Web文本和点击 流数据、科学信息、电子邮件等等。可以告诉我们未来
会发生什么。
• 美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、 处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工 程领域的创新步伐，强化美国国土安全，转变教育和学习模式” ；
• 中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务 更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
学习交流PPT
5
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端，也就是所谓的智能 电表。在德国，为了鼓励利用太阳能，会在家庭安装太 阳能，除了卖电给你，当你的太阳能有多余电的时候还 可以买回来。通过电网收集每隔五分钟或十分钟收集一 次数据，收集来的这些数据可以用来预测客户的用电习 惯等，从而推断出在未来2~3个月时间里，整个电网大 概需要多少电。有了这个预测后，就可以向发电或者供 电企业购买一定数量的电。因为电有点像期货一样，如 果提前买就会比较便宜，买现货就比较贵。通过这个预 测后，可以降低采购成本。
大数据价值链的3大构成：数据本身、技能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想
法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了 制成全自动汽车以及谷歌眼镜等与实景交汇的产品。
传统行业最终都会转变为大数据行业，无论是金 融服务也、医药还是制造业。
《大数据时代》
学习交流PPT
16
未来IT投资重心转移
结构化数据向非结 构化数据演进，使 得未来IT投资重点 不再是建系统为核 心，而是围绕大数 据为核心； 海量数据可以在各 个部门创造重大的 财物价值，未来投 资倾斜。
学习交流wk.baidu.comPT
17
大数据分析—安全防御 的核武器
互联网行为记录，地理位置记录， 消费信息记录等等，人们的行为细节 和隐私无一遗漏。同样，大数据对信 息安全影响深刻，各种网络行为、日 志都被记录下来，从而发现潜在的安 全风险。
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展， 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼，大数据时代已经到来！ 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革，同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略，将大数据置于重要地 位，以夺取“信息优势”和“国际话语权”。
学习交流PPT
10
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如， “谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯， 全球8条候鸟迁徙路线就有5条穿过它
在科技时代，如何构建一个更加完善的疾病疫情监控信息系
统，我们或许可以借鉴下学美习交国流PP的T 经验。
3
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
大数据的4V特征
Volume
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
7
大数据应用案例之：零售业
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析，从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见，此类方法已经帮助某 领先零售企业减少了17%的存 货，同时在保持市场份额的 前提下，增加了高利润率自 有品牌商品的比例。
学习交流PPT
8
大数据分析应用案例之电子书
Your E-Book Is Reading You
学习交流PPT
9
谷歌如何“嗅”出疫情讯号？
借助大数据，更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出，用于预警流感的即时网络服务。该系 统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表和地 图，目前可预测全球超过25个国家的流感趋势。
11
大数据带来的机遇
大数据赋予我们洞察未来的能力
马云成功预测2008 年经济危机
•“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。 海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸 易发生变化了。”
•通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站 统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综 合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的 准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。
难点：
• 1、在最初就合理规划智慧城市（深度思考哪些领域能够运用）；
• 2、在城市发展基础设施和“云产业”的同时，更多重视“数据”的价值；
• 3、在大数据处理领域的核心技术不足，需要政府更大的投入。
学习交流PPT
14
更多行业的应用
政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目 标；应用到制造等更多行业。
学习交流PPT
6
大数据应用案例之：通信行业
• 电信业者透过数以千万计的客户资料，能分析出 多种使用者行为和趋势，卖给需要的企业，这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来，为顾客提供附近的餐饮店信息，接近 末班车时间时，提供末班车信息服务。
学习交流PPT
当于2010年以前整个人类
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
文明产生的数据量总和
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
学习交流PPT
人类从依靠自身判断做决定到依靠数据做决定 的转变，也是大数据作出的最大贡献之一。
——《大数据时代》
学习交流PPT
12
大数据的应用
政府职能变革
——政府
•重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、 物联网产业园从政绩工程，改造成智慧工程；
•在安防领域，应用大数据技术， 提高应急处置能力和安全防范 能力；