大数据与云计算和物联网的关系

最新资料;Word版;可自由编辑
大数据与云计算和物联网的关系
大数据时代的到来;是全球知名咨询公司麦肯锡最早提出的;麦肯锡称：“数据;已经渗透到当今每一个行业和业务职能领域;成为重要的生产因素..人们对于
海量数据的挖掘和运用;预示着新一波生产率增长和消费者盈余浪潮的到来..”
互联网进化论一书中提出“互联网的未来功能和结构将于人类大脑高度相似;也将具备互联网虚拟感觉;虚拟运动;虚拟中枢;虚拟记忆神经系统”;并绘
制了一幅互联网虚拟大脑结构图..
根据这一观点;我们尝试分析目前互联网最流行的四个概念————-大数据;云计算;物联网和移动互联网与传统互联网之间的关系..
从这幅图中我们可以看出：
物联网对应了互联网的感觉和运动神经系统..
云计算是互联网的核心硬件层和核心软件层的集合;也是互联网中枢神经
系统萌芽..
大数据代表了互联网的信息层数据海洋;是互联网智慧和意识产生的基础..
包括物联网;传统互联网;移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据..
大数据时代的到来;是全球知名咨询公司麦肯锡最早提出的;麦肯锡称：“数据;已经渗透到当今每一个行业和业务职能领域;成为重要的生产因素..人们对于海量数据的挖掘和运用;预示着新一波生产率增长和消费者盈余的到来..”近几年大数据一词的持续升温也带来了大数据泡沫的疑虑;大数据的前
景与目前、、移动等是分不开的;下面就来了解一下大数据与这些热点的关系..
大数据市场格局
从严格意义上来说;早在20世纪90年代“数据仓库之父”的BillInmon便提出了“大数据”的概念..大数据之所以在最近走红;主要归结于互联网、移
动设备、物联网和云计算等快速崛起;全球数据量大大提升..可以说;移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因..
我们可以通过这样一张图片;形象的知道大数据与移动互联网、物联网以
及传统互联网的关系..物联网;移动互联网再加上传统互联网;每天都在产生海量数据;而大数据又通过云计算的形式;将这些数据筛选处理分析;提前出有用
的信息;这就是大数据分析..
大数据与移动互联网、物联网以及传统互联网
作为巨头;EMC的大数据理念是;首先从“大”入手;“大”肯定是指大型数据集;一般在10TB规模左右..很多用户把多个数据集放在一起;形成PB级的数据量..同时从数据源来谈;大数据是指这些数据来自多种数据源;以实时、迭代的方式来实现..
大数据来源
我们看到;各种行业都出现了大数据趋势;有些可能是零售业商户;要对零
售业数据进行分析;或者是一些有关全球天气预报模型的数据;还有油气行业一些地理信息数据;比如基因学分析;医学中也有成像类的大数据;甚至电影、娱
乐行业还有用于渲染的大型数据存在..
大数据与现实生活
大数据能带来什么变化呢里克·斯莫兰的“大数据人类面孔”项目讲述了许多故事：海象通过头顶的触角探索海洋;借助卫星击准蚊子;加纳用短信系统防止假药销售;智能手机可以预测谁正在变抑郁;信用卡在使用者离婚前两年就能预测离婚;药片直接将信息从人的身体传给医生..
通过对卫星以及全球数亿传感器、RFID标签、带GPS的相机和智能手机实时收集的数据做可视化处理;人类就可以感知、测量、理解和影响人类的生存
方式;实现先辈们遥不可及的梦想..
2012年3月;里克·斯莫兰和JenniferErwitt发动全球各地100多位摄影师、编辑和作家来探索大数据的世界;以验证它是否象许多业界人士所说：代
表了一种从未出现过的工具;可以帮助人类面对最大的挑战..
大数据人类面孔-通过计步器记录数据分析身体状况
2012年9月25日到10月2日;邀请全球各地参与者通过“大数据人类面孔”这一应用五种语言的iOS和安卓版本免费下载来“测量我们的世界”..这一应用可以让人们用手机作为传感器参与一系列活动;他们同时可以比较全球
参与者对一些值得深思的问题给出了什么答案..参与者可以绘制出自己每天的路径;分享那些带给他们好运的物品和仪式;了解其他人想要在一生中经历的特别体验;发现自己身边以前没有意识到的秘密..参与者还能够得出自己的“数
字身影”..
2012年10月2日;邀请媒体出席在纽约、伦敦和新加坡举行的“指挥控制中心”大型活动;所有参与者的数据将在活动中加以分析、视觉化处理和诠释..大数据领域的专家们和创新者们将通过互动的“大数据实验室”分享他们的工作成果..全球各地的观众可以实时在线观看活动直播..
麦肯锡全球研究机构在发布的大数据：创新、竞争和生产力的下一个前沿领域中表示;充分利用大数据可帮助全球个人定位服务提供商增加1000亿美元收入、帮助欧洲公共部门的管理每年提升2500亿美元产值、帮助美国医疗保健行业每年提升3000亿美元产值;并可帮助美国零售业获得60%以上的净利润增长……
如果感觉此数据太过空泛;那么我们可以通过安防监控在大数据方面的应
用来进行详细的了解..很多读者应该都看过电影全民公敌;威尔史密斯饰演的
律师出现在各地任意位置的摄像头都会在第一时间被发现;这便是大数据的作用..从技术角度来看;从传统的海量存储监控;到实现联网智能化监控便是大数据很好的应用..在国际大都市中;每年行驶的车辆数据可能会达到百亿级;从这些海量信息提取车牌、车身颜色;就可以很快查出轨迹、违章等;而接下来的关联分析就是基于大数据的基础展开..
再比如大家经常使用的淘宝为例..天猫副总裁王文彬曾表示“我们可以得到买家的访问量、固定频率、偏好商品等浅层分析..未来将有更多;不仅能看
到商家销量的高低;甚至还可以看出其原因..”商家还可以通过对点击量、跨
店铺点击;订单流转量甚至旺旺聊天信息等消费者购买行为的分析;进而有针对性的进行提高;达到提高销量的目的..
从人类文明出现到2003年;人类总共才产生了5EBExaBytes的数据;但是当前的人类两天内就创造出了相同的数据量;全球90%的数据都是在过去两年中生成的;到2020年全球数据使用量将大概需要376亿个1TB的硬盘进行存储..
大数据
当然;大数据并不等同于目前的海量数据..目前全球均比较认可IDC对
“大数据”的定义：为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值;而设计的新一代架构和技术..此定义也可以概括为四个
特点;即高容量volume、多样性variety;速度velocity;以及价值value四个V;包括基础架构、数据管理、分析挖掘和决策支持四个层面..当然;也有其他
不同的观点;对于大数据的定义便是规模性Volume、多样性Variety、高速性Velocity和真实性Veracity的“4V理论”;NetApp大中华区总经理陈文所理解的大数据包括A、B、C三个要素：大分析Analytic;高带宽Bandwidth和大内容Content..
大数据与云计算
物联网、移动互联网等是大数据的来源;而大数据分析则是为物联网和移
动互联网提供有用的分析;获取价值..云计算又与大数据有什么关系呢这个问
题其实早在2011年;就有人分析;例如EMCWorld2011的大会主题就是“当云计算遇见大数据”..
云计算与大数据两者之间有很多的交集;业界主要做云的公司有谷歌、亚
马逊等都拥有大量大数据..EMC总裁基辛格强调大数据应用必须在云设施上跑;这就是两者的关系——大数据离不开云..同时;支撑大数据以及云计算的底层
原则是一样的;即规模化、自动化、资源配置、自愈性;这些都是底层的技术原则..因此基辛格认为大数据和云之间存在很多合力的地方..
另一方面;随着互联网信息量的激增;用户单个数据集达到数以TB计;有的客户甚至已达到Pera级1000Tera了;用现有的存储系统结构处理数据量级较小;而且只能处理单一数据源数据;面对大数据的压力..在处理大量级以及多数据
源的数据能力非常弱..这也就是为什么EMC收购Greenplum;支持开源的Hadoop 计划的目的所在..基辛格很明白;大数据的挑战不仅仅在于存储和保护;数据分析能力的强弱;将成为这个时代的关键点：我们已经解决了数据存储和保护的
问题;所需要的只是时间;但是海量数据分析的问题;我们还没有在大数据到来
时做好准备..
谈到大数据的特点;一是数据规模是PB级;二是多数据源;能够把半结构化、非结构化和结构化的数据很好地融合起来..同时具有实时、可迭代的特点..具体形容就是大数据环境类似于Facebook环境;随时可以添加变量..基辛格一再的支出;数据分析的历史已有30年;现在我们已进入大数据时代..。