对大数据的初步认识
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对大数据的初步认识
大数据也许就是当今的互联网发展至今的一种现象,“大”字体现了海量的数据,但是真正理解大数据,就是挖掘数据潜藏的信息价值,洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
大数据的4个“V”,让我对它进行了初步的认识,第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三,数据的来源,直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实,最终的分析结果以及决定将更加准确。第四,处理速度快,1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。也就是Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(真实性)。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言,大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。
大数据的应用可以看出它的威力,如洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生;PredPol Inc.。
PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作,基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率,可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区,盗窃罪和暴力犯罪分布下降了33%和21%;Express Scripts Holding Co.的产品制造。该公司发现那些需要服药的人常常也是最可能忘记服药的人。因此,他们开发了一个新产品:会响铃的药品盖和自动的电话呼叫,以此提醒患者按时服药;
大数据”的影响,增加了对信息管理专家的需求,甲骨文,IBM,微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元,增长近10%,每年两次,这大概是作为一个整体的软件业务的快速。
众所周知,企业数据本身就蕴藏着价值,但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。例如,通过学生对老师反应的教学质量,来对老师的教学质量做一个评估。还有,超市购物,对客户喜欢买什么,将他放在超市的里面,这样客户想要买就要走到里面,途中看到商品想要的,可以拉动其他商品的销售。所以,数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么:这些数据来源为一些私营公司提供了巨大的价值,这些公司能
够善用这些数据,创造满足潜在需求的新产品和服务。
大数据有一个弊端,数据存在哪里,对于海量的数据,每天以万亿的数据量增加,对于数据的存储可以说是一个大问题,同时它的海量给找出有用的数据提出了挑战,有些人会说,数据中蕴含的价值只能由专业人员来解读。但是泽字节经济并不只是数据科学家和高级开发员的天下,只要利用相关的计算机知识,想在其中找出想要的信息,有时候只是时间问题。数据的价值在于将正确的信息在正确的时间交付到正确的人手中。未来将属于那些能够驾驭所拥有数据的公司,这些数据与公司自身的业务和客户相关,通过对数据的利用,发现新的洞见,帮助他们找出竞争优势。
今天,商业智能(使用数据模式看清曲线周围的一切) 稳居CXO 们的重中之重。在理想的世界中,IT 是巨大的杠杆,改变了公司的影响力,带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。
大数据分析是商业智能的演进。当今,传感器、GPS 系统、QR 码、社交网络等正在创建新的数据流。所有这些都可以得到发掘,正是这种真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物,以便让大中小企业都能通过更加贴近客户的方式取得竞争优势,数据集成和数据管理是核心所在。
在庞大的数据库中找出想要的数据绝非易事,如果提高数据对于业务部门的价值,同时能降低管理数据的成本,从数据中得到的回报就会增加,正如这个公式:数据回报率=数据价值/数据成本。
当前我们还处在大数据时代的前夜,预计今明两年将是大数据市场的培育期,2014年以后大数据产品将会形成业绩。
大数据让我感觉数据给人们带来了便利,同时也给了人们一种发掘数据的挑战,发掘数据是一种能力,但是如果现在我们不学好知识,我们将丢失这种能力,大学时代,大数据在发育初期,当我们四年以后,持有一定的能力,那时候大数据将在发育盛期,这给了我们信心,这将是一种机遇,抓住这个机遇,改变自己的人生将不在是空话。
因此,大数据时代将引发新一轮信息化投资和建设热潮。据IDC预测,到2020年全球将总共拥有35ZB的数据量,而麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,未来中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了一个新的黄金时代。