大数据时代简介

大数据时代

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。

大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB （1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

数据价值

一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万…… 这些庞大数字，意味着什么？

它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。

事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。

现在就让我们一起来看看——他们是怎么做的。

这些数据都能干啥。具体有六大价值：

1、华尔街根据民众情绪抛售股票；

2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；

3、银行根据求职网站的岗位数量，推断就业率；

4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；

5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；

6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。数据转化

案例 - 你开心他就买，你焦虑他就抛

华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。

霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。

这一招收效显著——今年第一季度，霍廷的公司获得了7%的收益率。

可视化

大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都

成为了当前重要的研究课题。

“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会接近上帝俯视人间星火的感觉？”

倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。

四个特征

数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

速度快时效高（Velocity）

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

提供依据

大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。

事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。

最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱）IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。

这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。

“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。