迈向大数据时代

迈向大数据时代作者：王丽来源：《决策探索》2015年第23期互联网上，每天新浪微博用户发博量超过1亿条，百度大约要处理数十亿次搜索请求，淘宝网站的交易达数千万笔……我们每个人都越来越熟练地使用着这些工具，享受着它们带来的便利。

这一切的背后，不仅不断地产生着新的数据，更离不开大数据的支撑。

11月18日，在郑州召开的河南省“互联网+”，开放合作大会盛况空前，超850亿元投资项目在会上签约，地处中部的河南省加快打造网络经济大省。

在大会期间召开的城市论坛上，城市管理者和互联网企业大咖畅谈唤醒“沉睡”的数据，以期通过项目让城市更智能。

就在此次大会的两天前，11月16日，贵州省人民政府在深圳市组织了“2015云上贵州·数据资源招商推介活动”，贵州省经信委相关负责人表示，大数据产业在贵州遍地开花，已经成为了这个一度“欠发达、欠开发”的省份弯道取直、后发赶超的重要支撑。

贵州向参会的所有高新企业发出数据招商的邀请，显示出打造中国南方绿色数据基地的决心。

大数据，就这样虽然悄无声息但迅速地占领了我们的生活，影响着政府的决策。

大数据浪潮今天，“大数据时代”的气息已经扑面而来——美国互联网数据中心的调查显示，全球互联网上的数据每年增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。

此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

大数据并不是一个新概念，但大数据时代却是伴随着近年来信息爆炸式增长而来。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

不过，大约从2D09年开始，“大数据”才成为互联网信息技术行业的流行词汇。

按照世界经济论坛报告的看法，“大数据为新财富，价值堪比石油”。

“大数据之父”维克托曾预测，“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题”。

阿里巴巴集团创始人马云说：“未来的世界是数据的世界。

”到目前为止，全球对“大数据”的定义并没有达成一致公认的程度。

例如，维基百科提出“大数据”是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

这种定义对于实际应用而言几乎没有意义。

企业界通常是将自己可利用到的海量数据视为大数据。

政府部门认为自身数据很多，整合后的政府数据资源就是“大数据”。

我国政府《促进大数据发展行动纲要》对大数据进行了相对科学精确的解释：“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

”国际数据公司定义了大数据的四大特征：海量的数据规模（vast）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（varlety）和巨大的数据价值（value）。

海量到底有多大？有资料显示，全球IP流量达到1EB（即10亿GB或1000PB）所需的时间，在2001年需要1年，到2016年则仅需半天，即半天产生的信息量可刻满1.88亿张DVD 光盘。

我国网民数居世界之首，每天产生的数据量也位于世界前列。

一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。

医院也是数据产生集中的地方。

现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。

总之，大数据存在于各行各业，一个大数据时代正在到来。

就像电力技术的应用不仅仅是发电、输电那么简单，而是引发了整个生产模式的变革一样，基于互联网技术而发展起来的大数据应用，将会对人们的生产过程和商品交换过程产生颠覆性影响。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，就在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”经过大量实际调查和分析，他们发现了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。

这成为大数据技术应用的—个经典案例。

中国最大的电子商务公司阿里巴巴推出的阿里信用贷款也是大数据应用的成功案例。

他们根据在淘宝网上中小企业的交易状况，借助大数据技术自动分析筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款，全程不会出现人工干预。

截至目前，阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。

在全美范围内，以纽约市为首的警方部门也正在使用计算机化的地图以及对历史性逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析，从而试图对最可能发生罪案的“热点”地区作出预测，并预先在这些地区部署警力。

在金融领域，华尔街“德温特资本市场”公司分析3。

4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。

在医疗保健领域，谷歌就曾通过分析用户的搜索关键词，预测出了2009年禽流感在美国本土的严重程度以及未来的流行趋势，成功帮助卫生部门抑制住了疾病的大规模爆发。

联合国已经推出了名为“全球脉动”的新项目，希望利用大数据来促进全球经济发展。

联合国将进行所谓的“情绪分析”，使用自然语言解密软件来对社交网站和文本消息中的信息作出分析，用来帮助预测某个规定地区的失业率、支出削减或是疾病爆发等现象，其目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止某个地区重新陷入贫困等困境。

大数据正在影响着每个领域。

举例来说，在商业、经济及其他领域中，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉；而在公共卫生、经济发展和经济预测等领域中，大数据的预见能力也已经崭露头角。

在未来一段时间内，大数据将成为提升机构和公司竞争力的有力武器。

从某一层面来讲，企业与企业的竞争已经演变为数据的竞争，工业时代引以自豪的厂房与流水线，变成信息时代的服务器。

阿里巴巴集团的服务器多达上万台，而谷歌的服务器超过了50万台。

重视数据资源的搜集、挖掘、分享与利用，成为当务之急。

大数据时代的到来，让“数据驱动”成为新的全球大趋势。

国家竞争战略正从对资本、土地、人口、资源、能源的争夺转向对大数据的争夺，大数据颠覆性地改变经济形态、国际安全态势、国家治理和资源配置模式，引发了巨大的经济社会变革。

政府与大数据大数据不仅是一场技术革命，一场经济变革，也是一场国家治理的变革。

牛津大学教授维克托·迈尔·舍恩伯格在其著作《大数据时代》中说：“大数据是人们获得新的认知、创造新的价值的源泉，还是改变市场、组织机构，以及政府与公民关系的方法。

”大数据时代，互联网是政府施政的新平台。

单纯依靠政府管理和保护数据的做法会使政府在面对大规模而复杂的数据时应接不暇、不堪重负。

而通过电子政务系统，可以实现在线服务，做到权力运作有序、有效、“留痕”，促进政府与民众的沟通互联，提高政府应对各类事件和问题的智能化水平。

“十三五”规划建议指出：“运用大数据技术，提高经济运行信息及时性和准确性。

”大数据正有力地推动着国家治理体系和治理能力走向现代化，正日益成为社会管理的驱动力、政府治理的“幕僚高参”。

具体说来，大数据能高效处理瞬息万变的海量信息，有效破解转型中的社会难题。

比如，马云利用淘宝网的海量数据早半年成功地预测到了金融危机。

大数据不仅可以提高宏观经济预测的准确性，能及时处理和分析海量交通信息，及时转化成出行指南，缓解交通拥堵，还能及时处理瞬息万变的空气质量变化情况，准确判断污染源。

例如位于亚特兰大的通用电气能源监测和诊断中心，每周全天24小时实时收集全球50多个国家约1550台燃气轮机的数据。

大数据催生新产业，带来经济增长新空间。

随着大数据在商业企业、政府公共事业、国防军事等领域应用，大数据日益形成一个新产业。

围绕产业链上下游，大数据必将带动智能终端的普及应用，物联网、云计算等产业的蓬勃发展，高性能服务器产业的发展和信息技术服务业等产业的发展。

据统计，2010～2015年全球大数据市场年均复合增长超过50%。

全球著名信息技术研究和咨询公司高德纳公司发布报告预测，到2016年，大数据对全球IT开支的直接或间接推动预计将达到2320亿美元。

大数据能有效减少社会运行成本，提高经济与社会运行效率。

医疗卫生行业，能够利用大数据避免过度治疗、减少错误治疗和重复治疗，从而降低系统成本、提高工作效率，改进和提升治疗质量。

麦肯锡报告估计美国医疗行业每年通过数据获得的潜在价值超过3000亿美元，能够使得美国医疗卫生支出降低超过8%。

公共管理领域，能够利用大数据有效推动税收工作开展，提高教育部门和就业部门的服务效率；零售业领域，通过在供应链和业务方面使用大数据，能够改善和提高整个行业的效率，充分利用大数据的零售商有可能将其经营利润提高60%以上。

大数据推动政府开放，提高公共决策的预见性和响应性。

为了响应大数据战略，政府开展逐步公开已有数据，如美国推出了政府数据在线网站，英国推出了政府数据公开网站，数据开放推动政府不断开放。

大数据能够帮助政府部门提高公共政策制定的效率，通过利用大数据实现政府行政管理方面的运作效率提高，估计欧洲发达经济体可以节省开支超过1000亿欧元。

鉴于大数据潜在的巨大影响，很多国家或国际组织都将大数据视作战略资源，并将大数据提升为国家战略。

2012年3月，美国奥巴马政府宣布了“大数据研发计划”，并设立了2亿美元的启动资金，希望增强海量数据收集、分析萃取能力，认为这事关美国的国家安全和未来竞争力。

迄今为止，美国在大数据方面实施了三轮政策，开放了50多个门类的政府数据，确保商业创新。

欧盟正在力推《数据价值链战略计划》，为320万人增加就业机会。

日本积极谋划利用大数据改造国家治理体系，对冲经济下行风险。

截至2014年4月，全球已有63个国家制定了开放政府数据计划，数据开放推动政府从“权威治理”向“数据治理”转变。

总之，“神奇”的大数据可以帮助政府更好地了解公众在想什么，需求什么，通过为社会公众提供更好的服务，从而实现透明的政府、智慧的政府和负责任的政府。