大数据时代的机遇与挑战

磁盘发明到现在已近60年，原来的数据存储和现在的 数据存储有哪些不同？
1956年，第一块硬盘容量只有5MB，体积比2个冰箱还大。2013 左边是 1987年的机械硬盘容量只有 年，东芝发布了世界上第一个 1981年DEC的机械硬盘，用当时流行的14”的盘片制成。 NAND 闪存。从 2005 年到 1974 200MB ，重达 10 磅。而 2013 年一个 年主力硬盘容量是4TB，大小只有3.5″。希捷预计，2020年， 而右边是希捷的微硬盘，尺寸比1.8″还小，但容量大得多。 2014 年间， MicroSD 的容量提升了 1000倍。10年1000倍。 东芝 512GB 的 PCIe NAND 闪存磁盘，只有一条内存大小。 采用新技术的机械硬盘的容量将达 60TB。
Vol.10(4): e1001413-16.
专家 医院管 系统 随着大数据时代的到来，医疗卫生数据领域智能化管理 理系统 HMIS 外科学 成为时代需要。所谓智能化管理，即为感知、互联、大数据 ……
医院管 理系统
医院管 理系统
诊断与分析、优质医疗卫生资源共享。 内科学
3、协同方式——从部门信息独立到部门间数据共享。
大数据时代，政治领域的终极目标是：开放数据——智慧政府。
2008年，谷歌利用从各国卫生组织获取的数据，制作出一款“全 球流感地图”，用于预测世界各地爆发流感疫情的可能性，指 两年后，H1N1病毒肆虐全球，谷歌的“全球流感地图” 导游客安全出行。 成功派上用场，准确预测出患病高发地区，有效地指导 人们进行预防。
勾勒出人们的迁徙轨迹。数据每8小时更新一次，囊括了全
国铁路、公路和航空在内的线路。
《爸爸去哪儿》大数据解读 2013年11月，新华社新 媒体中心联合数托邦创意分 析工作室抓取了新浪微 博上 提及“爸爸去哪儿”45.5万条 原创微博，并对36.7万独立原 发作者用户（去除疑似水军 账户）、1300余万条用户微 博及近1亿的关系进行数据分 析。结果发现：《爸爸去哪 儿》不仅成为名副其实的 “口碑王”，还使娱乐节目 发生了很多微妙变化。
通过大数据分析可以得到解答以下问题： 一个学生成绩差是因为周围环境造成的吗？ 师生每节课互动的时长与频率各为多少，有助于学生吸收 知识？ 期末考试不及格是否说明学生未掌握学习内容，还是因为 他请了很多病假的缘故？
入学成绩对升学率/辍学率有多大影响？
……
截止2014年1月，国内有2亿手机用户使用百度地图。 用户每次位置变化，百度都能得到数据。基于LBS(基于地 理位置的服务)平台把定位信息汇总成大数据进行分析，即
业、经济及其他领域中，决策将日益基
于数据和分析而作出，而并非基于经验 和直觉。
1、舍恩伯格认为：当前，人类已 进人大数据时代。国际数据公司的 2、2012年3月，奥巴马政府发布了 研究结果表明：2011年全球产生的 “大数据研究和发展倡议”，拟投 3、2012年5月，联合国发表《大数 数据量高达 1.82 ZB 资2亿美元，启动“大数据发展计 据促发展：挑战与机遇》政务白皮 （ 1ZB=1024EB=1024^2PB=1024^3 划”，以期在科学研究、环境、生 书中，指出大数据对于世界各国是 TB=2^30TB ）. 物医学等领域利用大数据技术进行 一个历史机遇，探讨如何利用包括 突破。 [Mayer-Schonberger V.，Cukier K．Big Data： 社交网络在内的大数据资源造福人
Jee K，Kim GH．Potentiality of big data in the medical sector：focus on how to reshape the healthcare system [J]l Healthc. Inform. Res.，2013，19(2)：79—85．
个国家，拒绝大数据时代，可能
意味着失去这个国家的未来，失 去一代人的未来。”
目前，对大数据尚未形成公认的定义， 不同的定义基本上是从特征出发，试图给
大数据一个确切的阐释。
1、什么是大数据？
2、大数据有何特点
维克托〃舍恩伯格认为： 大数据是互联网的延续，具 3 、大数据时代有何特征？ 有很多丰富的内涵。大数据的主要功能是用于预测，并且数 据越大，预测越准确。相对于小数据时代，大数据时代数据 的价值体现在反复使用，反复分析与运算之中。
2013年，世界范围内大数据总产值保守估 计为186亿美元，但广义的大数据应用几乎覆 盖所有产业。据麦肯锡公司预测，开放数据 仅在教育、保健等7个行业便释放3.2～5.4万亿 美元的经济价值。
公共服务 …… 传媒业 机械工程 天文学 情报学 电子政务 图书馆学 地理 社会学 生物医学 商业智能 市场营销 企业管理 气候学 政治领域 教育学 生活娱乐 …… 金融领域
大
我们现在能够捕捉到的数据量越来越大。其实，并非数 据量越大越好，而是我们能够捕获多少有用信息。 我们总希望能够找准方向进行预测，但是在目前的大数
乱
据环境下，我们越来越摸不清方向。 大数据之间必然存在着某种联系，这种关联，必将有助
于我们去更好地进行预测。因此，在大数据面前，我们 应尽量做到谦卑。
关 联
我国网民数量居世界之首，每天产生的数据量也位于世界前列。 序号 1 类别 淘宝 数据大小 日数据产量 数据存储量 日搜索量 2 百度 存储网页 目前数据总量 3 一小时数据产量 道路电子 眼（8Mbps） 中型城市每月数据产量 >5万GB 约4万TB 约60亿次 约1万亿页 1万PB 约3.6GB 约2.6万TB
目前大数据在金融领域的研究与应用还 处于初级阶段，但价值已经显现。未来， 大数据可能成为最大的金融交易产品，成
为金融领域的重要基础设施。
平均每道题花费的时间
考试时 11 答题的顺序
师生互动的 10 时长与频率
12 1
学习成绩
2
学校教育中的 “大数据”
入学率
回答问题的 时长、正确率 9
回答 问题的次数
大数据(big data)是指由于容量太大和过于复杂，无法在一定 时间内用常规软件对其内容进行抓取、管理、存储、检索、共 享、传输和分析的数据集。大数据具有“4V”特征： (1) Volume; 数据容量一般在1PB以上；
(2) Variety;数据类型繁多，包括结构化、半结构化和非结构化；
(3) Velocity; 产生与更新速度快，时效性高； (4) Value; 蕴含着新知识，以及极其重要的预测价值。
一 二
走进大数据时代 大数据时代的机遇
三 大数据时代的挑战
最早提出“大数据时代” 是全球著名咨询公司麦肯锡。 麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能
领域，成为重要的生产因素。人们对于海量数据的挖掘和运
用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 《纽约时报》2012年2月的一篇专栏中 所称 ，“大数据时代”已经降临，在商
2012年 奥巴马的竞选团 队对数以千万计的选民邮件 进行数据挖掘，精确预测出
更拥护奥巴马的选民类型，
并进行了有针对性的宣传， 从而帮助奥巴马成为了美国 历史上唯一一位在竞选经费 处于劣势下实现连任的总统。
国双数据中心发布的 《中国政府网站发展
数据报告2012》中显
示：政府网站用户的 总体跳出率为63.33%， 即有2/3左右的用户来 到政府网站之后，仅
Simon I. Hay, Dylan B.
George, Catherine L. Moyes, John S. Brownstein. Big Data Opportunities for Global Infectious Disease
Surveillance. Plos One. 2013.
3 辍学率
升ቤተ መጻሕፍቲ ባይዱ率
8 7
5
作业的正确率
4
课堂 举手次数
5 识字的准确率
6
美国联邦政府教育部2012年参与了一项耗资2亿美元的公共 教育中的大数据计划，旨在通过运用大数据分析来改善教育。联 邦教育部从财政预算中支出2500万美元，用于理解学生在个性化 层面是怎样学习的。 加拿大教育科技公司Desire 2 Learn已经 面向高等教育领域的学生推出了：基于过 去学习成绩数据的预测，并得出如何改善 未来学习成绩的大数据服务项目。通过监 控学生阅读电子化的课程材料、提交电子 版的作业、通过在线与同学交流、完成考 试与测验，就能让计算程序持续、系统地 分析每个学生的教育数据。老师得到的不 再是只展示学生分数与作业的结果，而是 更为详细的重要信息。
1、智能终端的普及
2、网络带宽的提升
3、电子商务的狂热 4、社交网络流行 5、热点地区预测 6、云计算的兴起 7、物联网时代的到来
全球流量累计达到1EB（即 1024^2TB）的时间：
一年（2001）
一个月（2004）
一周（2007） 一天（2013） 一天产生的信息量可刻满 1.88亿张DVD光盘
访问一个页面就离开
了网站。
2013年10月，济南电子政务数据交换平台正式启用。该
平台基于云计算理念，成功将工商、国税、质检、公安、
社保等20多个部门数据共享。国税局与地税局通过数据比 对，发现了25000条数据差异，落实纳税企业5000多户，补 缴税款2700多万元。
随着GB ／T2818-2011 交互 一体机与 高清摄 半球摄 无线摄 传感 编码器 像机 像机 像机 装置 感知层 “智慧城市”基于物联 《安全防范视频监控联网 “智慧城市”所具备的 网、云计算、大数据处理 系统信息传输、交换、控 网络 金盾网 监控专网 基本特征简称“4 广域网 I”，表 传输层 等技术，旨在构建一个可 制技术要求》于2012年6月 述如下： 感知、可预测判断、可数 1日正式生效，基于大数据 海量视 流媒体 管理 智能分析 卡口管理 统一 （ 1 ） Information 频分析 服务器 据安全共享、可自动度量、 服务器 服务器 服务器 网管 支撑 的城市大联网平台建设已 服务器 平台层 （2）Intelligence 调配的富有生命力的现代 CSS2000云存储平台 IEC3.0计算资源虚拟化平台 经成为未来几年智慧城市 （3）Innovation 城市安全、卫生关系数据 建设的首要任务。 交通 治安 刑事 移动 （4）Interaction 业务 …… 管控 管理 侦查 监控 系统。 应用层
2013年两会期间，有代表提议将发展“大数据”上升为国家战 略。大数据的发展，将极大地改变政府的管理模式，有利于节约政 府投资、加强市场监管能力、提高政府决策能力、提升公共服务能 力，实现区域化管理。 大数据背景下，我国电子政务创新模式的转变： 1、关注焦点——从信息向原始数据转变； 2、数据增值——从信息公布到数据开放转变；
潜在 利益 群体
观众
节目 组
竞争 者
明星
赞助 商
《纸牌屋》是从3000万 付费用户的数据中总结 收视习惯、选择， 仔细 分析400万条评论、300 万次主题搜索，并对用 户喜好精准分析的基础 上进行创作的。从受众 洞察、受众定位、受众 接触到受众转化，每一 步都由精准细致高效经 济的数据引导，从而实 现大众创造的C2B，即 由用户需求决定生产。
a revolution that will transform how we live， work ，and think[M]．Boston：Houghton 类。 Miflin Harcourt，2013．
《大数据时代：生活、工作
与思维的大变革》一书的作者维 克托〃迈尔〃舍恩伯格，如是说， “如果个体的人，拒绝大数据时 代，可能会失去生命；如果是一
一 二
华尔街“德温特资本市 场”公司CEO保罗〃霍廷每 天的工作之一就是分析全球
3.4亿微博账户的留言，根据
结果再决定如何处理手中的 股票。他的判断原则很简单： 所有人似乎都高兴就买入； 如果大家的焦虑情绪上升，
三
那就抛售。
16
截止2013年底 阿里巴巴数据平台 服务器上，已积攒 超过100PB已处理的 数据，相当于 104857600个GB，包 括交易、金融、SNS、 地图、生活服务等 多种数据类型，这 相当于4万个西雅图 中央图书馆，580亿 本藏书。