《大数据时代》简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
案例:大数据也是Hale Waihona Puke Baidu把双刃剑,在带来 巨大便利的同时,其背后也隐藏着一些隐 患,我们的隐私也可能会被二次利用。联 想到近期好莱坞爆出的艳照事件,有外国 黑客疑利用苹果公司的 iCloud云盘系统的 漏洞,非法盗取了众多全球当红女星的裸 照,继而在网络论坛发布。通过这样的一 个实例,就要求我们不要盲目崇拜大数据 ,而应该让数据为我们所用,让大数据的 发展不超出我们的可控范围。
03
用反垄断条例
3 击碎黑盒子,大数据算法师的崛 起,外部算法师扮演公正的审计 员的角色,内部算法师在机构内 部工作,监督其大数据活动,不 仅要考虑公司的利益,也要顾及 受到公司大数据分析影响的其他 人的利益;管理变革
14
风险:让数据主宰一切的隐忧
事物都有两面性,大数据也 不例外。大数据时代我们几 乎没有真正的隐私可言,因 此这也就给监管层提出了更 严格的要求。就像枪一样, 可以用来保卫家园,也可以 用来滥杀无辜,如果将大数 据用于歪道,那威力也会比 从前提升不少
1 保护个人隐私,从 个人许可到让数据 使用者承担责任; 管理变革
01
02
4 反数据垄断大亨,为 了促进大数据平台上的 良性竞争,政府必须运 04
管理变革 内容
2 个人动因VS预测分析,大 数据时代,关于公正的概念 需要重新定义以维护个人动 因的想法:人们选择自我行 为的自由意志。简单地说, 就是个人可以并应该为他们 的行为而非倾向负责。
3、大数据变革思维
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到 了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其 增长速度也在加快。 人们不再认为数据是静止和陈旧的。信息总量的变化还导 致了信息形态的变化——量变引发了质变。最先经历信息爆炸的学科,如天文 学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所 有人类致力于发展的领域中。
8
掌握:责任与自由并举的信息管理
大数据是必然趋势,并且在全 世界的铺开以及应用会远快于 我们多数人的反应速度,不像 数百年前的印刷术,给了人类 近三百年的适应期,大数据, 可能也就几年时间。数据使用 者担责,以行为为依据而非预 测,防止大数据变成黑匣子, 防止数据垄断者的出现,这些 可能都是以后应被注意的甚至 是写进法律里的。
6、大数据是大挑战
数据化意味着我们把一切都透明化,甚至包括很多我们以前认为和“信息” 根本搭不上边的事情。大数据时代开启了一场寻宝游戏,而人们对于数据的看 法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰 这场游戏的关键。
内容简介
第一部分
大数据时代的思维变革
第二部分
大数据时代的商业变革
2、大数据变革商业
购买飞机票就是一个很好的例子。哈佛大学首届计算机科学专业的毕业生 奥伦· 埃齐奥尼在一次飞机票价不等的打击下开发一个系统,这个系统用来推测 当前网页上的机票价格是否合理。这个系统需要分析所有特定航线机票的销售 价格并确定票价与提前购买天数的关系。这个预测系统,它帮助虚拟的乘客节 省了很多钱。之后这个项目变为风险投资基金支持的科技创业公司,名为 farecast。如今,farecast已经拥有惊人的约2000亿条飞行数据记录。
在大数据的采集里,在技术尚未达到完美无缺 之前,混乱是无可避的。虽然我们得到的信息
不再那么准确,但是收集到的数量庞大的信息
让我们放弃严格精确的选择变的更为划算。
更好
不是因果关系,而是相关关系。知道“是什
么”就够了,没必要知道“为什么”。
淘宝数据有一个视频内容是各 个省份的人购物情况的分析统计, 比如在见不到大海的新疆,购买比 基尼却是最多的,那么淘宝并不需 要知道新疆人为什么喜欢买比基尼, 是因为气候还是生活习惯并不重要, 重要的是淘宝要多为新疆用户推荐 比基尼,可以获得更高的转化率。
2 0 1 5 年 5 月 8
日
乐山师范学院 文学与新闻学院 2012级新闻班 徐瑜梅 李培谦 黄冰冰 张亚庆 胡雪梅 周凯頔 蒋敏 焦倩茹
维克托 .迈尔 .舍恩伯 格
引言
1 、 大数据 变革公共卫生 2、大数据变革商业
3、大数据变革思维
4、大数据开启时代转型 5、预测是大数据的核心 6、大数据是大挑战
第三部分
大数据时代的管理变革
反思
主 要 观 点
更多——不是随机样本,而是全体数据
01
2
更杂——不是精确性,而是混杂性
更好——不是因果关系,而是相关关系
更多
数百年来我们都是以抽样调查的方式作为统 计的基础,而在大数据时代,这种状况会发生重 大改变。由于这些年存储技术的发展以及互联网 在全世界的普及,既有了存储巨大数据量的技术 基础,也有了数据来源,再加上云计算的快速分 析技术,大数据时代是以全体数据作为样本进行 分析,而非从前那样在随机抽取一定样本数量的 基础之上进行分析。当数据处理技术得到了较大 的发展之后,数据分析就采取了全数据模式,样 本=总体,比如淘宝进行用户行为分析时会就一个 用户在淘宝里的所有行为进行技术分析,而谷歌 对流感的预测则是对所有相关词汇搜索行为进行 技术分析。
4、大数据开启时代转型
2003年,人类第一次破译人体基因密码的时候,辛苦工作了十年才完成了 三十亿对碱基对的排序。大约十年之后,世界范围内的基因仪每15分钟就可以 完成同样的工作。在金融领域,美国股市每天的成交量高达70亿股。而其中三 分之二的交易都是由建立在算法公式上的计算机程序完成的。这些程序运用海 量数据来预测利益和降低风险。
皮特.华登,Jetpac的联合创始人, 就是通过想法获得价值的一个例 子,他通过用户分享到网上的旅 行照片来为人们推荐下一次旅行 目的地。
大数据蕴藏着巨大的商业价值。 根据提供价值的不同来源,大数据价 值链包括三大构成部分。包括第一种 是基于数据本身的公司。这些公司拥 有大量数据或者至少可以收集到大量 数据,却不一定有从数据中提取价值 或者用数据催生创新思想的技能。第 二种是基于技能的公司。它们通常是 咨询公司、技术供应商或者分析公司 。它们掌握了专业技能但并不一定拥 有数据或者提出数据创性用途的才能 。
8
04
大数据时代显然给我们带来不少便 利之处,但是在盲目的欢呼和一时的 4 激动之后,我们更需要认真反思如何 上海锐普广告有限公司 正确挖掘出大数据的最大效用,以便 我们在大数据的海洋里游刃有余,而 不是被大数据洪流冲击得迷失了方向。
谢谢
尤其对于社会经济的参 与者来说,及时的知道相关 关系并且拿出合适的策略比 搞明白“为什么”更重要。无 疑大数据将使许多企业的效 率得到质的提升。
(推荐视频《淘宝数据盛典——你所不 知道的城市秘密》
02
大数据时代的 商业变革 内容数据化、数据价值 实现、数据公司类型三 部分
沃尔玛和Pop-Tarts这两个零售 商就是借助天睿公司的分析来 获得营销点子,天睿就是一家 大数据分析公司。
1 、 大数据 变革公共卫生
2009年的甲型h1n1流感,在短短几周之内迅速传播。互联网巨头谷歌公司 的工程师们设立一个系统关注特定检索词条的频繁使用与流感在时间和空间上 的传播之间的联系。软件发现了45条检索词条的组合,一旦将它们用于一个数 学模型,他们的预测与官方数据的相关性高达97%。和疾控中心一样,他们由此 判断出流感是从哪里传播出来的,而且他们的判断非常及时。这是当今社会所 独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获 得有巨大价值的产品和服务,或深刻的洞见。基于这样的技术理念和数据储备, 下一次流感来袭的时候,世界将会拥有一种更好的预测工具,以预防流感的传 播。
5、预测是大数据的核心
大数据的核心就是预测。它通常被视为人工智能的一部分,或者更确切地 说,被视为一种机器学习。大数据不是要教机器像人一样思考。相反,它是把 数学算法运用到海量的数据上来预测事情发生的可能性。 就像互联网通过给计算机添加通信功能而改变了世界,大数据也将改变我们 生活中最重要的方面,因为它为我们的生活创造了前所未有的可量化的维度。 大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。
03
大数据时代的管理变革背景
互联网时代,我们的隐私受到了威胁,大数据时代一定是有过之 而无不及。大数据还会带来更多的威胁,因为大数据的核心就是 用规模剧增来改变现状。很多数据在收集的时候并无意用作其他 用途,而最终却产生了很多创新性的用途,也是一个未知的挑战 。在大数据时代,不管是告知与许可、模糊化还是匿名化,这三 大隐私保护策略都失效了。同时,我们将面对另一个挑战,即运 用大数据预测来判断和惩罚人类的潜在行为,这是对公平公正以 及自由意志的一种亵渎 同时还轻视了决策过程中深思熟虑的重要 性。人们不是因为所做而受到惩罚,而是因为将做,即使他们事 实上并没有犯罪。大数据时代很容易让我们陷入数据独裁的困境 中。 大数据时代,对原有的规范的修修补补已经满足不了需要,也不 足以抑制大数据带来的风险。我们需要全新的制度规范,而不是 修改原有规范的适用范围。
更杂
数据的来源很广阔,数据的数量很庞大, 在此基础之上带来的必然是各种数据的混杂, 但混杂性并不会影响到大数据的分析结果的可 用性,因为数据量的庞大远远抵消了混杂的错 误数据对于分析结果的影响。数据量的显著增 大必然会让我们付出一些代价 —— 一些不准确 的数据会混入数据库,结果也可能不准确。对
“小数据”而言,最重要的要求就是减少错误;