大数据时的大变革
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据时的大变革
2012年3月29日，白宫 发布美国政府的大数据计 划。
通过提高从大型复杂的 数字数据集中提取知识和 观点的能力，承诺帮助加 快在科学与工程中的步伐， 加强国家安全，并改变教 学研究。
大数据时的大变革
我国的应对
最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯 锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重 要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者 盈余浪潮的到来。
大数据时的大变革
+ 《红楼梦》含标点87万字（不含标点853509字） + 每个汉字占两个字节：1汉字=16bit = 2*8位
=2bytes + 1GB 约等于671部红楼梦 + 1TB 约等于631,903 部 + 1PB 约等于647,068,911部 + 美国国会图书馆藏书（151,785,778册）（2011年4
大数据时的大变革
2020/11/15
大数据时的大变革
• 一、认识大数据 • 二、大数据时代的变革 • 三、大数据时代的挑战 • 四、大数据的应用
+ 何为大？—数据度量 + 1Byte = 8 Bit + 1KB = 1,024 Bytes + 1MB = 1,024 KB = 1,048,576 Bytes + 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes + 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes + 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes + 1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes + 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes + 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
+ 2012年3月底，美国政府发布了大数据研发专项研究计划 (Big Data Initiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学 、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具 ，把大数据研究上升到为国家战略。
+ 2012年10月，中国计算机学会于成立大数据专家委员会，并在2012 年12月发布调研报告，说明数据科学的热点问题和发展趋势。
21世纪是数据信息大发展的时代，移 动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数 据正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器，智 慧地球）、车联网、GPS、医学影像、 安全监控、金融（银行、股市、保险）、 电信（通话、短信）都在疯狂产生着数 据。
什么是大数据？ 什么是大数据(big-data)？人们并未形成统一的认识，
一般而言，它是指规模远远超过传统数据库软件处理能 力的海量数据集合。这一概念首要是针对信息化社会数 据“爆炸式”增长，体量巨大而提出的。对于数据多大 能称之为“大数Biblioteka Baidu”，业界并没有统一的认识，通常认 为100TB（太字节）是大数据的门槛。
+ 每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98 年；
+ 每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电 脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；
+ 谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书， 超过了全世界的专业翻译人员一年能够翻译的文字规模；
大数据时的大变革
+ 2007年，图灵奖获得者Jim Gray，提出“数据密集型科学发现 (Data-Intensive Scientific Discovery)” 将成为科学研究的第四范 式，“数据科学”拉开了帷幕。
+ 2008年，《Nature》杂志出版专刊，讨论大数据处理相关的一系列 技术问题和挑战。
+ 百度每天的关键词搜索量50亿，谷歌33.3亿； 未来：物联 + 淘58宝0.天03猫亿双元1人1那民一币天；营业额达191亿人民币。中国网的小每数商天据产将品生 会城全年成交额才 + 累积起来，互联网一天之内产生的信息总量，可是以海装量满的1。.68亿张DVD光盘。 + ……
大数据时的大变革
一、认识大数据（续）
月：收录数据235TB ） + 1EB = 4000倍美国国会图书馆存储的信息量
大数据时的大变革
一、认识大数据（续）
+ 每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年 时间处理；
+ 每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的 总量；
+ 每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能 有80个埃菲尔铁塔那么高；
简而言之，传统方法无法处理的数据即为大数据。 据美国政府估计，全球每年由各类设备产生的数据达 到约1.2ZB（1ZB=12亿TB）。若用1粒沙代表1B数据， 1PB（相当于1000T）相当于1英里长、100码宽的沙滩， 而1.2ZB的数据就如同一片浩瀚的沙漠。
大数据时的大变革
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个 开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也 在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如 今，这个概念几乎应用到了所有人类智力与发展的领域中。
“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念， 也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产， 这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场 所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服 务，
2012年3月29日，白宫 发布美国政府的大数据计 划。
通过提高从大型复杂的 数字数据集中提取知识和 观点的能力，承诺帮助加 快在科学与工程中的步伐， 加强国家安全，并改变教 学研究。
大数据时的大变革
我国的应对
最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯 锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重 要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者 盈余浪潮的到来。
大数据时的大变革
+ 《红楼梦》含标点87万字（不含标点853509字） + 每个汉字占两个字节：1汉字=16bit = 2*8位
=2bytes + 1GB 约等于671部红楼梦 + 1TB 约等于631,903 部 + 1PB 约等于647,068,911部 + 美国国会图书馆藏书（151,785,778册）（2011年4
大数据时的大变革
2020/11/15
大数据时的大变革
• 一、认识大数据 • 二、大数据时代的变革 • 三、大数据时代的挑战 • 四、大数据的应用
+ 何为大？—数据度量 + 1Byte = 8 Bit + 1KB = 1,024 Bytes + 1MB = 1,024 KB = 1,048,576 Bytes + 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes + 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes + 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes + 1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes + 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes + 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
+ 2012年3月底，美国政府发布了大数据研发专项研究计划 (Big Data Initiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学 、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具 ，把大数据研究上升到为国家战略。
+ 2012年10月，中国计算机学会于成立大数据专家委员会，并在2012 年12月发布调研报告，说明数据科学的热点问题和发展趋势。
21世纪是数据信息大发展的时代，移 动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数 据正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器，智 慧地球）、车联网、GPS、医学影像、 安全监控、金融（银行、股市、保险）、 电信（通话、短信）都在疯狂产生着数 据。
什么是大数据？ 什么是大数据(big-data)？人们并未形成统一的认识，
一般而言，它是指规模远远超过传统数据库软件处理能 力的海量数据集合。这一概念首要是针对信息化社会数 据“爆炸式”增长，体量巨大而提出的。对于数据多大 能称之为“大数Biblioteka Baidu”，业界并没有统一的认识，通常认 为100TB（太字节）是大数据的门槛。
+ 每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98 年；
+ 每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电 脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；
+ 谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书， 超过了全世界的专业翻译人员一年能够翻译的文字规模；
大数据时的大变革
+ 2007年，图灵奖获得者Jim Gray，提出“数据密集型科学发现 (Data-Intensive Scientific Discovery)” 将成为科学研究的第四范 式，“数据科学”拉开了帷幕。
+ 2008年，《Nature》杂志出版专刊，讨论大数据处理相关的一系列 技术问题和挑战。
+ 百度每天的关键词搜索量50亿，谷歌33.3亿； 未来：物联 + 淘58宝0.天03猫亿双元1人1那民一币天；营业额达191亿人民币。中国网的小每数商天据产将品生 会城全年成交额才 + 累积起来，互联网一天之内产生的信息总量，可是以海装量满的1。.68亿张DVD光盘。 + ……
大数据时的大变革
一、认识大数据（续）
月：收录数据235TB ） + 1EB = 4000倍美国国会图书馆存储的信息量
大数据时的大变革
一、认识大数据（续）
+ 每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年 时间处理；
+ 每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的 总量；
+ 每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能 有80个埃菲尔铁塔那么高；
简而言之，传统方法无法处理的数据即为大数据。 据美国政府估计，全球每年由各类设备产生的数据达 到约1.2ZB（1ZB=12亿TB）。若用1粒沙代表1B数据， 1PB（相当于1000T）相当于1英里长、100码宽的沙滩， 而1.2ZB的数据就如同一片浩瀚的沙漠。
大数据时的大变革
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个 开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也 在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如 今，这个概念几乎应用到了所有人类智力与发展的领域中。
“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念， 也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产， 这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场 所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服 务，