走进大数据世界
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 商品生产多以分散的企业为单位 • 商品信息经过各种社会传播渠道传播 • 传播存有片面、无序、虚假宣传等现象
• 沟通社会生产、流通、消费等环节 • 贴近大众生活，有广泛的共享性。 • 服务于不同用户的需求。
商业信息的搜集渠道
日常工 作
公众媒 体
调查研 究
非正式 渠道
信息网 络
目录
数据、信息与商业信息 数据产业的发展
目录
数据、信息与商业信息
数据产业的发展
大数据的内涵
大数据的技术框架和常用工具
14
1.3大数据的内涵
大数据的定义 • “大数据”英文翻译“BigData”，源于未来学家阿尔文·托夫勒的《第三次浪潮》 • Wiki：大数据是指利用常用软件工具捕获管理和处理数据所耗时间超过可容忍时间限制的数据集。 • 麦肯锡：数据规模超出传统数据库管理软件的获取存储管理，以及分析能力的数据集称为大数据。 • Gartnet:不能够集中存储并且难以在可接受时间内分析处理，其中个体或部分数据呈现低价值性而数 据整体呈现高价值的海量复杂数据集。
第1章 走进大数据世界
【 学习目标 】
1. 理解数据与信息的基本概念 2. 了解数据产业的发展和大数据市场前景 3. 理解大数据的基本概念、特性、产生的原因及应用的领域 4. 理解大数据处理和分析流程 5. 了解大数据的技术架构和常用技术工具
思维导图
【开篇故事】人机大战20年进化史(1)
1997年5月11日，国际象棋世界冠军加里·卡斯帕罗夫以 2.5:3.5 （1胜2负3平）输给 IBM 的计算机程序 “深蓝”。 1997年 6月，深蓝在世界超级电脑中排名第259位，计算能力为每秒113.8亿次浮点运算。 2013年6月17日中国国防科技大学研制的天河二号超级计算机，以每秒33.86千万亿次的浮点运算 速度夺得头筹，中国“天河二号”成为全球最快超级计算机。
大数据的内涵 大数据的技术框架和常用工具
10
1.2数据产业的发展
数据产业的发展历史
1.2数据产业的发展
大数据时代的开始
数据单位 • 1KB=1024B • 1MB=1024KB • 1GB=1024MB • 1TB=1024GB • 1PB=1024TB • 1EB=1024PB • 1ZB= 1024 EB • 1YB= 1024 ZB • 1BB= 1024 YB
1.3大数据的内涵
结构化、半结构化和非结构化三种
数据主要来源： • 信息管理系统 • 网络信息系统 • 物联网系统 • 科学实验系统
1.3大数据的内涵
大数据的应用领域及处理流程
目录
数据、信息与商业信息
数据产业的发展 大数据的内涵 大数据的技术框架和常用工具
20
1.4大数据的技术框架和常用工具
信息
• 信息在《辞海》中定义为音信或消息。 • 在现在数据时代，我们把通过数据发现的包含有事物运动状态变化和特
征的反映叫做信息。 • 数据是信息的载体，而信息可以采用数据表示。 • 数据与信息之间最明显的区别在于，数据只是纯粹的记录，而信息是具
有实际商业意义的，是分析的结果和事物规律的反映。
1.1数据、信息与商业信息
个人电脑i8处理器
【开篇故事】人机大战20年进化史(2)
2016年3月，阿尔法AlphaGo挑战 世界围棋冠军李世石，比赛采用中 国围棋规则，最终AlphaGo以4比1 的总比分取得了胜利。
思考与启示
AlphaGo涉及哪些技术关键词？ 大数据和人工智能的关系？ 人工智能会取代人类大脑工作吗？
AlphaGo VS 李世石
商业信息
• 商业信息则是指市场主体的特征、要求、意图、竞争部署、 行为、方法等在市场上的反映。
• 企业要将自然、社会、经济等商业信息以及企业自身积累 的商业数据转化为知识，以确保企业做出正确、明智的经 营决策。
• 商业信息分为：竞争信息、市场信息、和环境信息。
商业信息的生成过程
环境信息 竞争信息 市场信息
(ZB:十万亿亿字节)
1.2数据产业的发展
数据极速膨胀 目前全球约有50亿部手机，其中20亿台为智能手机 Ebay每天处理的数据高达100PB 一架波音737飞机横跨大陆飞行过程中会产生240TB的数据 某大型强子对撞机一年内积累的数据量就达到15PB左右 微信、微博、抖音。。。。。每时每刻都在产生大量的数据
1.3大数据的内涵
大数据的特征 特性：Volume、Velocity、Velcity、Value
1.3大数据的内涵
·产生大数据的三个阶段
被动式产生数据
主动式产生数据
感知式产生数据
1.数据的产生方式变得自动化 2.数据产生融入每个人的日常生活 3.图像和音频数据占比越来越大
4.网络和音频视频数据所占比例越来越大 5.云计算概念的出现进一步促进了大数据发展
1.1数据、信Байду номын сангаас与商业信息
商业信息的特点
• 生成过程实质上就是社会生产、交换、 消费等经济活动的过程。
• 除了一般信息共有的可传递性、可复 制性、可共享性等特点，还具有多样 性、零散性和实用性的特点。
多变性 零散性 实用性
• 商品价格信息瞬息万变 • 商品的供求关系处在不断变动之中 • 商品的更新换代周期越来越短
大数据的技术框架
1.4大数据的技术框架和常用工具
大数据的整体技术
数据采集 数据存取 统计分析 数据挖掘
基础架构 数据处理 模型预测 结果呈现
大数据的关键技术
大数据 采集
大数据预 处理
大数据存 储及管理
大数据安 全技术
大数据分 析与挖掘
大数据展 现与应用
1.4大数据的技术框架和常用工具
Hadoop是什么？ • 由Apache基金会所开发的分布式系统基础架构 • 用户可以在不了解分布式底层细节的情况下，开发分布式 程序。
目录
数据、信息与商业信息
数据产业的发展 大数据的内涵 大数据的技术框架和常用工具
6
1.1数据、信息与商业信息
数据
• 在传统的汉语词典中，数据解释为是算科学研究或技术设进行各种统计、 算科学研究或技术设计等所依 据的数值。
• 《辞海》中数据的解释是“电子计算机加工处理的对象。 • 广义的数据不仅仅是数值，而是人类社会活动中各种各样的记录。 • 随着人类文明发展，数据记录越来越多，呈现了多样性和复杂性。
• 沟通社会生产、流通、消费等环节 • 贴近大众生活，有广泛的共享性。 • 服务于不同用户的需求。
商业信息的搜集渠道
日常工 作
公众媒 体
调查研 究
非正式 渠道
信息网 络
目录
数据、信息与商业信息 数据产业的发展
目录
数据、信息与商业信息
数据产业的发展
大数据的内涵
大数据的技术框架和常用工具
14
1.3大数据的内涵
大数据的定义 • “大数据”英文翻译“BigData”，源于未来学家阿尔文·托夫勒的《第三次浪潮》 • Wiki：大数据是指利用常用软件工具捕获管理和处理数据所耗时间超过可容忍时间限制的数据集。 • 麦肯锡：数据规模超出传统数据库管理软件的获取存储管理，以及分析能力的数据集称为大数据。 • Gartnet:不能够集中存储并且难以在可接受时间内分析处理，其中个体或部分数据呈现低价值性而数 据整体呈现高价值的海量复杂数据集。
第1章 走进大数据世界
【 学习目标 】
1. 理解数据与信息的基本概念 2. 了解数据产业的发展和大数据市场前景 3. 理解大数据的基本概念、特性、产生的原因及应用的领域 4. 理解大数据处理和分析流程 5. 了解大数据的技术架构和常用技术工具
思维导图
【开篇故事】人机大战20年进化史(1)
1997年5月11日，国际象棋世界冠军加里·卡斯帕罗夫以 2.5:3.5 （1胜2负3平）输给 IBM 的计算机程序 “深蓝”。 1997年 6月，深蓝在世界超级电脑中排名第259位，计算能力为每秒113.8亿次浮点运算。 2013年6月17日中国国防科技大学研制的天河二号超级计算机，以每秒33.86千万亿次的浮点运算 速度夺得头筹，中国“天河二号”成为全球最快超级计算机。
大数据的内涵 大数据的技术框架和常用工具
10
1.2数据产业的发展
数据产业的发展历史
1.2数据产业的发展
大数据时代的开始
数据单位 • 1KB=1024B • 1MB=1024KB • 1GB=1024MB • 1TB=1024GB • 1PB=1024TB • 1EB=1024PB • 1ZB= 1024 EB • 1YB= 1024 ZB • 1BB= 1024 YB
1.3大数据的内涵
结构化、半结构化和非结构化三种
数据主要来源： • 信息管理系统 • 网络信息系统 • 物联网系统 • 科学实验系统
1.3大数据的内涵
大数据的应用领域及处理流程
目录
数据、信息与商业信息
数据产业的发展 大数据的内涵 大数据的技术框架和常用工具
20
1.4大数据的技术框架和常用工具
信息
• 信息在《辞海》中定义为音信或消息。 • 在现在数据时代，我们把通过数据发现的包含有事物运动状态变化和特
征的反映叫做信息。 • 数据是信息的载体，而信息可以采用数据表示。 • 数据与信息之间最明显的区别在于，数据只是纯粹的记录，而信息是具
有实际商业意义的，是分析的结果和事物规律的反映。
1.1数据、信息与商业信息
个人电脑i8处理器
【开篇故事】人机大战20年进化史(2)
2016年3月，阿尔法AlphaGo挑战 世界围棋冠军李世石，比赛采用中 国围棋规则，最终AlphaGo以4比1 的总比分取得了胜利。
思考与启示
AlphaGo涉及哪些技术关键词？ 大数据和人工智能的关系？ 人工智能会取代人类大脑工作吗？
AlphaGo VS 李世石
商业信息
• 商业信息则是指市场主体的特征、要求、意图、竞争部署、 行为、方法等在市场上的反映。
• 企业要将自然、社会、经济等商业信息以及企业自身积累 的商业数据转化为知识，以确保企业做出正确、明智的经 营决策。
• 商业信息分为：竞争信息、市场信息、和环境信息。
商业信息的生成过程
环境信息 竞争信息 市场信息
(ZB:十万亿亿字节)
1.2数据产业的发展
数据极速膨胀 目前全球约有50亿部手机，其中20亿台为智能手机 Ebay每天处理的数据高达100PB 一架波音737飞机横跨大陆飞行过程中会产生240TB的数据 某大型强子对撞机一年内积累的数据量就达到15PB左右 微信、微博、抖音。。。。。每时每刻都在产生大量的数据
1.3大数据的内涵
大数据的特征 特性：Volume、Velocity、Velcity、Value
1.3大数据的内涵
·产生大数据的三个阶段
被动式产生数据
主动式产生数据
感知式产生数据
1.数据的产生方式变得自动化 2.数据产生融入每个人的日常生活 3.图像和音频数据占比越来越大
4.网络和音频视频数据所占比例越来越大 5.云计算概念的出现进一步促进了大数据发展
1.1数据、信Байду номын сангаас与商业信息
商业信息的特点
• 生成过程实质上就是社会生产、交换、 消费等经济活动的过程。
• 除了一般信息共有的可传递性、可复 制性、可共享性等特点，还具有多样 性、零散性和实用性的特点。
多变性 零散性 实用性
• 商品价格信息瞬息万变 • 商品的供求关系处在不断变动之中 • 商品的更新换代周期越来越短
大数据的技术框架
1.4大数据的技术框架和常用工具
大数据的整体技术
数据采集 数据存取 统计分析 数据挖掘
基础架构 数据处理 模型预测 结果呈现
大数据的关键技术
大数据 采集
大数据预 处理
大数据存 储及管理
大数据安 全技术
大数据分 析与挖掘
大数据展 现与应用
1.4大数据的技术框架和常用工具
Hadoop是什么？ • 由Apache基金会所开发的分布式系统基础架构 • 用户可以在不了解分布式底层细节的情况下，开发分布式 程序。
目录
数据、信息与商业信息
数据产业的发展 大数据的内涵 大数据的技术框架和常用工具
6
1.1数据、信息与商业信息
数据
• 在传统的汉语词典中，数据解释为是算科学研究或技术设进行各种统计、 算科学研究或技术设计等所依 据的数值。
• 《辞海》中数据的解释是“电子计算机加工处理的对象。 • 广义的数据不仅仅是数值，而是人类社会活动中各种各样的记录。 • 随着人类文明发展，数据记录越来越多，呈现了多样性和复杂性。